Defining Operational Conditions for Safety-Critical AI-Based Systems from Data

Dieser Beitrag stellt eine neuartige, automatisierte Safety-by-Design-Methode vor, die eine mehrdimensionale kernelbasierte Darstellung nutzt, um den Operational Design Domain (ODD) aus gesammelten Daten abzuleiten, und damit Zertifizierungsherausforderungen für sicherheitskritische KI-Systeme adressiert, wie durch Monte-Carlo-Simulationen und einen realen Anwendungsfall der Kollisionsvermeidung in der Luftfahrt validiert.

Das Wesentliche

Stellen Sie sich vor, Sie lehren einen Roboter, ein Flugzeug zu fliegen. Sie wollen, dass der Roboter sicher ist, und müssen ihm daher genau sagen, wo und wann er fliegen darf. In der Welt der KI-Sicherheit wird diese „erlaubte Zone" als Operational Design Domain (ODD) bezeichnet.

Traditionell setzen sich Experten vor eine Whiteboard und versuchen, diese Zone von Hand zu zeichnen, indem sie Regeln wie „nicht bei Regen fliegen" oder „nicht über 30.000 Fuß fliegen" aufschreiben. Doch die reale Welt ist chaotisch. Wetter, Verkehr und Wind interagieren auf komplexe Weise, die sich nicht perfekt auf ein Whiteboard listen lassen. Dies führt häufig zu Sicherheitslücken, in denen der Roboter glaubt, sicher zu sein, sich aber tatsächlich in einer gefährlichen Situation befindet, über die er nicht informiert wurde.

Dieser Artikel schlägt eine neue Methode vor, um diese Sicherheitszone zu zeichnen: Lassen Sie die Daten sie für Sie zeichnen.

Hier ist eine einfache Aufschlüsselung, wie dies funktioniert, unter Verwendung alltäglicher Analogien:

1. Das Problem: Die „leere Karte"

Stellen Sie sich vor, Sie haben eine Stadtkarte, aber die Straßen sind im Nebel verborgen. Sie wissen, dass die Stadt existiert, aber Sie wissen nicht genau, wo die sicheren Straßen und wo die Klippen liegen.

• Alter Weg: Experten schätzen basierend auf ihrer Erfahrung, wo die Straßen sind. Sie könnten eine verborgene Klippe übersehen.
• Neuer Weg: Sie lassen Tausende von leuchtenden Murmeln (Datenpunkte) auf die Karte fallen. Wo die Murmeln landen, wissen Sie, dass es sicher ist. Wo sie nicht landen, gehen Sie davon aus, dass es möglicherweise gefährlich ist.

2. Die Lösung: Das „leuchtende Netz"

Die Autoren entwickelten eine Methode, um diese verstreuten Datenpunkte in eine glatte, kontinuierliche Sicherheitskarte umzuwandeln. Sie nennen dies eine Kernel-basierte Darstellung.

Stellen Sie sich jeden Datenpunkt (eine sichere Flugbedingung) als Lagerfeuer vor.

• Das Feuer: Direkt am Lagerfeuer ist es sehr warm (sehr sicher).
• Die Hitze: Wenn Sie sich vom Feuer wegbewegen, lässt die Hitze nach. Sie hört nicht abrupt auf, sondern wird immer kühler, bis sie kaum noch wahrnehmbar ist.
• Das Netz: Das KI-System erstellt eine riesige, unsichtbare „Wärmekarte", indem es die Wärme all dieser Lagerfeuer kombiniert.
  • Wenn Sie dort stehen, wo die Hitze stark ist, befinden Sie sich innerhalb der Sicherheitszone.
  • Wenn Sie an einer kalten Stelle zwischen den Feuern stehen, befinden Sie sich außerhalb der Sicherheitszone.

Dies ist besser als das Zeichnen einer harten Box um die Lagerfeuer, da es die „Grauzonen" dazwischen berücksichtigt.

3. Das „Sicherheitsnetz" für Fehler

Was passiert, wenn Sie versehentlich eine Murmel an einem Ort ablegen, der tatsächlich gefährlich ist (wie am Rand einer Klippe)? Das System muss wissen, dass es dort kein Feuer anzünden darf.

• Die Autoren fügten eine Regel hinzu: Wenn ein „gefährlicher" Datenpunkt zu viel Wärme von den nahegelegenen Lagerfeuern erhält, dämpft das System automatisch die Feuer darum herum, bis der gefährliche Ort wieder kalt ist.
• Dies stellt sicher, dass die Sicherheitszone versehentlich nie eine bekannte Gefahr abdeckt.

4. Warum dies für die Zertifizierung wichtig ist

Um ein Flugzeug oder ein Auto für den Einsatz zu genehmigen, müssen die Regulierungsbehörden wissen, dass die Regeln solide sind.

• Deterministisch: Der Artikel behauptet, dass Sie bei zweimaliger Ausführung dieses Prozesses mit denselben Daten jedes Mal exakt dieselbe Sicherheitskarte erhalten. Es ist keine „Black-Box"-Vermutung, sondern eine mathematische Berechnung.
• Reihenfolgeunabhängig: Es spielt keine Rolle, ob Sie die Daten morgens oder nachmittags in den Computer eingeben oder in einer anderen Reihenfolge. Das Ergebnis ist immer dasselbe.
• Konservativ: Wenn das System nicht sicher ist, ob ein Ort sicher ist (weil dort keine Datenpunkte vorliegen), geht es davon aus, dass er unsicher ist. Dies ist ein „lieber sicher als leid"-Ansatz, der für sicherheitskritische Systeme entscheidend ist.

5. Der Beweis: Der „Flugsimulator"-Test

Die Autoren testeten diese Methode auf zwei Arten:

1. Mathematische Simulation: Sie erstellten eine künstliche, perfekte Sicherheitszone auf einem Computer und versuchten dann, sie nur mit verstreuten Datenpunkten wiederherzustellen. Ihre „leuchtende Netz"-Methode rekonstruierte die ursprüngliche Zone mit über 98 % Genauigkeit.
2. Reale Luftfahrt: Sie wandten sie auf ein echtes luftfahrttechnisches Problem an: Kollisionsvermeidung. Sie verwendeten Daten aus einem System, das entwickelt wurde, um zu verhindern, dass Flugzeuge zusammenstoßen. Die Methode kartografierte erfolgreich die sicheren Betriebsbedingungen für dieses komplexe System und bewies, dass sie auch mit realen, chaotischen Daten funktioniert.

Zusammenfassung

Dieser Artikel stellt ein Werkzeug vor (genannt autoSAFE), das Rohdaten aus einem sicherheitskritischen System entnimmt und automatisch eine präzise, mathematisch bewiesene „Sicherheitszone" darum zeichnet. Anstatt die Regeln zu erraten, lernt es die Grenzen aus den Daten selbst und stellt sicher, dass die KI nur dort operiert, wo ihre Sicherheit nachgewiesen wurde. Dies erleichtert die Zertifizierung von KI-Systemen für Aufgaben wie das Fliegen von Flugzeugen oder das Fahren von Autos erheblich.

Technische Zusammenfassung

Technische Zusammenfassung: Definition operationeller Bedingungen für sicherheitskritische KI-basierte Systeme aus Daten

1. Problemstellung

Der rasche Einsatz von Künstlicher Intelligenz (KI) in sicherheitskritischen Domänen (z. B. Luftfahrt, Automobil) erfordert eine strenge Sicherheitsgewährleistung und Zertifizierung. Eine zentrale Voraussetzung für die Zertifizierung KI-basierter Systeme ist die Definition des Operational Design Domain (ODD) – des spezifischen Satzes an Umwelt- und Betriebsbedingungen, unter denen das System sicher funktionieren soll.

Traditionell werden ODDs früh im Entwicklungslebenszyklus manuell von Domänenexperten definiert. Für komplexe reale Systeme stößt dieser Ansatz jedoch auf erhebliche Herausforderungen:

• Komplexität: Die Definition von Interrelationen (Ontologie) zwischen Parametern (z. B. wie Wetter die Landegeschwindigkeit beeinflusst) ist schwierig und oft unvollständig.
• Statische Natur: Von Experten definierte ODDs erfassen möglicherweise keine impliziten Parameterabhängigkeiten oder passen sich nicht an neue Daten an.
• Zertifizierungslücken: Aktuelle datengetriebene Ansätze fehlen oft deterministische, reihenfolgenunabhängige Darstellungen oder formale Rahmenwerke für ODD-Ähnlichkeit, die Voraussetzungen für eine formale Zertifizierung sind.

Bestehende mathematische Darstellungen (z. B. konvexe Polytope) versagen bei der Modellierung nichtlinearer ODD-Ontologien, während neuronale Netzwerk-basierte Ansätze Reihenfolgeabhängigkeiten und Unsicherheiten einführen. Es besteht ein Bedarf nach einer Methode, um ODDs direkt aus Daten abzuleiten, die deterministisch, reihenfolgenunabhängig, begrenzt und interpretierbar ist.

2. Methodik

Der Artikel schlägt eine Safety-by-Design-Methode vor, um ODDs a posteriori aus gesammelten Daten unter Verwendung einer multidimensionalen kernelbasierten Darstellung zu definieren. Die Kernmethodik umfasst folgende Schritte:

2.1 Mathematische Formalisierung

Die Autoren formalisieren den ODD als mathematische Struktur $O = (X, R^O, f^O, \Omega^O)$, wobei $X$ die Taxonomie (Parameterraum), $R^O$ die Ontologie (Randbedingungen) und $f^O$ die Interpretationsfunktion ist. Entscheidend definieren sie ODD-Ähnlichkeit ($O_1 \sim O_2$) nicht durch semantische Äquivalenz, sondern durch datenzentrierte Äquivalenz: Zwei ODDs sind ähnlich, wenn sie denselben Datensatz $Y$ generieren.

2.2 Kernelbasierte Affinitätsdarstellung

Anstatt manuell Grenzen zu konstruieren, baut die Methode den ODD direkt aus Datenstichproben auf:

• Ankerpunkte: In-Distribution (ID)-Stichproben ($D_{ID}$) dienen als Ankerpunkte ($A$). Out-of-Distribution (OOD)-Stichproben ($D_{OOD}$) werden explizit ausgeschlossen.
• Lokale Affinität: Für jeden Ankerpunkt $x_i$ wird eine lokale Affinitätsfunktion $\alpha_i(x)$ unter Verwendung eines positiv definiten Kerns (speziell des Radial Basis Function (RBF)-Kerns) definiert.
• Globale Affinität: Die globale ODD-Mitgliedschaft wird durch die Superposition lokaler Affinitäten bestimmt:
  $$\alpha(x) = 1 - \prod_{i} (1 - \alpha_i(x))$$
  Eine Stichprobe $x$ gehört zum ODD, wenn $\alpha(x) \geq \zeta$ gilt, wobei $\zeta$ ein vordefinierter Schwellenwert ist.

2.3 Automatisierte Parametrisierung

Um sicherzustellen, dass der Prozess vollständig automatisiert ist und keine manuelle Abstimmung erfordert:

• Diagonale Kovarianz: Die Kernel-Kovarianzmatrix $\Sigma$ wird als diagonal angenommen, basierend auf der Annahme lokaler Unabhängigkeit und einer gleichmäßigen Verteilung der Ankerpunkte.
• Abstandsabhängige Skalierung: Die Diagonaleinträge von $\Sigma$ werden als Funktion des Abstands zum nächsten Nachbarn ($d^*_i$) definiert:
  $$\sigma^{(i)}_{kk} = (\kappa - \lambda) \exp(-\eta d^*_i) + \lambda$$
  Dies reduziert die Anzahl der Hyperparameter von $N \times n^2$ auf nur zwei ($\kappa, \eta$) plus eine untere Schranke $\lambda$.

2.4 OOD-Konsistenzbedingung

Um Sicherheit zu gewährleisten, schreibt die Methode vor, dass OOD-Stichproben nicht als Teil des ODD klassifiziert werden dürfen. Wenn eine OOD-Stichprobe $x$ den Schwellenwert verletzt ($\alpha(x) > \xi$), skaliert der Algorithmus iterativ die Kovarianzmatrix des einflussreichsten Kerns für diesen Punkt herab. Dieser Prozess ist reihenfolgenunabhängig und erweist sich als in endlichen Schritten terminierend, wodurch $\alpha(x) \leq \xi$ für alle OOD-Stichproben sichergestellt wird.

3. Hauptbeiträge

1. Deterministisches, reihenfolgenunabhängiges Rahmenwerk: Der Artikel stellt die erste vollständig automatisierte Pipeline vor, um ODDs aus Daten unter Verwendung einer kernelbasierten Darstellung abzuleiten, die eindeutig durch die Daten bestimmt ist und gegenüber der Reihenfolge der Stichproben invariant ist.
2. Formale Definition der ODD-Ähnlichkeit: Eine datenzentrierte Definition der ODD-Ähnlichkeit wird eingeführt, die den Vergleich datengetriebener ODDs mit Ground Truth oder Proxys ohne semantische Ausrichtung ermöglicht.
3. Safety-by-Design-Implementierung: Die resultierende ODD-Darstellung ist begrenzt, konservativ (unterapproximiert den wahren ODD in spärlichen Regimen) und interpretierbar und erfüllt damit Schlüsselanforderungen für die zukünftige KI-Zertifizierung.
4. Umgang mit spärlichen Daten: Die Methode ist so konzipiert, dass sie auch in Regimen mit spärlichen Daten effektiv funktioniert, was sie für frühe Entwicklungsstadien anwendbar macht.
5. Open-Source-Tool (autoSAFE): Die Autoren entwickelten und veröffentlichten ein Tool (autoSAFE), das dieses Rahmenwerk implementiert, verschiedene Datenformate (CSV, JSON/ASAM OpenLABEL) unterstützt und effiziente Nachbarsuchverfahren ermöglicht.

4. Validierung und Ergebnisse

Die Methodik wurde durch zwei Hauptexperimente validiert:

4.1 Monte-Carlo-Simulation

• Aufbau: Ein synthetischer 2D-ODD wurde mit einer linearen Ungleichungsbedingung generiert. Ankerpunkte wurden aus dem wahren ODD entnommen, und Validierungsstichproben wurden über einen breiteren Hyperrechteckbereich generiert.
• Ergebnisse: Der datengetriebene ODD wurde mit dem wahren zugrunde liegenden ODD und der konvexen Hülle der Ankerpunkte verglichen.
  • Präzisions- und Recall-Kurven zeigten eine starke Korrelation zwischen dem datengetriebenen ODD und der konvexen Hülle ($R^2 = 0,9855$ für Präzision, $R^2 = 0,9987$ für Recall).
  • Dies legt nahe, dass die konvexe Hülle als zuverlässiger Proxy zur Abstimmung von Affinitätsschwellenwerten dienen kann, wenn der Ground-Truth-ODD unbekannt ist.
  • Die Ergebnisse galten für Dimensionen bis zu 10 und komplexe Beziehungsfunktionen.

4.2 Reale Anwendung in der Luftfahrt (VCAS)

• Kontext: Die Methode wurde auf das Vertical Collision Avoidance System (VCAS) angewendet, eine Komponente des ACAS X-Systems der nächsten Generation.
• Daten: Der Datensatz umfasste 622.110 Ankerpunkte, die Zustandsvektoren darstellten (relative Höhe, vertikale Raten, Zeit bis zum CPA, vorherige Empfehlung).
• Ergebnisse:
  • Der datengetriebene ODD wurde mit dem bekannten Ground-Truth-ODD und der konvexen Hülle verglichen.
  • Hohe Bestimmtheitsmaße wurden beobachtet ($R^2 = 0,991$ für Präzision, $R^2 = 0,999$ für Recall).
  • Die Ergebnisse bestätigten, dass der kernelbasierte Ansatz in einem realistischen, hochdimensionalen sicherheitskritischen Szenario gut funktioniert, trotz der geringeren Dichte der Ankerpunkte im Vergleich zur Monte-Carlo-Simulation.

5. Bedeutung und Behauptungen

Der Artikel behauptet, dass eine „vollständig wahre" Rekonstruktion eines ODD allein aus Daten zwar nicht immer möglich ist, der vorgeschlagene kernelbasierte Ansatz jedoch den zugrunde liegenden ODD für Zertifizierungszwecke hinreichend approximiert.

• Zertifizierungsbereitschaft: Die Methode bietet eine mathematisch strenge, deterministische und erklärbare Grundlage für die Definition operationeller Grenzen. Dies unterstützt regulatorische Rahmenwerke (z. B. EASA), die eine kontinuierliche Sicherheitsbewertung und klare operationelle Grenzen erfordern.
• Runtime-Überwachung: Im Gegensatz zu starren geometrischen Grenzen ermöglicht die kontinuierliche Affinitätsfunktion $\alpha(x)$ gestufte Warnzonen. Wenn sich der Systemzustand von den Ankerpunkten entfernt, nimmt der Affinitätswert sanft ab, was eine Früherkennung von Out-of-Distribution-Bedingungen ermöglicht, bevor eine harte Sicherheitsgrenze überschritten wird.
• Konservatismus: Der Ansatz ist inhärent konservativ. In Regimen mit spärlichen Daten unterapproximiert der abgeleitete ODD den wahren sicheren Bereich und stellt sicher, dass das System nur in Bereichen eingesetzt wird, die durch ausreichende Trainingsdaten gestützt werden. Dies steht im Einklang mit dem Safety-by-Design-Prinzip.
• Einschränkungen: Die Autoren räumen ein, dass die Methode von Kernel-Parametern ($\kappa, \eta$) abhängt und die Annahme einer diagonalen Kovarianz interdimensionale Abhängigkeiten vereinfacht. Sie stellen fest, dass der resultierende ODD in spärlichen Regionen möglicherweise zu konservativ ist und gültige Betriebsbedingungen ausschließen könnte, argumentieren jedoch, dass dies ein notwendiger Kompromiss für die Sicherheitsgewährleistung ist.

Zusammenfassend etabliert die Arbeit einen Weg für den datengetriebenen ODD-Aufbau, der mit formalen Sicherheitsargumenten kompatibel ist und die Lücke zwischen empirischen Daten und den strengen Anforderungen der KI-Zertifizierung in sicherheitskritischen Systemen schließt.