🤖 machine learning

Unifying Runtime Monitoring Approaches for Safety-Critical Machine Learning: Application to Vision-Based Landing

Dieser Beitrag schlägt einen einheitlichen Rahmen vor, der Überwachungsansätze für sicherheitskritische maschinelle Lernsysteme zur Laufzeit in Kategorien des Operational Design Domain, des Out-of-Distribution und des Out-of-Model-Scope einteilt und deren komplementäre Vorteile durch ein visuell gestütztes Flugzeuglandexperiment nachweist.

Ursprüngliche Autoren: Mathieu Dario, Florent Chenevier, Kévin Delmas, Joris Guerin, Jérémie Guiochet

Veröffentlicht 2026-04-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mathieu Dario, Florent Chenevier, Kévin Delmas, Joris Guerin, Jérémie Guiochet

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr talentierten, aber leicht nervösen Roboter-Piloten eingestellt, der ein Flugzeug landen soll. Dieser Roboter ist ein Experte darin, Start- und Landebahnen auf Bildern zu erkennen, doch er hat einige Eigenarten: Er gerät in Verwirrung, wenn das Wetter seltsam ist, er halluziniert manchmal Start- und Landebahnen, wo keine vorhanden sind, und er kann durch tückische Lichtverhältnisse getäuscht werden.

Das Papier, nach dem Sie fragen, ist wie ein Sicherheitsleitfaden für die Einstellung eines Teams von Sicherheitsbeamten, das diesen Roboter-Piloten überwacht. Die Autoren stellten fest, dass verschiedene Expertengruppen (einige, die sich mit Computercodes befassen, andere mit Flugsicherheit) ihre eigenen separaten Sicherheitsbeamten entwickelten, die oft aneinander vorbeiredeten. Sie beschlossen, ein vereinheitlichtes „Sicherheits-Team"-Rahmenwerk zu schaffen, um diese Beamten in drei unterschiedliche Rollen zu gliedern und sicherzustellen, dass keine Sicherheitslücken offen bleiben.

So funktioniert ihr „Sicherheits-Team" unter Verwendung einfacher Analogien:

1. Der Torwächter (ODD-Monitor)

Das Konzept: Operational Design Domain (ODD)
Die Analogie: Stellen Sie sich vor, der Roboter-Pilot wurde nur darin trainiert, bei sonnigem Wetter auf Start- und Landebahnen zu landen. Wenn ein Sturm aufzieht oder das Flugzeug auf dem Kopf fliegt, sollte der Roboter nicht einmal versuchen zu landen.
Was dieser Beamte tut: Dieser Beamte steht vor der Haustür. Bevor der Roboter überhaupt das Bild betrachtet, prüft dieser Beamte den „Ausweis" der Situation.

„Ist es sonnig?"
„Fliegt das Flugzeug in der richtigen Höhe?"
„Ist nur eine Start- und Landebahn sichtbar?"
Wenn die Antwort „Nein" lautet (z. B. es ist neblig oder das Flugzeug ist zu hoch), sagt der Torwächter: „Stopp! Das ist kein Job für unseren Roboter." Sie lehnen die Eingabe sofort ab. Es interessiert sie nicht, was der Roboter denkt; sie kennen einfach die Spielregeln.

2. Der Muster-Detektiv (OOD-Monitor)

Das Konzept: Out-of-Distribution (OOD)
Die Analogie: Der Roboter wurde mit Millionen Fotos von Start- und Landebahnen trainiert. Er weiß, wie ein „normales" Start- und Landebahn-Foto aussieht. Doch was, wenn ihm jemand ein Foto einer Start- und Landebahn gibt, die mit seltsamer, leuchtender Neonfarbe bedeckt ist, oder ein Foto, das wegen eines defekten Kameraobjektivs extrem unscharf ist? Der Roboter hat das noch nie gesehen.
Was dieser Beamte tut: Dieser Beamte betrachtet das Foto selbst, nicht die Antwort des Roboters. Er ist wie ein Detektiv, der nach „Seltsamkeiten" sucht.

„Sieht dieses Foto aus wie die Millionen Fotos, mit denen wir trainiert wurden?"
„Ist die Helligkeit seltsam? Ist die Textur ungewöhnlich?"
Wenn das Foto zu stark von dem abweicht, was der Roboter gelernt hat (selbst wenn das Wetter technisch gesehen „in Ordnung" ist), sagt der Detektiv: „Ich erkenne dieses Muster nicht. Es ist zu riskant. Lassen Sie uns den Roboter nicht raten lassen." Sie lehnen die Eingabe ab, weil die Daten selbst verdächtig sind.

3. Der Leistungs-Trainer (OMS-Monitor)

Das Konzept: Out-of-Model-Scope (OMS)
Die Analogie: Manchmal sieht das Foto normal aus und das Wetter ist perfekt, doch der Roboter macht trotzdem einen dummen Fehler. Vielleicht verwirrt ihn ein seltsamer Schatten, oder er wird durch einen geschickt auf der Start- und Landebahn platzierten Aufkleber getäuscht (ein „adversarial attack").
Was dieser Beamte tut: Dieser Beamte steht hinter dem Roboter. Er beobachtet das Gehirn des Roboters (seine inneren Gedanken) und seine endgültige Antwort.

„Der Roboter sagt, er sieht eine Start- und Landebahn, aber sein internes Vertrauen ist wackelig."
„Der Roboter rät wild herum."
„Die interne Logik des Roboters verhält sich seltsam."
Wenn der Roboter kämpft oder sich seltsam verhält, sagt der Trainer: „Ich vertraue dieser spezifischen Antwort nicht. Obwohl das Foto gut aussah, versagt der Roboter gerade." Sie fangen Fehler ab, die die ersten beiden Beamten übersehen haben.

Das Experiment: Das Team im Einsatz

Die Autoren testeten dieses „Sicherheits-Team" an einer simulierten Flugzeuglandungsaufgabe.

Das Ergebnis: Wenn sie nur einen Beamten einsetzten, überließen sie einige Gefahren unentdeckt. Doch wenn sie alle drei Beamten arbeiteten sie in einer Reihe zusammen (Torwächter $\rightarrow$ Detektiv $\rightarrow$ Trainer), fingen sie fast alle Fehler ab.
Der Haken: Extreme Sicherheit hat ihren Preis. Da die Beamten so vorsichtig sind, sagen sie manchmal „Nein" zu völlig guten Flügen, nur um auf der sicheren Seite zu sein. Dies wird als „Verfügbarkeitskosten" bezeichnet. Das Papier zeigt, dass Sie zwar viel sicherer werden, aber möglicherweise mehr Flüge absagen müssen, als Sie möchten.

Die große Erkenntnis

Das Papier argumentiert, dass wir nicht einfach zufällige Sicherheitstools auf KI-Probleme werfen sollten. Stattdessen sollten wir klar definieren, wer was tut:

Torwächter prüfen die Regeln der Welt.
Detektive prüfen, ob die Daten normal aussehen.
Trainer prüfen, ob die KI richtig denkt.

Durch die Trennung dieser Rollen können Ingenieure bessere, sicherere KI-Systeme für Dinge wie das Landen von Flugzeugen entwickeln und genau wissen, welche Art von Gefahr jeder Beamte stoppen soll. Das Papier beweist, dass diese drei Ansätze komplementär sind – sie füllen die blinden Flecken des jeweils anderen aus und machen das gesamte System viel zuverlässiger, als es jeder einzelne Beamte allein könnte.

1. Problemstellung

Die Integration von maschinellem Lernen (ML), insbesondere von Deep Neural Networks (DNNs), in sicherheitskritische Systeme (z. B. Luftfahrt, autonomes Fahren) bringt erhebliche Zuverlässigkeitsprobleme mit sich. DNNs mangeln es an Robustheit, versagen häufig bei unvorhergesehenen Eingaben und zeigen übermäßiges Selbstvertrauen bei falschen Vorhersagen. Obwohl Laufzeit-Sicherheitsmonitore existieren, um diese Risiken zu mindern, ist die aktuelle Forschung zersplittert zwischen verschiedenen Gemeinschaften (Zuverlässigkeitstechnik vs. maschinelles Lernen).

Die Lücke: Bestehende Überwachungsmethoden arbeiten in Silos mit unterschiedlichen Terminologien und Anwendungsbereichen. Einige konzentrieren sich auf betriebliche Systemgrenzen, andere auf statistische Verschiebungen der Datenverteilung und wieder andere auf interne Zustände des Modells.
Die Folge: Dieser Mangel an Vereinheitlichung führt zu einer unvollständigen Sicherheitsabdeckung, sich überschneidenden Methoden und Schwierigkeiten beim Vergleich oder der Kombination verschiedener Monitore unter Verwendung gemeinsamer Metriken. Es fehlt ein einheitliches Rahmenwerk, um Bedrohungen systematisch zu kategorisieren und geeignete Überwachungsstrategien auszuwählen.

2. Methodik: Das SwMF-Rahmenwerk

Die Autoren schlagen ein einheitliches Rahmenwerk namens SwMF (Safety-critical ML Monitoring Framework) vor. Dieses Rahmenwerk definiert den ML-Eingaberaum neu und kategorisiert Überwachungsansätze basierend auf den spezifischen „Datenbedrohungen", die sie adressieren.

A. Zerlegung des Eingaberaums

Die Autoren projizieren drei Schlüsselkonzepte auf den ML-Eingaberaum (z. B. Bilder), um unterschiedliche Domänen und Bedrohungen zu definieren:

Operational Design Domain (ODD): Die Menge der Bedingungen, unter denen das System zum Betrieb vorgesehen ist (z. B. Wetter, Flughöhe, Sichtweite auf der Landebahn).
- Bedrohung: ODD-Verletzungen. Eingaben außerhalb der vorgesehenen Betriebsbedingungen.
In-Distribution Domain ( $D_{ID}$ ): Daten, die aus derselben Verteilung stammen wie die Trainingsdaten.
- Bedrohung: Out-of-Distribution (OOD)-Bedrohungen. Eingaben, die innerhalb der ODD liegen, aber statistisch von den Trainingsdaten abweichen (z. B. Kovariatenverschiebungen wie Lichtänderungen oder semantische Verschiebungen wie neue Objektklassen).
Model Scope ( $D_f$ ): Die Teilmenge der Eingaben, bei denen das spezifische ML-Modell $f$ $f$ korrekte Vorhersagen trifft.
- Bedrohung: In-Distribution (ID)-Fehler. Eingaben, die innerhalb von $D_{ID}$ liegen, aber dennoch dazu führen, dass das Modell versagt (z. B. adversariale Angriffe, subtile physikalische Fehler oder Grenzen der Modellgeneralisierung).

B. Kategorisierung der Monitore

Basierend auf diesen Bedrohungen definiert das Rahmenwerk drei komplementäre Monitor-Kategorien:

ODD-Monitore: Regelbasierte Monitore, die Systemvariablen (z. B. GPS, IMU, Wettersensoren) gegen vordefinierte Einschränkungen überprüfen. Sie lehnen Eingaben ab, bevor sie das ML-Modell erreichen, wenn die Betriebsbedingungen ungültig sind.
OOD-Monitore: Datengetriebene Monitore, die statistische Anomalien in den Eingabedaten (z. B. Helligkeit, Entropie, Kanten-Dichte) im Vergleich zur Trainingsverteilung erkennen. Sie lehnen Eingaben ab, die von der Trainingsverteilung abweichen, aber dennoch innerhalb der ODD liegen.
OMS (Out-of-Model-Scope)-Monitore: Nachgelagerte Monitore, die interne Merkmale des ML-Modells (z. B. Logits, Neuronenaktivierungen) oder Ausgaben analysieren, um anomales Verhalten zu erkennen. Sie zielen speziell auf Eingaben ab, bei denen das Modell wahrscheinlich versagt, selbst wenn die Eingabe „normal" aussieht.

C. Experimenteller Aufbau

Anwendung: Visionsbasierte Landung (VBL), speziell die Teilaufgabe der Landebahnerkennung (VBRD).
Datensatz: Der LARD-Datensatz (synthetische Bilder, generiert via Google Earth Studio).
Modell: YOLOv5-n (ein einstufiger Objektdetektor).
Architektur: Eine serielle Überwachungskette, bei der ODD-Monitore zuerst ausgeführt werden, gefolgt von OOD-Monitoren und schließlich OMS-Monitoren nach der Modellvorhersage.
Bewertungsmetriken: Sicherheitsorientierte Metriken, vorgeschlagen von Guerin et al.:
- Safety Gain (SG): Anteil der gefährlichen Situationen, die korrekt gefiltert wurden.
- Residual Hazard (RH): Anteil der gefährlichen Situationen, die übersehen wurden.
- Availability Cost (AC): Anteil der sicheren Situationen, die fälschlicherweise abgelehnt wurden (Fehlalarme).

3. Hauptbeiträge

Vereinheitlichte Terminologie: Das Papier klärt die Definitionen von ODD, OOD und OMS und löst die Mehrdeutigkeit auf, bei der diese Begriffe in der Literatur oft synonym verwendet werden. Es unterscheidet explizit zwischen Datenverteilungsverschiebungen (OOD) und Modellversagensbereichen (OMS).
Bedrohungsorientierte Klassifizierung: Es führt eine formale Abbildung zwischen spezifischen Datenbedrohungen (ODD-Verletzungen, OOD-Verschiebungen, ID-Fehler) und der entsprechenden Überwachungskategorie ein und bietet einen systematischen Gestaltungsleitfaden für Sicherheitsingenieure.
Nachweis der Komplementarität: Durch Experimente beweisen die Autoren, dass diese drei Monitor-Typen unterschiedliche Fehlermodi adressieren und inhärent komplementär sind, anstatt redundant zu sein.
Einheitliche Bewertung: Das Rahmenwerk ermöglicht den Vergleich verschiedener Monitore unter Verwendung eines einzigen Satzes von Sicherheitsmetriken (SG, RH, AC).

4. Experimentelle Ergebnisse

Die Studie wurde in zwei Experimenten durchgeführt:

Experiment 1: Nominaler Testdatensatz (Synthetische Daten)

Basislinie: Das YOLOv5-n-Modell hatte ein Residual Hazard (RH) von ~20 % (was bedeutet, dass 20 % der Bilder Fehler verursachten).
Einzelne Leistung:
- ODD-Monitore detektierten ~4,6 % der Fehler (SG).
- OOD-Monitore detektierten ~4,1 % der Fehler.
- OMS-Monitore detektierten ~4,0 % der Fehler.
Kombinierte Leistung: Wenn alle drei Monitore sequentiell angewendet wurden, stieg der Safety Gain auf 9,7 %, und das Residual Hazard sank auf 10,5 %.
Abwägung: Der kombinierte Ansatz erhöhte die Availability Cost (AC) auf ~31 %, was bedeutet, dass etwa 30 % der sicheren Bilder abgelehnt wurden. Dies unterstreicht den Zielkonflikt zwischen „Sicherheit und Verfügbarkeit".

Experiment 2: Korruptierte Daten (Robustheitstest)

Aufbau: Bilder wurden mit Helligkeitsänderungen, Unschärfe, Nebel und Rauschen korruptiert.
OOD-Monitor: Hochwirksam beim Zurückweisen korruptierter Bilder (hohes SG) und fungiert als „vorsorglicher" Filter. Dies führte jedoch zu hohen Availability Costs (AC), da Daten abgelehnt wurden, selbst wenn das Modell sie möglicherweise korrekt verarbeitet hätte.
OMS-Monitor: Weniger effektiv bei korruptierten Daten im Vergleich zu OOD. Er zeigte die beste Leistung bei „sauberen", aber schwierigen Eingaben (ID-Fehler).
Fazit: Die Ergebnisse validieren die serielle Architektur. OOD-Monitore sollten offensichtliche Verteilungsverschiebungen zuerst herausfiltern, wodurch OMS-Monitore in der Lage sind, sich auf subtile Modellfehler innerhalb der verbleibenden „sicheren" Verteilung zu konzentrieren.

5. Bedeutung und Fazit

Systematisches Sicherheitsdesign: Das SwMF-Rahmenwerk bietet einen strukturierten Ansatz für die Gestaltung von Laufzeit-Überwachungssystemen und stellt sicher, dass alle wesentlichen Bedrohungsvektoren (operativ, statistisch und modellspezifisch) abgedeckt sind.
Überbrückung von Gemeinschaften: Es überbrückt erfolgreich die Lücke zwischen der Zuverlässigkeitsgemeinschaft (Systemsicherheit auf Systemebene) und der ML-Gemeinschaft (Datenverteilung und Modellverhalten).
Praktische Implikationen: Die Studie bestätigt, dass die Kombination von Monitoren die Sicherheit zwar erheblich verbessert (Reduzierung des Restrisikos), aber unvermeidlich die Rate der Fehlalarme (Verfügbarkeitskosten) erhöht. Zukünftige Arbeiten müssen sich auf die Optimierung dieses Zielkonflikts und auf die Verbesserung der Datenselektion für das Training dieser Monitore konzentrieren, um betriebliche Bedrohungen besser abzubilden.

Zusammenfassend argumentiert das Papier, dass eine vereinheitlichte, mehrschichtige Überwachungsstrategie für den sicheren Einsatz von ML in kritischen Luftfahrtsystemen unerlässlich ist und über isolierte Lösungen hinaus zu einer ganzheitlichen Sicherheitsarchitektur führt.