🤖 machine learning

Mechanistic Interpretability for Learning Assurance of a Vision-Based Landing System

Dieser Artikel schlägt ein neuartiges Sicherheitsrahmenwerk für visionsbasierte Flugzeuglandesysteme vor und demonstriert dieses, das die EASA-Leitlinien erfüllt, indem es mechanistische Interpretierbarkeit nutzt, um Inhalt von Stil in der Situationsrepräsentation eines Modells zu trennen, wodurch eine zuverlässige Vorhersageverlassung auf aufgabenrelevante Merkmale sowie die Entwicklung einer Laufzeit-Erkennung von außerhalb des Modellbereichs liegender Situationen ermöglicht wird.

Ursprüngliche Autoren: Romeo Valentin, Olivia Beyer Bruvik, Marc R. Schlichting, Mykel J. Kochenderfer

Veröffentlicht 2026-05-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Romeo Valentin, Olivia Beyer Bruvik, Marc R. Schlichting, Mykel J. Kochenderfer

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bauen einen Roboter-Piloten, der das Landen von Flugzeugen allein durch das Betrachten von Bildern von Start- und Landebahnen lernt. In der Vergangenheit konnten Ingenieure genau erklären, wie jeder Teil einer Maschine funktioniert, wie ein Mechaniker, der eine Leitung bis zu einem Schalter verfolgt. Doch bei moderner KI auf Basis von „neuronalen Netzen" lernt das System aus Daten in einer Blackbox; wir wissen, was hineingeht (ein Bild) und was herauskommt (ein Landebefehl), aber wir wissen nicht, wie es diese Entscheidung getroffen hat.

Dies ist ein Problem für die Flugsicherheit. Regulierungsbehörden (wie die EASA in Europa) sagen: „Wir können der KI nicht einfach vertrauen, nur weil sie gute Testergebnisse erzielt hat. Wir müssen ihren internen 'Denkprozess' sehen, um sicherzustellen, dass sie über die richtigen Dinge nachdenkt."

Dieser Artikel schlägt einen neuen Weg vor, um in diese Blackbox zu spähen und nachzuweisen, dass die KI korrekt denkt. Hier ist, wie sie es getan haben, einfach erklärt:

1. Das Problem: Die KI könnte betrügen

Stellen Sie sich vor, Sie unterrichten einen Schüler darin, eine Katze zu identifizieren. Wenn Sie ihm nur Fotos von Katzen zeigen, die auf roten Teppichen sitzen, könnte der Schüler lernen, „rote Teppiche" statt „Katzen" zu erkennen. Wenn Sie ihm dann eine Katze auf einem blauen Teppich zeigen, könnte er scheitern.

In der Luftfahrt könnte eine KI das Landen lernen, indem sie spezifische Farben oder Lichtverhältnisse erkennt (wie „sonnige Tage sehen so aus"), anstatt die tatsächliche Form der Start- und Landebahn. Dies nennt man das Verlassen auf Stil (das Aussehen) statt auf Inhalt (die Struktur). Wenn sich die KI auf den Stil verlässt, könnte sie bei Wetterwechseln abstürzen.

2. Die Lösung: Entwirren der „Gedanken"

Die Forscher behandelten die interne Gehirnaktivität der KI wie einen chaotischen Haufen von Zutaten. Sie wollten die wesentlichen Zutaten (die Form der Start- und Landebahn, die Kanten, die Markierungen) von den Gewürzen (die Farbe des Himmels, die Körnung des Fotos, die Grafik des Simulators) trennen.

Sie verwendeten ein mathematisches Werkzeug namens K-SVD, um die internen „Gedanken" der KI (sogenannte Embeddings) in kleine, distincte Bausteine namens Atome zu zerlegen.

Inhaltliche Atome: Diese sind wie der Bauplan der Start- und Landebahn. Sie leuchten auf, wenn die KI eine Landebahnkante oder eine Schwellenmarkierung sieht, egal ob das Bild aus einem Videospiel, von einem Satelliten oder von einer echten Kamera stammt.
Stilistische Atome: Diese sind wie ein Filter auf einem Foto. Sie leuchten nur auf, wenn die KI „Google-Maps-Gras" oder „Bewegungsunschärfe" sieht.

3. Der Test: Hat die KI auf die richtigen Atome gehört?

Sobald sie die Atome getrennt hatten, stellten sie eine einfache Frage: Auf welche Atome hört die KI, wenn sie eine Landeentscheidung trifft?

Sie fanden heraus, dass der „Entscheidungskopf" der KI (der Teil, der den Landepunkt berechnet) fast 82 % seines Vertrauens auf die inhaltlichen Atome setzte. Er ignorierte die stilistischen Atome größtenteils.

Die Analogie: Es ist wie ein Koch, der eine Suppe probiert. Wenn der Koch sagt: „Ich gebe Salz hinzu, weil die Suppe fade schmeckt (Inhalt)", ist das gut. Wenn der Koch sagt: „Ich gebe Salz hinzu, weil die Schüssel blau ist (Stil)", ist das schlecht. Dieser Artikel bewies, dass der Koch hauptsächlich die Suppe probiert und nicht auf die Schüssel schaut.

4. Das neue Sicherheitsnetz: „Out-of-Model-Scope" (OOMS)

Der Artikel führt einen neuen Sicherheitsmonitor namens Out-of-Model-Scope (OOMS) ein.

Aktuelle Sicherheitsnetze: Normalerweise prüfen wir, ob die Eingabe seltsam ist (z. B. „Ist das ein Bild einer Banane?") oder ob die Ausgabe seltsam ist (z. B. „Hat die KI gesagt, die Start- und Landebahn sei auf dem Mond?").
Der neue Monitor (OOMS): Dieser prüft die internen Gedanken der KI, bevor sie eine Entscheidung trifft. Er fragt: „Enthält das Gehirn der KI derzeit die 'Bauplan-Start-und-Landebahn'-Atome?"

Wie es funktioniert:
Die Forscher bauten ein einfaches Alarmsystem. Wenn die KI ein Bild betrachtet und ihre internen „Atome" nicht mit den notwendigen Start- und Landebahnstrukturen aufleuchten (vielleicht weil die Start- und Landebahn hinter einer Wolke verborgen ist oder das Bild nur Himmel zeigt), geht der Alarm los. Das System sagt: „Ich habe nicht genügend Beweise zum Landen" und verwirft die Vorhersage.

Sie testeten dies in einem schwierigen Szenario, bei dem die Start- und Landebahn vollständig außerhalb des Kamerabilds lag. Die KI versuchte trotzdem zu raten, aber der OOMS-Monitor fing sie auf, weil die „Start- und Landebahn-Atome" fehlten. Der Monitor erkannte diese gefährlichen Situationen mit 96 % Genauigkeit.

Zusammenfassung

Dieser Artikel sagt nicht einfach nur „die KI funktioniert". Er liefert eine mechanistische Erklärung dafür, warum sie funktioniert.

Sie zerlegten das Gehirn der KI in „Start- und Landebahn-Fakten" und „Foto-Filter".
Sie bewiesen, dass sich die KI hauptsächlich auf „Start- und Landebahn-Fakten" verlässt.
Sie bauten einen neuen Sicherheitsschalter, der die KI abschaltet, falls sie jemals aufhört, auf „Start- und Landebahn-Fakten" zu achten.

Dies gibt Regulierungsbehörden eine konkrete Möglichkeit zu überprüfen, ob ein selbstlernendes Flugzeugsystem die Start- und Landebahn tatsächlich versteht und nicht nur das Aussehen der Bilder auswendig gelernt hat.

Technisches Fazit: Mechanistische Interpretierbarkeit zur Lernsicherung eines visionsbasierten Landesystems

Problemstellung
Die Integration datengetriebener neuronaler Netze in sicherheitskritische Luftfahrtsysteme stellt traditionelle Sicherungsparadigmen in Frage, die auf der Spezifizierung und Verifizierung jedes einzelnen Komponenten-Schritts beruhen. Während die Europäische Agentur für Flugsicherheit (EASA) Leitlinien herausgegeben hat, die datengetriebene Systeme verpflichten, ihre eigene „Situationsrepräsentation" aufzubauen und zu überwachen, bleiben die technischen Mittel, um solche Nachweise für neuronale Netze zu erbringen, ein offenes Problem. Die aktuelle Sicherung stützt sich häufig auf Tests mit zurückgehaltenen Daten, was nicht in der Lage ist, zwischen Modellen zu unterscheiden, die generalisierende Mechanismen gelernt haben, und solchen, die auf trügerischen Korrelationen beruhen. Insbesondere besteht eine kritische Lücke bei der Überwachung der internen Situationsrepräsentation des Modells – der Merkmale, die berechnet werden, um Eingabe und Ausgabe zu verbinden – anstatt nur der Eingabebedingungen (Operational Design Domain, ODD) oder der Ausgabestatistiken (Out-of-Distribution, OOD).

Methodik
Die Autoren schlagen einen Rahmenwerk vor, das auf mechanistischer Interpretierbarkeit basiert, um diese Lücke zu schließen, angewendet auf eine visionsbasierte Aufgabe zur Regression von Landebahn-Schlüsselpunkten. Die Methodik durchläuft folgende Stufen:

Modellarchitektur: Ein Vision Transformer (ViT)-Rückgrat (DINOv2-S) wird für die Regression von Landebahn-Schlüsselpunkten unter Verwendung eines Soft-Argmax (SAM)-Operators angepasst. Im Gegensatz zu Faltungsneuronalen Netzen (CNNs), die räumliche Informationen häufig durch Pooling verwerfen, bewahrt der ViT die räumliche Struktur auf Patch-Ebene. Der SAM-Operator bildet Patch-Embeddings direkt auf kontinuierliche Koordinatenschätzungen ohne eine Pooling-Schicht ab, wodurch sichergestellt wird, dass der Regressionskopf minimal ist und die Last der Aufgabenerfüllung innerhalb der Patch-Embeddings selbst liegt.
Sparse Disentanglement (K-SVD): Die hochdimensionalen Patch-Embeddings ( $z_p$ ) werden mittels K-SVD sparse dictionary learning in interpretierbare „Atome" zerlegt. Dieser Prozess geht von der Hypothese linearer Repräsentation aus, wonach semantische Konzepte Richtungen im Embedding-Raum entsprechen. Das Modell lernt einen übervollständigen Wörterbuch $D$ und sparse Codes $X$ , sodass $z_p \approx DX$ gilt.
Trennung von Inhalt und Stil: Die gelernten Atome werden basierend auf Invarianz über Teilmengen hinweg über vier verschiedene visuelle Domänen im LARDv2-Datensatz (X-Plane, Google Earth Studio, ArcGIS und Bing Maps) in zwei Typen kategorisiert:
- Inhaltsbehaftete Atome: Aktivieren konsistent über alle Domänen hinweg und verfolgen aufgabenrelevante geometrische Strukturen (z. B. Landebahnränder, Schwellen).
- Stilistische Atome: Aktivieren vorwiegend in spezifischen Domänen und verfolgen zufällige Erscheinungsfaktoren (z. B. Farbkorrektur, Rendering-Artefakte, Beleuchtung).
- Die Klassifizierung erfolgt unter Verwendung des Variationskoeffizienten (CV) der Aktivierungsraten über die Teilmengen hinweg.
Validierung: Die Trennung wird qualitativ durch Visualisierung aktivierender Patches und quantitativ durch Messung des SAM Reliance Score validiert. Dieser Score aggregiert die Ausrichtung der Atome mit den Gewichten des Regressionskopfs, ihre Aktivierungshäufigkeit und Aktivierungsstärke, um zu bestimmen, in welchem Maße die Vorhersagen des Modells auf inhaltsbehafteten versus stilistischen Atomen beruhen.
Out-of-Model-Scope (OOMS) Detektion: Aufbauend auf der Trennung von Inhalt und Stil definieren die Autoren OOMS als einen Zustand, in dem die Eingabe nicht über ausreichende aufgabenrelevante (inhaltsbehaftete) Merkmale verfügt, selbst wenn die Eingabe gültig erscheint (in-ODD) und die Ausgabe statistisch typisch ist. Ein OOMS-Detektor wird als eingeschränkter L1-logistischer Regressionsklassifikator über binäre Atomaktivierungen implementiert. Der Klassifikator ist darauf trainiert, eine Wahrscheinlichkeit für „Im-Modell-Umfang" (IMS) auszugeben, wobei Einschränkungen sicherstellen, dass der Standardzustand OOMS ist und nur aktive Atome die IMS-Wahrscheinlichkeit erhöhen können.

Hauptbeiträge

Anpassung von ViT für die Landung: Die Autoren demonstrieren eine einfache, effiziente Anpassung des Vision Transformer mit einem Soft-Argmax-Kopf für die Regression von Landebahn-Schlüsselpunkten und zeigen, dass dieser auf dem LARDv2-Datensatz trainierbar ist.
Mechanistische Zerlegung: Sie zerlegen den internen Merkmalsraum des ViT erfolgreich in inhaltsbehaftete geometrische Strukturen und stilistische Faktoren unter Verwendung von K-SVD und legen damit das Fundament für mechanistische Interpretierbarkeit in diesem Bereich.
Validierung der Repräsentation: Durch qualitative Visualisierung und quantitative Analyse der Kopf-Gewichte bestätigen sie, dass der Regressionskopf primär (ca. 80 %) auf inhaltsbehaftete Atome angewiesen ist, was die Situationsrepräsentation des Modells validiert.
OOMS-Überwachung: Die Arbeit führt die Out-of-Model-Scope (OOMS)-Detektion als neuartiges Laufzeit-Sicherheitsartefakt ein. Im Gegensatz zu ODD (Eingabeüberwachung) oder OOD (Ausgabeüberwachung) überwacht OOMS direkt die interne Situationsrepräsentation des Modells, um das Vorhandensein aufgabenrelevanter semantischer Merkmale zu verifizieren.

Ergebnisse

Regressionsleistung: Das vortrainierte ViT-Modell erreichte einen medianen Testset-Pixel-Fehler von 1,91 px und übertraf damit eine Baseline, die von Grund auf trainiert wurde (3,19 px), signifikant.
Abhängigkeit von Inhalt/Stil: Die quantitative Analyse zeigte, dass der Regressionskopf beim vortrainierten Modell etwa 81,7 % seines effektiven Abhängigkeitsscores auf inhaltsbehaftete Atome legt und beim von Grund auf trainierten Modell 79,8 %.
OOMS-Detektion: Auf einem künstlichen Datensatz, der zwischen gültigen Landebahn-Ausschnitten (IMS) und „inverse-BOGO"-Ausschnitten unterscheidet, bei denen die Landebahn fehlt (OOMS), erreichte der eingeschränkte logistische Regressionsklassifikator eine AUROC von 0,96.
Atom-Auswahl: Der OOMS-Klassifikator wählte automatisch eine sparse Teilmenge von 34 Atomen (von 512) aus, um eine hohe Genauigkeit zu erzielen. Bemerkenswerterweise wurden 78 % dieser ausgewählten Atome als inhaltsbehaftet klassifiziert, was zeigt, dass der Detektor auf den während der Interpretierbarkeitsphase identifizierten aufgabenrelevanten Merkmalen beruht.

Bedeutung und Behauptungen
Die Arbeit beansprucht, den ersten konkreten Nachweis auf Repräsentationsebene zu liefern, der von den Lernsicherungs-Leitlinien der EASA gefordert wird. Indem gezeigt wird, dass ein minimal sicherbares Modell Inhalt von Stil trennen und sich auf Ersteres verlassen muss, bietet die Arbeit einen Weg, um zu verifizieren, dass ein Modell keine trügerischen Korrelationen ausnutzt. Der vorgeschlagene OOMS-Monitor bietet einen praktischen Baustein für zukünftige Luftfahrtsicherheitsfälle und ergänzt bestehende Eingabe- und Ausgabemonitore, indem er direkt die Anforderung adressiert, die interne Situationsrepräsentation des Modells zu überwachen. Die Autoren positionieren mechanistische Interpretierbarkeit nicht als vollständige White-Box-Erklärung (die für hochdimensionale Modelle weiterhin undurchführbar bleibt), sondern als notwendige Bedingung für die Sicherung: die Verifizierung, dass die internen Mechaniken des Modells mit den physikalischen Aufgabenanforderungen übereinstimmen.