Mechanistic Interpretability for Learning Assurance of a Vision-Based Landing System

Technische Samenvatting: Mechanistische Interpretatie voor Leerzekerheid van een Op Beeld Gebaseerd Landingsysteem

Probleemstelling
De integratie van datagedreven neurale netwerken in veiligheidskritieke luchtvaartsystemen daagt traditionele zekerheidsparadigma's uit, die vertrouwen op het specificeren en verifiëren van elke componentstap. Hoewel het Europees Agentschap voor Luchtvaartveiligheid (EASA) richtlijnen heeft uitgegeven die vereisen dat datagedreven systemen hun eigen "situatierepresentatie" opbouwen en monitoren, blijven de technische middelen om dergelijk bewijs voor neurale netwerken te leveren een open probleem. Huidige zekerheidstelling vertrouwt vaak op testen met achtergehouden data, wat niet in staat is onderscheid te maken tussen modellen die generaliserende mechanismen hebben geleerd en modellen die vertrouwen op schijnbare correlaties. Er bestaat specifiek een kritieke lacune in het monitoren van de interne situatierepresentatie van het model – de kenmerken die worden berekend om invoer en uitvoer te verbinden – in plaats van alleen de invoercondities (Operationeel Ontwerpgebied, ODD) of de uitvoerstatistieken (Buiten-Verdeling, OOD).

Methodologie
De auteurs stellen een raamwerk voor op basis van mechanistische interpretatie om deze lacune aan te pakken, toegepast op een taak voor regressie van runway-keypunten op basis van beeld. De methodologie verloopt via de volgende fasen:

1. Modelarchitectuur: Een Vision Transformer (ViT)-ruggengraat (DINOv2-S) wordt aangepast voor regressie van runway-keypunten met behulp van een Soft-Argmax (SAM)-operator. In tegenstelling tot Convolutional Neural Networks (CNN's) die vaak ruimtelijke informatie via pooling weglaten, behoudt de ViT de ruimtelijke structuur op patch-niveau. De SAM-operator mapt patch-embeddings direct af op continue coördinateschattingen zonder een poolinglaag, waardoor de regressiehead minimaal blijft en de last om de taak op te lossen ligt bij de patch-embeddings zelf.
2. Sparce Ontkoppeling (K-SVD): De hoogdimensionale patch-embeddings ($z_p$) worden ontleed in interpreteerbare "atomen" met behulp van K-SVD sparse dictionary learning. Dit proces gaat uit van de hypothese van lineaire representatie, waarbij semantische concepten overeenkomen met richtingen in de embedding-ruimte. Het model leert een overcomplete dictionary $D$ en sparse codes $X$ zodat $z_p \approx DX$.
3. Scheiding van Inhoud versus Stijl: De geleerde atomen worden op basis van cross-subset invariantie over vier verschillende visuele domeinen in het LARDv2-dataset (X-Plane, Google Earth Studio, ArcGIS en Bing Maps) gecategoriseerd in twee types:
   • Inhoudsgebonden Atomen: Activeren consistent over alle domeinen en volgen taakrelevante geometrische structuren (bijv. randen van de landingsbaan, drempels).
   • Stijlgebonden Atomen: Activeren voornamelijk in specifieke domeinen en volgen incidentele verschijningsfactoren (bijv. kleurengamma, rendering-artefacten, verlichting).
   • De classificatie wordt uitgevoerd met behulp van de Variatiecoëfficiënt (CV) van activeringsfrequenties over subsets.
4. Validatie: De scheiding wordt kwalitatief gevalideerd via visualisatie van activerende patches en kwantitatief door het meten van de SAM-Vertrouwensscore. Deze score aggregeert de uitlijning van atomen met de gewichten van de regressiehead, hun activeringsfrequentie en activeringsgrootte om te bepalen in welke mate de voorspellingen van het model vertrouwen op inhoudsgebonden versus stijlgebonden atomen.
5. Detectie van Buiten-Model-Sfeer (OOMS): Op basis van de inhoud/stijl-splitsing definiëren de auteurs OOMS als een toestand waarbij de invoer onvoldoende taakrelevante (inhoudsgebonden) kenmerken bevat, zelfs als de invoer geldig lijkt (in-ODD) en de uitvoer statistisch typisch is. Een OOMS-detector wordt geïmplementeerd als een beperkte L1-logistische regressieclassificator over binaire atoomactiveringen. De classificator is getraind om een waarschijnlijkheid uit te geven van "In-Model-Sfeer" (IMS), met beperkingen die ervoor zorgen dat de standaardtoestand OOMS is en dat alleen actieve atomen de IMS-waarschijnlijkheid kunnen verhogen.

Belangrijkste Bijdragen

• Aanpassing van ViT voor Landing: De auteurs demonstreren een eenvoudige, efficiënte aanpassing van de Vision Transformer met een Soft-Argmax-head voor regressie van runway-keypunten, en tonen aan dat deze trainbaar is op het LARDv2-dataset.
• Mechanistische Decompositie: Ze ontleden het interne kenmerkruimte van de ViT succesvol in inhoudsgebonden geometrische structuren en stijlgebonden factoren met behulp van K-SVD, waarmee ze een fundament leggen voor mechanistische interpretatie in dit domein.
• Validatie van Representatie: Via kwalitatieve visualisatie en kwantitatieve analyse van head-gewichten bevestigen ze dat de regressiehead voornamelijk (ongeveer 80%) vertrouwen stelt in inhoudsgebonden atomen, waarmee de situatierepresentatie van het model wordt gevalideerd.
• OOMS-Monitoring: Het artikel introduceert detectie van Buiten-Model-Sfeer (OOMS) als een nieuw artefact voor runtime-zekerheidstelling. In tegenstelling tot ODD (invoermonitoring) of OOD (uitvoermonitoring), monitort OOMS direct de interne situatierepresentatie van het model om de aanwezigheid van taakrelevante semantische kenmerken te verifiëren.

Resultaten

• Regressieprestaties: Het voorgetrainde ViT-model behaalde een mediaan pixelerror van 1,91 px op de testset, wat significant beter is dan een baseline getraind vanaf nul (3,19 px).
• Vertrouwen op Inhoud/Stijl: Kwantitatieve analyse toonde aan dat de regressiehead ongeveer 81,7% van zijn effectieve vertrouwensscore plaatst op inhoudsgebonden atomen voor het voorgetrainde model, en 79,8% voor het model getraind vanaf nul.
• OOMS-Detectie: Op een kunstmatig dataset dat onderscheid maakt tussen geldige runway-croppers (IMS) en "inverse-BOGO"-croppers waarbij de landingsbaan ontbreekt (OOMS), behaalde de beperkte logistische regressieclassificator een AUROC van 0,96.
• Aselectie van Atomen: De OOMS-classificator selecteerde automatisch een sparce subset van 34 atomen (van de 512) om hoge nauwkeurigheid te bereiken. Opvallend is dat 78% van deze geselecteerde atomen werd geclassificeerd als inhoudsgebonden, wat aantoont dat de detector vertrouwen stelt in de taakrelevante kenmerken die tijdens de interpretatiefase zijn geïdentificeerd.

Betekenis en Aanspraken
Het artikel claimt het eerste concrete stuk bewijs op representatieniveau te leveren dat wordt gevraagd door de richtlijnen voor leerzekerheid van EASA. Door aan te tonen dat een minimaal zekerbaar model inhoud moet scheiden van stijl en vertrouwen moet stellen in de eerste, biedt het werk een weg om te verifiëren dat een model geen gebruik maakt van schijnbare correlaties. De voorgestelde OOMS-monitor biedt een praktisch bouwsteen voor toekomstige luchtvaartveiligheidszaken, die bestaande invoer- en uitvoermonitors aanvult door direct in te gaan op de vereiste om de interne situatierepresentatie van het model te monitoren. De auteurs positioneren mechanistische interpretatie niet als een volledige white-box-uitleg (wat onuitvoerbaar blijft voor hoogdimensionale modellen), maar als een noodzakelijke voorwaarde voor zekerheidstelling: het verifiëren dat de interne mechanica van het model overeenkomt met de fysieke taakeisen.