🤖 machine learning

Mechanistic Interpretability for Learning Assurance of a Vision-Based Landing System

Questo documento propone e dimostra un nuovo quadro di garanzia per i sistemi di atterraggio degli aeromobili basati sulla visione che soddisfa le linee guida dell'EASA utilizzando l'interpretabilità meccanicistica per separare il contenuto dallo stile nella rappresentazione della situazione di un modello, consentendo così un affidamento affidabile sulle previsioni basate su caratteristiche pertinenti al compito e lo sviluppo di una rilevazione in esecuzione al di fuori dell'ambito del modello.

Autori originali: Romeo Valentin, Olivia Beyer Bruvik, Marc R. Schlichting, Mykel J. Kochenderfer

Pubblicato 2026-05-21

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Romeo Valentin, Olivia Beyer Bruvik, Marc R. Schlichting, Mykel J. Kochenderfer

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di costruire un pilota robot che impara ad atterrare con gli aerei guardando semplicemente delle immagini di piste di atterraggio. In passato, gli ingegneri potevano spiegare esattamente come funzionava ogni parte di una macchina, come un meccanico che traccia un filo fino a un interruttore. Ma con l'IA moderna basata sulle "reti neurali", il sistema impara dai dati in una scatola nera; sappiamo cosa entra (un'immagine) e cosa esce (un comando di atterraggio), ma non sappiamo come abbia preso quella decisione.

Questo è un problema per la sicurezza dell'aviazione. I regolatori (come l'EASA in Europa) dicono: "Non possiamo fidarci semplicemente dell'IA perché ha ottenuto buoni punteggi nei test. Dobbiamo vedere il suo 'processo di pensiero' interno per assicurarci che stia pensando alle cose giuste".

Questo articolo propone un nuovo modo per sbirciare dentro quella scatola nera e dimostrare che l'IA sta pensando correttamente. Ecco come hanno fatto, spiegato in modo semplice:

1. Il Problema: L'IA Potrebbe Barare

Immagina di insegnare a uno studente a identificare un gatto. Se mostri loro solo foto di gatti seduti su tappeti rossi, lo studente potrebbe imparare a riconoscere i "tappeti rossi" invece dei "gatti". Se poi mostri loro un gatto su un tappeto blu, potrebbe fallire.

Nell'aviazione, un'IA potrebbe imparare ad atterrare riconoscendo colori specifici o condizioni di illuminazione (come "le giornate di sole sembrano così") piuttosto che la forma effettiva della pista. Questo è chiamato affidarsi allo stile (l'aspetto) invece che al contenuto (la struttura). Se l'IA si affida allo stile, potrebbe schiantarsi quando il meteo cambia.

2. La Soluzione: Scomporre i "Pensieri"

I ricercatori hanno trattato l'attività cerebrale interna dell'IA come un mucchio disordinato di ingredienti. Volevano separare gli ingredienti essenziali (la forma della pista, i bordi, i segnali) dalle condimentazioni (il colore del cielo, la grana della foto, i grafici del simulatore).

Hanno utilizzato uno strumento matematico chiamato K-SVD per scomporre i "pensieri" interni dell'IA (chiamati embedding) in piccoli e distinti mattoncini chiamati atomi.

Atomi Contenutistici: Questi sono come il progetto della pista. Si illuminano quando l'IA vede un bordo della pista o un segnale di soglia, indipendentemente dal fatto che la foto provenga da un videogioco, da un satellite o da una fotocamera reale.
Atomi Stilistici: Questi sono come un filtro su una foto. Si illuminano solo quando l'IA vede "erba verde di Google Earth" o "sfocatura da movimento".

3. Il Test: L'IA Ha Ascoltato gli Atomi Giusti?

Una volta separati gli atomi, hanno posto una domanda semplice: Quando l'IA prende una decisione di atterrare, a quali atomi sta ascoltando?

Hanno scoperto che la "testa decisionale" dell'IA (la parte che calcola il punto di atterraggio) ha riposto quasi l'82% della sua fiducia negli Atomi Contenutistici. Ha ignorato in gran parte gli Atomi Stilistici.

L'Analogia: È come uno chef che assaggia una zuppa. Se lo chef dice: "Sto aggiungendo sale perché la zuppa è insipida (contenuto)", va bene. Se lo chef dice: "Sto aggiungendo sale perché la ciotola è blu (stile)", è sbagliato. Questo articolo ha dimostrato che lo chef sta assaggiando principalmente la zuppa, non guardando la ciotola.

4. La Nuova Rete di Sicurezza: "Fuori dallo Scopo del Modello" (OOMS)

L'articolo introduce un nuovo monitor di sicurezza chiamato Out-of-Model-Scope (OOMS).

Reti di Sicurezza Attuali: Di solito, controlliamo se l'input è strano (es. "È questa un'immagine di una banana?") o se l'output è strano (es. "L'IA ha detto che la pista è sulla luna?").
Il Nuovo Monitor (OOMS): Questo controlla i pensieri interni dell'IA prima che prenda una decisione. Chiede: "Il cervello dell'IA contiene attualmente gli atomi 'Progetto Pista'?"

Come funziona:
I ricercatori hanno costruito un semplice sistema di allarme. Se l'IA guarda un'immagine e i suoi "atomi" interni non si illuminano con le strutture necessarie della pista (forse perché la pista è nascosta dietro una nuvola o l'immagine è solo cielo), scatta l'allarme. Il sistema dice: "Non ho prove sufficienti per atterrare" e scarta la previsione.

Hanno testato questo in uno scenario complicato in cui la pista era completamente fuori dall'inquadratura della fotocamera. L'IA ha comunque cercato di indovinare, ma il monitor OOMS l'ha intercettata perché mancavano gli "atomi pista". Il monitor è stato accurato al 96% nel rilevare queste situazioni pericolose.

Riepilogo

Questo articolo non dice semplicemente "l'IA funziona". Fornisce una spiegazione meccanicistica del perché funziona.

Hanno scomposto il cervello dell'IA in "Fatti sulla Pista" e "Filtri Fotografici".
Hanno dimostrato che l'IA si affida principalmente ai "Fatti sulla Pista".
Hanno costruito un nuovo interruttore di sicurezza che spegne l'IA se smette mai di guardare i "Fatti sulla Pista".

Questo offre ai regolatori un modo concreto per verificare che un sistema aereo che impara autonomamente stia effettivamente comprendendo la pista, e non stia semplicemente memorizzando l'aspetto delle immagini.

Riepilogo Tecnico: Interpretazione Meccanicistica per l'Assicurazione dell'Apprendimento di un Sistema di Atterraggio Basato su Visione

Enunciato del Problema
L'integrazione di reti neurali basate sui dati in sistemi aeronautici critici per la sicurezza sfida i paradigmi tradizionali di assicurazione, che si basano sulla specificazione e verifica di ogni singolo componente. Sebbene l'Agenzia dell'Unione Europea per la Sicurezza Aerea (EASA) abbia emanato linee guida che richiedono ai sistemi basati sui dati di costruire e monitorare la propria "rappresentazione della situazione", i mezzi tecnici per fornire tali prove per le reti neurali rimangono un problema aperto. L'assicurazione attuale si basa spesso sui test su dati tenuti da parte, che non riescono a distinguere tra modelli che hanno appreso meccanismi di generalizzazione e quelli che si affidano a correlazioni spurie. Nello specifico, esiste un divario critico nel monitoraggio della rappresentazione interna della situazione del modello—le caratteristiche calcolate per colmare il divario tra input e output—anziché limitarsi alle condizioni di input (Dominio di Progetto Operativo, ODD) o alle statistiche di output (Fuori Distribuzione, OOD).

Metodologia
Gli autori propongono un framework basato sull'interpretazione meccanicistica per colmare questo divario, applicato a un compito di regressione dei punti chiave della pista basato su visione. La metodologia procede attraverso le seguenti fasi:

Architettura del Modello: Un backbone Vision Transformer (ViT) (DINOv2-S) è adattato per la regressione dei punti chiave della pista utilizzando un operatore Soft-Argmax (SAM). A differenza delle Reti Neurali Convoluzionali (CNN) che spesso scartano le informazioni spaziali tramite pooling, il ViT preserva la struttura spaziale a livello di patch. L'operatore SAM mappa gli embedding delle patch direttamente in stime continue delle coordinate senza un livello di pooling, garantendo che la testa di regressione sia minimale e che l'onere di risolvere il compito ricada sugli embedding delle patch stessi.
Disaccoppiamento Sparsa (K-SVD): Gli embedding delle patch ad alta dimensionalità ( $z_p$ ) sono decomposti in "atomi" interpretabili utilizzando l'apprendimento di dizionari sparsi K-SVD. Questo processo assume l'ipotesi della rappresentazione lineare, secondo cui i concetti semantici corrispondono a direzioni nello spazio degli embedding. Il modello apprende un dizionario sovracompleto $D$ e codici sparsi $X$ tali che $z_p \approx DX$ .
Separazione Contenuto vs Stile: Gli atomi appresi sono categorizzati in due tipi basati sull'invarianza tra sottoinsiemi attraverso quattro domini visivi distinti nel dataset LARDv2 (X-Plane, Google Earth Studio, ArcGIS e Bing Maps):
- Atomi Contenutistici: Si attivano in modo coerente in tutti i domini, tracciando strutture geometriche rilevanti per il compito (es. bordi della pista, soglie).
- Atomi Stilistici: Si attivano prevalentemente in domini specifici, tracciando fattori apparenziali incidentali (es. correzione del colore, artefatti di rendering, illuminazione).
- La classificazione viene eseguita utilizzando il Coefficiente di Variazione (CV) dei tassi di attivazione tra i sottoinsiemi.
Validazione: La separazione è validata qualitativamente tramite la visualizzazione delle patch attive e quantitativamente misurando il Punteggio di Affidamento SAM. Questo punteggio aggrega l'allineamento degli atomi con i pesi della testa di regressione, la loro frequenza di attivazione e la magnitudine dell'attivazione per determinare quanto le previsioni del modello dipendano da atomi contenutistici rispetto a quelli stilistici.
Rilevamento Fuori dallo Scopo del Modello (OOMS): Costruendo sulla separazione contenuto/stile, gli autori definiscono OOMS come uno stato in cui l'input manca di caratteristiche sufficienti rilevanti per il compito (contenutistiche), anche se l'input appare valido (in-ODD) e l'output è statisticamente tipico. Un rilevatore OOMS è implementato come un classificatore di regressione logistica L1 vincolato su attivazioni binarie degli atomi. Il classificatore è addestrato per restituire una probabilità di essere "Nello Scopo del Modello" (IMS), con vincoli che assicurano che lo stato predefinito sia OOMS e che solo gli atomi attivi possano aumentare la probabilità IMS.

Contributi Chiave

Adattamento del ViT per l'Atterraggio: Gli autori dimostrano un adattamento semplice ed efficiente del Vision Transformer con una testa Soft-Argmax per la regressione dei punti chiave della pista, mostrando che è addestrabile sul dataset LARDv2.
Decomposizione Meccanicistica: Decompongono con successo lo spazio delle caratteristiche interno del ViT in strutture geometriche contenutistiche e fattori stilistici utilizzando K-SVD, stabilendo una base per l'interpretazione meccanicistica in questo dominio.
Validazione della Rappresentazione: Attraverso visualizzazione qualitativa e analisi quantitativa dei pesi della testa, confermano che la testa di regressione si affida principalmente (circa l'80%) ad atomi contenutistici, validando la rappresentazione della situazione del modello.
Monitoraggio OOMS: Il documento introduce il rilevamento Fuori dallo Scopo del Modello (OOMS) come un nuovo artefatto di assicurazione in tempo di esecuzione. A differenza di ODD (monitoraggio dell'input) o OOD (monitoraggio dell'output), OOMS monitora direttamente la rappresentazione interna della situazione del modello per verificare la presenza di caratteristiche semantiche rilevanti per il compito.

Risultati

Prestazioni di Regressione: Il modello ViT preaddestrato ha raggiunto un errore mediano sul set di test di 1,91 px, superando significativamente una baseline addestrata da zero (3,19 px).
Affidamento Contenuto/Stile: L'analisi quantitativa ha mostrato che la testa di regressione pone circa l'81,7% del suo punteggio di affidamento effettivo su atomi contenutistici per il modello preaddestrato e il 79,8% per il modello addestrato da zero.
Rilevamento OOMS: Su un dataset artificiale che distingue tra ritagli di pista validi (IMS) e ritagli "inverse-BOGO" in cui la pista è assente (OOMS), il classificatore di regressione logistica vincolato ha raggiunto un AUROC di 0,96.
Selezione degli Atomi: Il classificatore OOMS ha selezionato automaticamente un sottoinsieme sparso di 34 atomi (su 512) per raggiungere un'alta accuratezza. Significativamente, il 78% di questi atomi selezionati è stato classificato come contenutistico, dimostrando che il rilevatore si affida alle caratteristiche rilevanti per il compito identificate durante la fase di interpretabilità.

Significato e Affermazioni
Il documento afferma di fornire il primo elemento concreto di prova a livello di rappresentazione richiesto dalle linee guida EASA per l'assicurazione dell'apprendimento. Dimostrando che un modello minimamente assicurabile deve separare il contenuto dallo stile e affidarsi al primo, il lavoro fornisce una via per verificare che un modello non stia sfruttando correlazioni spurie. Il monitor OOMS proposto offre un blocco costruttivo pratico per i futuri casi di sicurezza aeronautica, completando i monitor esistenti di input e output affrontando direttamente il requisito di monitorare la rappresentazione interna della situazione del modello. Gli autori posizionano l'interpretazione meccanicistica non come una spiegazione completa a scatola bianca (che rimane non fattibile per modelli ad alta dimensionalità) ma come una condizione necessaria per l'assicurazione: verificare che i meccanismi interni del modello siano allineati con i requisiti fisici del compito.