Riepilogo Tecnico: Guidare nella direzione sbagliata: Sfruttare l'interpretabilità nei modelli di guida autonoma End2End

Problematica

L'adozione crescente dell'apprendimento end-to-end (E2E) per la guida autonoma ha portato a prestazioni allo stato dell'arte su benchmark come NAVSIM. Tuttavia, questa unificazione architettonica di percezione, predizione e pianificazione in modelli unificati basati su transformer comporta un aumento della complessità e dell'opacità. A differenza delle pipeline modulari, i modelli E2E mancano di interfacce chiare per il testing a livello di modulo, rendendo difficile l'analisi dei processi decisionali interni. Questa opacità complica l'identificazione dei modi di guasto (failure modes), portando a cicli di debugging costosi guidati da "ipotesi basate sull'intuizione" piuttosto che da un'analisi sistematica. Nello specifico, il settore manca di soluzioni generalizzabili per descrivere olisticamente il comportamento del modello, scoprire l'apprendimento errato (come le correlazioni spurie) e offrire approfondimenti completi sui modi di guasto senza compromettere la capacità rappresentativa del modello.

Metodologia

Gli autori propongono un framework strutturato in più fasi che integra l'apprendimento di dizionari non supervisionato tramite Sparse Autoencoders (SAE) come modulo di interpretabilità post-hoc in modelli di guida E2E allo stato dell'arte (nello specifico GTRS e iPAD). Il framework opera attraverso le seguenti fasi:

1. Selezione dello Spazio Latente: L'SAE viene iniettato nello spazio di rappresentazione latente immediatamente precedente il modulo di scoring. Questa posizione è scelta perché contiene un riepilogo denso della comprensione della scena e informa direttamente lo scoring della traiettoria, permettendo un collegamento tra le caratteristiche estratte e gli output del modello.
2. Disentangling delle Direzioni delle Caratteristiche: Un SAE viene addestrato sulle rappresentazioni latenti del modello congelato per decomporre le attivazioni intrecciate in caratteristiche sparse e monosemantiche (concetti). L'addestramento minimizza la perdita di ricostruzione imponendo la sparsità tramite funzioni di attivazione top-$k$. Per prevenire i "neuroni morti", viene aggiunto un termine di reanimazione alla funzione di perdita. Gli autori valutano varie architetture SAE (TopK, Matryoshka, Archetypal) e riscontrano che le varianti TopK con dimensioni latenti moderate (es. 256 neuroni) offrono il miglior equilibrio tra fedeltà di ricostruzione, disentanglement delle caratteristiche ed evitamento della memorizzazione degli scenari.
3. Assegnazione Semantica: Gli autori assegnano un significato comprensibile all'uomo ai neuroni SAE utilizzando tre strategie:
   • Massimizzazione di Attivazione/Attribuzione: Identificazione di campioni di dataset di riferimento che attivano massimamente un neurone specifico o un punteggio di attribuzione.
   • Clustering dei Neuroni: Raggruppamento di neuroni con comportamenti di attivazione simili per identificare concetti semantici condivisi (es. "auto davanti", "incrocio").
   • Propagazione della Rilevanza del Concetto (CRP): Utilizzo di metodi basati su LRP per tracciare la rilevanza dallo score della traiettoria attraverso l'SAE fino allo spazio di input (immagini della telecamera e stato dell'ego), generando mappe di attribuzione che visualizzano quali caratteristiche di input guidano le attivazioni dei neuroni specifici.
4. Scoperta dei Circuiti: Il framework impiega l'analisi dei circuiti per mappare le relazioni causali tra i neuroni SAE e gli output specifici del modello (sotto-punteggi PDM). Ciò prevede una pipeline in quattro fasi:
   • Attribution Patching: Stima dell'influenza causale tramite differenze di attivazione pesate dal gradiente.
     estrazione di un'influenza esatta tramite il patching dei neuroni alla media del dataset.
   • ACDC Pruning: Sparsificazione della matrice di influenza per mantenere solo gli archi significativi.
   • Specificità del Neurone: Quantificazione di quanto un neurone sia specifico per una particolare testa di predizione utilizzando il coefficiente di Gini.
5. Intervento Mirato: Sulla base dei circuiti causali identificati, gli autori eseguono interventi mirati azzerando (ablazione) le attivazioni di specifici neuroni SAE associati a comportamenti errati. Ciò consente di manipolare le decisioni di guida al momento dell'inferenza senza riaddestrare il modello.

Contributi Chiave

Il documento presenta quattro contributi primari:

1. Framework di Interpretabilità Strutturato: Presenta il primo approccio strutturato per interpretare le decisioni di guida E2E, fornendo spiegazioni a livello di concetto per lo scoring di singole traiettorie candidate.
2. Decomposizione Basata su Concetti: Introduce una decomposizione delle rappresentazioni latenti che identifica i fattori più influenti negli scenari di guida, consentendo un'attribuzione fine delle decisioni del modello.
3. Corrispondenza Diretta: Stabilisce un legame diretto tra i concetti appresi e i punteggi di qualità previsti (sotto-punteggi PDM), rivelando quali concetti influenzano comportamenti specifici come l'evitamento delle collisioni, il rispetto dei semafori e il progresso.
4. Adattamento Mirato: Dimostra che i concetti identificati possono essere sfruttati per manipolare l'inferenza del modello al tempo di test, consentendo miglioramenti nelle prestazioni a valle senza la necessità di costosi riaddestramenti o cura del dataset.

Risultati

Gli autori hanno valutato il loro approccio sui modelli GTRS e iPAD utilizzando il dataset NAVSIM:

• Performance SAE: Gli SAE TopK con 256 neuroni hanno raggiunto un'elevata fedeltà di ricostruzione (Similarità del Coseno: 0.9975, Varianza Spiegata: 0.9951) e un forte allineamento con le caratteristiche dello stato dell'ego (Correlazione Ego: 0.8454), superando gli SAE Archetypal che tendevano a fare overfitting sulle correlazioni specifiche dello scenario.
• Scoperta dei Concetti: Il framework ha identificato con successo cluster semanticamente significativi, come i neuroni corrispondenti a "auto davanti", "segnaletica orizzontale" e "incroci". L'analisi dei circuiti ha rivelato che, sebbene i neuroni "auto davanti" influenzino tutte le teste di scoring, la loro influenza specifica varia; ad esempio, correlano con il rispetto dei semafori a causa della co-occorrenza nei dati (le auto si fermano ai semafori) piuttosto che per ragionamento causale.
• Impatto dell'Intervento: Ablando tre specifici neuroni (177, 59, 71) identificati come aventi influenze negative o spurie, gli autori hanno ottenuto un miglioramento misurabile nell'Extended Predictive Driver Model Score (EPDMS).
  • Il modello manipolato ha migliorato l'EPDMS da 0.4963 (con l'SAE non modificato) a 0.5926.
  • Questo punteggio ha superato il modello baseline originale senza l'SAE (0.524).
  • Sono stati osservati miglioramenti significativi nella conformità dell'area percorribile (+0.1298) e nella conformità della direzione di guida (+0.0702).
  • L'intervento ha prodotto un comportamento di guida più conservativo, scambiando il progresso rapido con una maggiore sicurezza, come dimostrato da una diminuzione del punteggio di progresso dell'ego (-0.1000).

Significato e Claim

Il documento sostiene che l'interpretabilità non è solo uno strumento analitico, ma un meccanismo per la mitigazione mirata e il miglioramento delle prestazioni. Decomponendo lo spazio latente opaco in concetti semanticamente significativi, gli autori dimostrano che:

• Riduzione dell'Opacità: L'interpretabilità può effettivamente scoprire comportamenti errati e correlazioni spurie (es. associare un'auto davanti al rispetto del semaforo) che i modelli E2E standard apprendono.
• Comprensione Causale: Il framework distingue tra artefatti correlazionali e componenti funzionalmente rilevanti, permettendo l'isolamento della specifica logica decisionale.
• Incremento delle Prestazioni: Gli interventi mirati a livello di concetto possono correggere il comportamento del modello e migliorare le metriche di guida complessive senza riaddestramento. Gli autori sostengono che questo approccio offre una via per sistemi di guida autonoma più trasparenti, affidabili e controllabili, affrontando la sfida critica della validazione del modello e dell'analisi degli errori nel campo.

Gli autori rimangono modesti riguardo all'ambito, riconoscendo che, sebbene il framework fornisca una base per l'analisi basata su concetti, la comprensione completa dei concetti semantici e delle loro complesse interazioni nel processo decisionale rimane un problema di ricerca aperto.