Sintesi Tecnica: Rilevamento della Complessità di Scenari di Guida Zero-Label tramite Architettura Predittiva di Embedding Congiunto

Definizione del Problema

I dataset del mondo reale per i veicoli autonomi (AV) sono fortemente sbilanciati verso scenari di guida di routine e privi di eventi, il che rende l'identificazione di eventi rari, complessi e critici per la sicurezza un processo laborioso e costoso. Le soluzioni esistenti si affidano all'annotazione umana, a classificatori supervisionati o a set di regole predefinite, tutti i quali richiedono una conoscenza pregressa sostanziale o una costosa raccolta di dati. Gli autori propongono una soluzione per scoprire la complessità degli scenari interamente senza etichette, ponendosi la domanda se un modello possa identificare autonomamente scenari impegnativi basandosi esclusivamente sulla sua capacità di predire la dinamica futura degli agenti.

Metodologia

Dati e Rappresentazione

Lo studio utilizza il dataset nuPlan mini, estraendo 1.322 scenari (5 secondi ciascuno a 10 Hz). A differenza degli approcci che utilizzano pixel grezzi, questo metodo opera su dati strutturati dello stato degli agenti. Ogni scenario è rappresentato da un tensore di forma $[50, 21, 6]$, che codifica 50 passi temporali per fino a 21 agenti (ego + 20 circostanti). I sei parametri per agente includono posizione ($x, y$), velocità ($v_x, v_y$), direzione ($\theta$) e tipo di agente. I dati sono normalizzati per garantire che i valori tipici rientrino nell'intervallo $[-1, 1]$.

Architettura: Architettura di Embedding Congiunto Predittivo (JEPA)

Il nucleo dell'approccio è una minimale Architettura di Embedding Congiunto Predittivo (JEPA) addestrata su stati strutturati degli agenti. L'architettura è composta da quattro componenti:

1. Context Encoder (Encoder di Contesto): Un Transformer a 4 strati che elabora i primi 25 passi temporali (finestra di contesto) per produrre una rappresentazione latente $z_{ctx}$.
2. Predictor (Predittore): Un Transformer a 2 strati che mappa $z_{ctx}$ verso un futuro latente predetto $\hat{z}_{tgt}$, condizionato da un embedding di orizzonte apprendibile.
3. Target Encoder (Encoder Target): Una copia identica del context encoder che elabora i successivi 25 passi temporali (finestra target) per produrre il latente reale $z_{tgt}$. Fondamentalmente, questo encoder non viene mai aggiornato tramite backpropagation; i suoi pesi sono aggiornati esclusivamente tramite una Media Mobile Esponenziale (EMA) dei pesi del context encoder.
4. Position Decoder (Decoder di Posizione): Un piccolo MLP che decodifica il latente predetto nelle posizioni future, fungendo da segnale di supervisione ausiliario.

Obiettivo di Addestramento

Il modello è addestrato con una funzione di perdita auto-supervisionata che combina due termini:
$$\mathcal{L} = \underbrace{\|\hat{z}_{tgt} - z_{tgt}\|_2^2}_{\text{Perdita JEPA}} + \lambda \underbrace{\|\hat{p} - p_{tgt}\|_2^2}_{\text{Perdita di Posizione}}$$
dove $\lambda = 0.1$. I gradienti fluiscono attraverso il context encoder e il predittore, ma vengono bloccati al target encoder. L'aggiornamento EMA ($\alpha = 0.996$) previene il collasso della rappresentazione assicurando che il target encoder rimanga una media smussata storica del context encoder.

Metrica di Complessità: Punteggio di Sorpresa (Surprise Score)

In fase di inferenza, non vengono utilizzate etichette. Il punteggio di sorpresa ($s$) per uno scenario è definito come la distanza L2 tra il futuro latente predetto e il futuro latente reale:
$$s = \|\hat{z}_{tgt} - z_{tgt}\|_2$$
Un punteggio elevato indica che la predizione del modello riguardo lo stato futuro è stata imprecisa, implicando che lo scenario conteneva interazioni complesse e inaspettate.

Contributi Chiave

1. Punteggio di Complessità Zero-Label: Gli autori dimostrano che un modello JEPA addestrato su dati di guida strutturati, senza alcuna etichetta, produce punteggi di sorpresa che correlano fortemente con i tag degli scenari reali (es. "svolta non protetta", "prossimità pedone").
2. Analisi di Ablazione: Quattro esperimenti isolano la fonte del segnale:
   • Shuffled Scores (Punteggi Mescolati): Confermano che la correlazione non è un artefatto della pipeline di analisi.
   • Random Encoder (Encoder Casuale): Dimostrano che i pesi addestrati sono necessari (l'inizializzazione casuale non produce alcuna correlazione).
   • Baseline a Velocità Costante: Mostra che la semplice predizione cinematica non riesce a classificare correttamente gli scenari complessi, assegnando spesso bassa sorpresa a eventi di avvicinamento lento che precedono manovre complesse.
   • Addestramento No-EMA: Dimostra che senza EMA, il modello collassa (la dispersione del punteggio scende di 44 volte), provando che l'EMA è il meccanismo specifico che abilita l'apprendimento della struttura temporale.
3. Rilevamento di Anomalie Downstream: Il punteggio di sorpresa funge da efficace rilevatore di anomalie zero-shot, raggiungendo una Precisione Media (AP) di 0.512 rispetto a un baseline di caso di 0.436.

Risultati

• Correlazione dei Tag: Il modello assegna punteggi di sorpresa significativamente più alti a tag complessi come "inizio svolta non protetta" (1.978) e "vicinanza pedone sulle strisce" (1.834), mentre assegna punteggi più bassi a tag di routine come "segue corsia con veicolo davanti" (1.406).
• Risultati di Ablazione: La baseline a velocità costante ha mostrato una correlazione moderata ($\rho=0.314$) ma non è riuscita a distinguere scenari complessi che iniziano con una decelerazione controllata. Il modello no-EMA è fallito completamente, con tutti gli scenari che ricevevano punteggi quasi identici.
• Rilevamento di Anomalie: Il modello JEPA addestrato è stato l'unico metodo a rimanere costantemente sopra il baseline di caso lungo l'intera curva di ranking. La baseline a velocità costante è scesa sotto il livello del caso dopo il top 5% degli scenari classificati.
• Validazione Qualitativa: L'ispezione visiva dei 9 scenari più sorprendenti ha rivelato densi raggruppamenti di agenti, incroci e attraversamenti pedonali, mentre i 9 meno sorprendenti mostravano una guida parallela e sparsa.

Significato e Rivendicazioni

L'articolo sostiene che l'errore di predizione temporale in un modello del mondo latente auto-supervisionato è un proxy pratico della complessità dello scenario di guida.

• Meccanismo: Il modello impara a predire l' "essenza compressa" delle interazioni tra agenti futuri. Reagisce a scenari con dinamiche multi-agente insolite piuttosto che a rumore visivo o proprietà statiche.
• Vantaggio rispetto alla Cinematica: A differenza delle baseline a velocità costante, il modello JEPA riconosce che una decelerazione controllata verso un incrocio è un precursore di eventi complessi, assegnando punteggi di sorpresa più elevati anche prima che avvenga la manovra critica.
• Praticità: L'approccio non richiede costi di annotazione. Un singolo modello addestrato end-to-end con un obiettivo auto-supervisionato standard può curare automaticamente i dataset facendo emergere gli scenari complessi, affrontando il problema dello sbilanciamento dei dati nello sviluppo della guida autonoma.

Gli autori mantengono un ambito modesto, segnalando limitazioni come l'uso del subset mini di nuPlan (1.322 scenari) e l'attuale accoppiamento con la pipeline dei dati nuPlan, suggerendo che la calibrazione potrebbe migliorare con dati su scala maggiore.