Sintesi Tecnica: Compressione dei Token Allineata alla Pianificazione per l'Autonomia con Contesto Lungo

Problema

Le policy Monolitiche Vision-Action (VA) e Vision-Language-Action (VLA) rappresentano un cambio di paradigma nell'autonomia, mappando input multimodali direttamente su traiettorie del veicolo tramite backbone transformer unificati. Tuttavia, scalare questi modelli per gestire interazioni complesse richiede un contesto temporale esteso, il che gonfia rapidamente la sequenza di token visivi oltre i budget computazionali in tempo reale.

Le soluzioni esistenti affrontano un compromesso:

• Transformer Lineari/Memoria Esterna: Spesso richiedono modifiche al backbone o introducono complessità architettonica.
• Compressione dei Token: L'approccio più pratico poiché non richiede modifiche al backbone. Tuttavia, i metodi attuali si affidano a euristiche basate su regole (ad esempio, il decadimento temporale), che mantengono i frame recenti e scartano quelli vecchi in modo indiscriminato.
• Il Limite Fondamentale: La compressione basata su regole è disaccoppiata dall'obiettivo di pianificazione. Non riesce a distinguere tra informazioni ridondanti e indizi storici critici per la decisione (ad esempio, l'ordine di arrivo dei veicoli a un incrocio con stop). Come illustrato nel paper, scartare osservazioni distanti (ad esempio, a $t=-3s$) può portare a decisioni errate sulla precedenza, causando violazioni della sicurezza come il superamento dello stop senza fermarsi.

Metodologia: COMPACT-VA

Gli autori propongono COMPACT-VA (Compression via Planning-Aligned Context Tokens), un framework di memoria di lavoro progettato per comprimere il contesto esteso in rappresentazioni limitate, allineando esplicitamente la compressione con l'intento di guida.

1. Buffering del Contesto Temporale Gerarchico

Inveve di una finestra di contesto piatta, la cronologia delle osservazioni ($T$ timestep) è organizzata in un modulo di memoria gerarchico FIFO con $K$ livelli di compressione.

• Bias Induttivo del Decadimento Temporale: I frame recenti mantengono un'alta risoluzione dei token (nessuna compressione), i frame intermedi subiscono una compressione moderata e i frame distanti subiscono una compressione aggressiva.
• Compressione Q-former: In ogni livello, token di query apprendibili vengono concatenati con i token delle osservazioni grezze, gli embedding dei timestep e gli embedding delle telecamere. Un modulo Q-former (basato su MMDiT) elabora il tutto tramite self-attention per aggregare selettivamente le caratteristiche visive rilevanti per il compito.
• Coerenza Posizionale: Gli Embedding Posizionali Rotativi (RoPE) sono scalati in base al rapporto di compressione per mantenere l'allineamento con la sequenza non compressa.

2. Accoppiamento Variazionale Allineato alla Pianificazione

L'innovazione centrale è un Autoencoder Variazionale Condizionale (cVAE) con Quantizzazione Vettoriale (VQ) che lega direttamente la qualità della compressione alla predizione della traiettoria.

• Latente dell'Intento di Guida ($z$): Una variabile latente discreta compatta viene distillata dalle traiettorie future durante l'addestramento.
• Encoder Posteriore (Q-net): Si addestra solo durante la fase di addestramento. Prende le osservazioni compresse ($o_{compressed}$) e la traiettoria futura reale ($\tau_{future}$) per estrarre il latente dell'intento di guida $z_q$.
• Encoder Prior (P-net): Opera sia durante l'addestramento che durante l'inferenza. Predice il latente dell'intento $z_p$ utilizzando solo le osservazioni compresse, senza accesso alle informazioni future.
• Quantizzazione Vettoriale: Sia $z_q$ che $z_p$ sono mappati su un codebook discreto condiviso. Questa discretizzazione costringe il modello a imparare un insieme finito di "skill" o intenti di guida.
• Ottimizzazione End-to-End: Il sistema è ottimizzato tramite una perdita composita:
  $$\mathcal{L} = \mathcal{L}_{traj} + \lambda_{KL} \cdot D_{KL}(q_\phi(z|o, \tau_{future}) \parallel p_\theta(z|o_{compressed})) + \lambda_{commit} \cdot \mathcal{L}_{commit}$$
  Il termine della divergenza KL assicura che la distribuzione del prior (fase di inferenza) corrisponda alla distribuzione del posteriore (fase di addestramento). Se il Q-former scarta la storia critica, il prior non può predire l'intento, risultando in una alta divergenza KL e in una degradazione della predizione della traiettoria. Questo crea un ciclo chiuso in cui il modello impara cosa mantenere.

3. Inferenza

Al tempo di test, solo il percorso del prior è attivo. Il modello comprime le osservazioni, predice il latente $z_p$, lo quantizza e lo appone come un token speciale alla memoria compressa. Questa sequenza combinata alimenta il backbone transformer unificato per la generazione autoregressiva della traiettoria.

Framework di Valutazione

Gli autori identificano scenari dinamici ad alto segnale dove il contesto esteso (5–10 secondi) è critico per il processo decisionale discreto, distinto dall'ottimizzazione continua della traiettoria:

1. Stop con precedenza (Four-Way Stops): Determinare la precedenza in base all'ordine di arrivo.
2. Stop/Yield con Occlusione Dinamica: Mantenere lo stato dei veicoli occlusi.
3. Svolte Senza Precedenza (Unprotected Turns): Valutare i gap del traffico in arrivo nel tempo.

Metriche: Le metriche tradizionali come minADE sono ritenute disallineate. Il paper introduce metriche comportamentali:

• Go Success Rate (Go SR): Capacità di procedere dopo essersi fermati.
• Stop Success Rate (Stop SR): Capacità di fermarsi completamente quando richiesto.
• Roll-Through Rate: Frequenza con cui non ci si ferma completamente (critico per la sicurezza).
• Errori di Posizione/Durata dello Stop: Deviazioni spaziali e temporali.

Risultati Chiave

Valutato sul dataset Alpamayo (specificamente curato per scenari dipendenti dalla memoria) e sul simulatore Alpasim:

• Guadagni di Performance: Sotto budget di token comparabili (~1.424 token), COMPACT-VA raggiunge un Go Success Rate del 68,3%, superando la baseline di 1 secondo standard (63,8%) e la baseline densa non compressa di 5 secondi (61,9%).
• Miglioramenti della Sicurezza: Riduce il Roll-Through Rate del 22% (7,0% vs 9,0% per le baseline) e migliora lo Stop Success Rate all'89,2%.
• Insight dalle Ablazioni:
  • Rimuovere l'allineamento con la pianificazione abbassa il Go SR al 65,6%, confermando la necessità di accoppiare la compressione con l'intento.
  • La compressione ingenua (senza condizionamento della storia) produce il 63,5%, mostrando il valore della compressione condizionata dalla traiettoria.
  • La compressione gerarchica è essenziale; i frame recenti devono mantenere la piena risoluzione.
• Efficienza: Rispetto all'elaborazione non compressa di 5 secondi (6.400 token), COMPACT-VA ottiene un incremento della velocità di inferenza di 3,3× e una riduzione della memoria di 2,7× (3,95 GB vs 10,51 GB di picco di memoria GPU) mantenendo una competenza di guida generale nelle simulazioni in loop chiuso.

Significato e Rivendicazioni

Il paper sostiene che la memoria di lavoro consapevole del compito sia la chiave per il ragionamento in diversi scenari di guida autonoma. Passando dalle euristiche basate su regole alla compressione allineata alla pianificazione, il modello scopre e mantiene implicitamente le informazioni storiche critiche per le decisioni senza regole di ritenzione create a mano.

Gli autori posizionano questo lavoro come un passo verso una memoria efficace per le policy VA/VLA monolitiche, dimostrando che finestre di contesto limitate, se accoppiate con obiettivi variazionali, possono risolvere la tensione tra vincoli computazionali e la necessità di un ragionamento a lungo termine in decisioni di guida critiche per la sicurezza. Notano che, sebbene i guadagni sulla guida generale siano modesti, l'approccio è particolarmente impattante in scenari ad alto segnale dove decisioni discrete (stop/go) dipendono da indizi comportamentali provenienti dai 5-10 secondi passati.