Sintesi Tecnica: Ricostruzione Neurale dei Token per il Collo di Bottiglia dei Token di Scena nella Guida End-to-End

1. Definizione del Problema

I recenti metodi di guida autonoma end-to-end (E2E) prive di percezione esplicita aggirano i classici output di percezione (ad esempio, rilevamento, segmentazione) comprimendo i densi token di patch d'immagine in un set compatto di "scene token". Questi token fungono da unica interfaccia visiva tra il backbone di visione e il pianificatore di traiettoria.

Il limite fondamentale identificato in questo lavoro è che questi scene token ricevono la supervisione esclusivamente dall'obiettivo di pianificazione (generazione della traiettoria e scoring). Ciò fornisce vincoli deboli sulla finezza delle informazioni visive preservate durante la compressione. Di conseguenza, i scene token appresi tendono a sviluppare rappresentazioni ridondanti con pattern di attenzione spaziale altamente sovrapposti, fallendo nel preservare evidenze visive diverse e informative, necessarie per una pianificazione robusta. Questo problema è analogo ai fallimenti noti nei Vision Transformer in cui i token di aggregazione tendono verso una codifica pigra in assenza di una supervisione esplicita.

La domanda fondamentale affrontata è: In che modo i scene token compatti possono preservare le informazioni visive rilevanti per la pianificazione senza una supervisione di percezione esplicita?

2. Metodologia: Ricostruzione Neurale dei Token (NTR)

Gli autori propongono la Ricostruzione Neurale dei Token (NTR), un framework di auto-distillazione progettato per supervisionare direttamente il collo di bottiglia dei scene token durante l'addestramento. Il framework opera senza modificare l'architettura del pianificatore o introdurre teste di percezione esplicite al momento dell'inferenza.

Meccanismo Centrale

NTR introduce un obiettivo di ricostruzione latente mascherata che costringe i scene token compatti ad agire come l'unica memoria per ricostruire le caratteristiche latenti delle patch a livello di patch mascherate.

1. Configurazione di Auto-distillazione:
   • Encoder Online: Elabora le immagini mascherate per generare scene token e feature di patch mascherate.
   • EMA Teacher: Una copia dell'encoder online tramite Media Mobile Esponenziale (EMA) elabora immagini pulite per fornire target latenti con stop-gradient ($Z_{v,*}$).
2. Processo di Ricostruzione:
   • Un decoder leggero tenta di ricostruire le feature latenti del teacher nelle specifiche posizioni mascherate.
   • Fondamentalmente, il decoder effettua solo la cross-attenzione verso i scene token compatti ($\tilde{S}_{v,m}$) e non ha accesso ai densi output di patch online.
   • Questo vincolo architettonico assicura che i gradienti di ricostruzione debbano passare esclusivamente attraverso il collo di bottiglia dei scene token, costringendo i token a codificare evidenze visive più ricche e meno ridondanti per soddisfare la perdita di ricostruzione.

Allocazione Guidata dalla Semantica

Per migliorare l'efficienza e la rilevanza della ricostruzione, NTR utilizza prior semantici derivati dalla segmentazione di modelli foundation (ad esempio, SAM3).

• Invece di una mascheratura casuale uniforme, i target di ricostruzione sono allocati verso regioni di guida strutturate e critiche per la sicurezza (agenti, aree percorribili, elementi di controllo del traffico).
• Questi prior agiscono come un bias debole durante l'addestramento, ma vengono completamente rimossi al momento dell'inferenza, garantendo lo zero di overhead computazionale aggiuntivo per il pianificatore distribuito.

Obiettivo di Addestramento

La funzione di perdita totale combina l'originale perdita di pianificazione ($L_{plan}$) con la perdita di ricostruzione ($L_{rec}$):
$$L = L_{plan} + \lambda_{rec}L_{rec}$$
Dove $L_{rec}$ è calcolato come la distanza $L_1$ tra le feature latenti ricostruite e i target del teacher con stop-gradient nelle posizioni di patch selezionate.

3. Contributi Chiave

1. Identificazione del Collo di Bottiglia: Il documento identifica l'interfaccia di compressione dei scene token come una sfida critica di apprendimento della rappresentazione nella guida E2E priva di percezione, dove i token spesso collassano in feature ridondanti a causa della mancanza di supervisione diretta.
2. Framework NTR: Propone un framework di auto-distillazione utilizzando la ricostruzione latente mascherata per supervisionare direttamente il collo di bottiglia compatto della pianificazione, incoraggiando la ritenzione di evidenze visive informative e complementari.
3. Prior Semantici senza Overhead: Introduce un metodo per orientare i target di ricostruzione verso elementi di guida strutturati utilizzando annotazioni di modelli foundation, migliorando la qualità della supervisione senza introdurre teste di percezione esplicite o costi all'inferenza.
4. Validazione Empirica: Dimostra che NTR migliora le prestazioni di pianificazione riducendo simultaneamente la ridondanza dei token e aumentando il rango effettivo della rappresentazione dei scene token.

4. Risultati Sperimentali

Gli autori hanno valutato NTR su tre benchmark pubblici e un dataset privato su larga scala.

• Waymo Open Dataset (E2E Track):
  • Ha raggiunto un RFS (Rater Feedback Score) di stato dell'arte di 8.0461 con ensemble (7.9982 con un singolo modello).
  • Ha superato i metodi esistenti (ad esempio, RAP, Poutine, IRL-VLA) sia nelle valutazioni umane che nell'accuratezza della traiettoria (ADE).
• NavSim V1 & V2:
  • Ha raggiunto 94.1 PDMS e 90.9 EPDMS sul navtest split, superando i precedenti metodi SOTA come DrivoR e RAP.
• Diagnostica dei Token:
  • L'analisi della similarità del coseno a coppie e del rango effettivo mostra che NTR riduce significativamente la ridondanza dei token e aumenta la dimensionalità effettiva della memoria dei scene token rispetto ai baseline basati solo sulla pianificazione.
• Distribuzione nel Mondo Reale:
  • Validato su un dataset di guida privato su larga scala e integrato in uno stack di pianificazione per veicoli reali, dimostrando applicabilità pratica e scalabilità.

5. Significato e Rivendicazioni

Il documento afferma che NTR affronta una lacuna fondamentale nell'apprendimento della rappresentazione nella pianificazione priva di percezione. Supervisionando direttamente il collo di bottiglia attraverso la ricostruzione mascherata, il metodo forza i scene token compatti a imparare rappresentazioni visive più ricche e meno ridondanti.

Punti chiave enfatizzati dagli autori:

• Solo al Tempo di Addestramento: Tutti i componenti ausiliari (decoder di ricostruzione, EMA teacher, prior semantici) vengono rimossi durante l'inferenza, lasciando il pianificatore distribuito invariato.
• Natura Complementare: NTR si concentra sul collo di bottiglia della compressione piuttosto che sul backbone visivo stesso, rendendolo complementare ai metodi di pre-addestramento a livello di backbone come MAE o JEPA.
• Prestazioni vs Efficienza: L'approccio raggiunge prestazioni di pianificazione allo stato dell'arte senza aumentare la computazione all'inferenza o la complessità architettonica.

Gli autori concludono che la supervisione diretta del collo di bottiglia tramite ricostruzione latente mascherata è una strategia vitale ed efficace per migliorare la qualità delle rappresentazioni visive compatte nella guida autonoma end-to-end.