SToRM: Supervised Token Reduction for Multi-modal LLMs toward efficient end-to-end autonomous driving

Il paper propone SToRM, un innovativo framework di riduzione supervisionata dei token per modelli linguistici multi-modali che, mediante un predittore di importanza, un addestramento supervisionato e un modulo di fusione contestuale, abilita sistemi di guida autonoma end-to-end efficienti riducendo i costi computazionali fino a 30 volte senza compromettere le prestazioni rispetto all'uso di tutti i token.

L'essenziale

Immagina di dover guidare un'auto completamente autonoma. Questa auto non solo "vede" la strada attraverso telecamere e sensori, ma può anche ascoltare i comandi del passeggero (come "gira a sinistra" o "attento al pedone"). Per fare tutto questo, l'auto usa un "cervello" molto potente chiamato MLLM (un modello linguistico multimodale), che è simile a un'intelligenza artificiale molto colta che sa leggere, vedere e ragionare.

Il problema? Questo "cervello" è estremamente affamato.

Il Problema: Il Cervello che Mangia Troppa Energia

Ogni volta che l'auto guarda la strada, il sistema divide l'immagine in migliaia di piccoli pezzi (chiamati "token visivi"). È come se l'auto guardasse un mosaico composto da 3.000 tessere. Per ogni istante, il cervello deve analizzare tutte queste 3.000 tessere insieme alle parole del passeggero.
In un'auto reale, con batterie limitate e bisogno di reagire in millisecondi, analizzare 3.000 tessere alla volta è come cercare di bere un oceano con una cannuccia: consuma troppa energia e va troppo lento.

I ricercatori hanno provato a risolvere il problema togliendo alcune tessere, ma spesso l'auto diventava "distraibile" e faceva errori perché ignorava dettagli importanti (come un bambino che attraversa la strada).

La Soluzione: SToRM (Il Filtro Intelligente)

Gli autori di questo paper hanno creato un nuovo sistema chiamato SToRM (Supervised Token Reduction). Ecco come funziona, usando un'analogia semplice:

Immagina che l'auto stia guardando una scena caotica di un incrocio.

1. Il Vecchio Metodo: L'auto guarda tutto allo stesso tempo: il cielo, l'asfalto, i lampioni, le nuvole, i pedoni, le auto. È un caos di informazioni.
2. Il Metodo SToRM: SToRM introduce un assistente super-intelligente che guarda la scena prima del cervello principale.

Come funziona l'Assistente (Il Predittore di Importanza)

L'assistente ha un compito preciso: dire al cervello principale "Cosa è davvero importante e cosa possiamo ignorare".

• Invece di guardare tutto il mosaico, l'assistente guarda solo una finestra temporale (i pochi secondi più recenti).
• Impara a riconoscere che, in una situazione di guida, i pedoni, le strisce pedonali e le auto davanti sono "Ancore" (cose vitali).
• Le nuvole, le ombre o i dettagli del muro sono "Contesto" (informazioni utili ma meno critiche).

La Magia: Fondere le Informazioni (Il Modulo ACM)

Una volta che l'assistente ha classificato le cose, SToRM fa una cosa geniale:

• Tiene le "Ancore" (i pedoni, le auto) intatte.
• Prende le informazioni "di contesto" (il cielo, l'asfalto) e le fonde (le mescola) con le ancore più vicine.

L'analogia della zuppa:
Immagina di dover preparare una zuppa per un ospite (il cervello dell'auto).

• Senza SToRM: Metti nel pentolone 3.000 ingredienti diversi. La zuppa è buona, ma ci vuole un'ora per cuocerla e il fornello esplode.
• Con SToRM: Metti nel pentolone solo gli ingredienti principali (la carne, le patate). Poi, prendi il brodo e le verdure secondarie e li fondi dentro la carne e le patate. Il risultato è una zuppa che ha lo stesso sapore ricco e completo, ma la prepari in 5 minuti e con metà della legna.

Perché è una Rivoluzione?

1. Velocità: L'auto non deve più analizzare 3.000 tessere, ma solo 120 (quelle "Ancore" più le informazioni fuse). È come passare da un camion a una moto: 30 volte più veloce.
2. Sicurezza: A differenza di altri metodi che toglievano pezzi a caso (come tagliare a caso le tessere del mosaico), SToRM sa cosa tagliare perché è stato addestrato a capire cosa serve per guidare in sicurezza. Non perde mai i dettagli critici.
3. Realtà: Ora, un'auto autonoma può usare questo "cervello" potente anche su un computer normale, senza bisogno di supercomputer costosi, rendendo la guida autonoma più accessibile e sicura.

In Sintesi

SToRM è come un segretario personale per l'auto autonoma. Prima che l'auto prenda una decisione, il segretario filtra il rumore di fondo, riassume le informazioni meno importanti e consegna al "capo" (il cervello AI) solo i punti essenziali, ma in modo che il capo non perda nessuna informazione cruciale. Il risultato? Un'auto che guida più veloce, consuma meno energia e, soprattutto, non si distrugge mai.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "SToRM: Supervised Token Reduction for Multi-modal LLMs toward efficient end-to-end autonomous driving" in italiano.

1. Il Problema

Le sistemi di guida autonoma end-to-end (E2E) che trasformano direttamente i dati dei sensori in comandi di controllo hanno fatto grandi progressi. Tuttavia, l'integrazione di Large Language Models (LLM) e Multi-modal Large Language Models (MLLM) per facilitare l'interazione umano-veicolo (tramite istruzioni linguistiche) e migliorare la gestione di scenari imprevisti presenta sfide significative:

• Costo Computazionale Elevato: Gli MLLM elaborano un numero enorme di token visivi generati dai dati dei sensori (es. immagini da più telecamere e mappe BEV da LiDAR) su più frame temporali. Poiché la complessità computazionale dei meccanismi di attenzione negli LLM cresce quadraticamente rispetto alla lunghezza dell'input, l'elaborazione di tutti i token visivi diventa proibitiva per i veicoli autonomi che richiedono operazioni in tempo reale.
• Degrado delle Prestazioni con Riduzione Non Supervisionata: Metodi precedenti per ridurre i token visivi (come Q-Former o tecniche basate su similarità) spesso portano a un degrado delle prestazioni di guida perché rimuovono informazioni critiche senza una supervisione specifica per il compito di guida.

2. Metodologia: Il Framework SToRM

Il paper propone SToRM (Supervised Token Reduction for Multi-modal LLMs), il primo framework di riduzione dei token supervisionato specificamente per MLLM nella guida autonoma E2E. L'idea centrale è utilizzare i risultati intermedi di un MLLM (in particolare i punteggi di attenzione derivati dall'elaborazione di tutti i token) come segnali di pseudo-supervisione per addestrare un predittore di importanza che riduca i token in modo efficiente.

L'architettura di SToRM si compone di tre elementi chiave:

A. Predittore di Importanza Leggero (Lightweight Importance Predictor)

• Obiettivo: Stimare i punteggi di importanza per ogni token visivo con costi computazionali minimi.
• Architettura: Basata su un blocco MLP-Mixer modificato con finestre temporali scorrevoli (sliding windows).
  • Mixing Spazio-Temporale a Breve Termine: Invece di considerare l'intera sequenza di token (che causerebbe complessità quadratica), il modello utilizza finestre scorrevoli per catturare le relazioni spazio-temporali locali tra i token di pochi frame consecutivi.
  • Mixing dei Canali: Modella le dipendenze tra i canali all'interno di ogni token (intra-token cross-channel dependencies).
• Vantaggio: Riduce drasticamente la complessità computazionale rispetto all'applicazione naive di trasformatori o mixer su sequenze lunghe, mantenendo la capacità di catturare il contesto temporale necessario.

B. Modulo di Fusione Ancoraggio-Contesto (Anchor-Context Merging - ACM)

• Funzionamento: Una volta ottenuti i punteggi di importanza, i token visivi vengono divisi in due categorie:
  1. Token "Anchor" (Ancoraggio): I token con i punteggi di importanza più alti (es. pedoni, segnaletica, veicoli principali).
  2. Token "Context" (Contesto): I token rimanenti con informazioni meno salienti ma complementari (es. texture della strada, ombre).
• Fusione: I token "context" vengono fusi nei loro "anchor" più rilevanti tramite un meccanismo di attenzione incrociata.
  • Viene utilizzato un operatore Gumbel-Softmax per creare assegnazioni "hard" (quasi one-hot), assegnando ogni token di contesto a un singolo anchor.
  • Questo approccio preserva le informazioni critiche degli anchor mentre riduce la ridondanza, minimizzando la perdita di informazioni rispetto a una semplice eliminazione (pruning).

C. Percorso di Addestramento con Pseudo-Supervisione

• Percorso Principale: Utilizza i token ridotti (dopo l'ACM) per generare i comandi di guida.
• Percorso Ausiliario: Esegue un passaggio attraverso l'LLM utilizzando tutti i token visivi originali (senza riduzione).
• Segnale di Supervisione: I punteggi di attenzione estratti dall'ultimo decoder dell'LLM nel percorso ausiliario vengono usati come "pseudo-ground truth" per addestrare il predittore di importanza nel percorso principale. Questo permette al modello di imparare quali token sono realmente importanti per il compito di guida senza richiedere etichette manuali.

3. Risultati Sperimentali

Gli esperimenti sono stati condotti sul benchmark LangAuto (simulatore CARLA) confrontando SToRM con lo stato dell'arte (SOTA) e diverse strategie di riduzione dei token.

• Prestazioni di Guida: SToRM supera i modelli SOTA esistenti (come LMDrive con Q-Former) mantenendo prestazioni di guida (Driving Score, Route Completion, Infraction Score) comparabili o superiori a quelle ottenute utilizzando tutti i token visivi originali.
• Efficienza Computazionale:
  • Riduzione del costo computazionale fino a 30 volte rispetto all'uso di tutti i token.
  • Abilitazione dell'inferenza in tempo reale (>25 FPS) su GPU standard (NVIDIA RTX 4090), rendendo fattibile l'uso di MLLM su veicoli con risorse limitate.
  • Con un budget di token ridotto (120 token), SToRM ottiene risultati significativamente migliori rispetto ad altri metodi di riduzione (ToMe, LLaVA-PruMerge, VisionZip, ecc.) che si basano su criteri euristici.
• Ablation Study:
  • Il predittore basato su MLP-Mixer con finestre scorrevoli offre un ottimo compromesso tra efficienza e prestazioni rispetto a varianti basate su Transformer.
  • Il meccanismo di fusione "hard" (assegnazione a un singolo anchor) supera le strategie di fusione "soft" o la semplice selezione dei top-K token.

4. Contributi Chiave

1. Primo Framework Supervisionato: Introduzione di SToRM, il primo approccio che utilizza segnali di pseudo-supervisione derivati dall'LLM per guidare la riduzione dei token visivi in modo specifico per il compito di guida.
2. Predittore di Importanza Efficiente: Progettazione di un predittore leggero basato su MLP-Mixer con finestre scorrevoli che cattura le dipendenze spazio-temporali a breve termine evitando la complessità quadratica.
3. Modulo ACM Innovativo: Sviluppo di un modulo che fonde i token di contesto negli anchor più rilevanti, preservando le informazioni critiche mentre riduce la ridondanza.
4. Prestazioni Superiori: Dimostrazione empirica che è possibile ridurre drasticamente i costi computazionali (fino a 30x) senza sacrificare la sicurezza o le prestazioni di guida, superando i metodi SOTA attuali.

5. Significato

Questo lavoro è fondamentale per il futuro della guida autonoma. Dimostra che l'integrazione di modelli linguistici multimodali avanzati nei veicoli autonomi è fattibile anche su hardware con risorse limitate, a patto di adottare strategie di riduzione dei token supervisionate dal compito e non solo euristiche. SToRM risolve il collo di bottiglia computazionale, permettendo ai veicoli di reagire in tempo reale a scenari complessi e imprevisti sfruttando sia i dati sensoriali che le istruzioni linguistiche, migliorando così la sicurezza e l'affidabilità dei sistemi E2E.