Riepilogo Tecnico: CLAP – Ottimizzazione Contrastiva del Prompt nello Spazio Latente per la Guida Autonoma End-to-End

1. Enunciato del Problema

I sistemi di guida autonoma (AD) end-to-end alimentati da modelli Vision-Language-Action (VLA) hanno dimostrato prestazioni elevate negli scenari di guida comuni, sfruttando il pre-addestramento su larga scala e il fine-tuning. Tuttavia, questi sistemi rimangono fragili negli scenari a coda lunga—situazioni rare ma critiche per la sicurezza, come zone di cantiere attive, geometrie complesse di cedimento e combinazioni di condizioni meteorologiche avverse.

L'approccio dominante per affrontare questi fallimenti consiste nell'espandere la raccolta dati e nel fine-tuning dei modelli. Il documento sostiene che tale approccio incontra rendimenti decrescenti a causa di:

• La scarsità degli eventi rari.
• La complessità combinatoria delle variazioni all'interno della stessa categoria (layout, condizioni meteorologiche, orario del giorno).
• Il rischio di oblio catastrofico quando si esegue frequentemente il fine-tuning su dati di nicchia.

Inoltre, il documento identifica una limitazione specifica nelle attuali strategie di adattamento: i fallimenti a coda lunga sono spesso legati a specifiche regioni stradali (punti critici) piuttosto che essere puramente problemi di generalizzazione a livello di categoria. Inoltre, all'interno di un singolo punto critico, i frame difficili (a coda lunga) e i frame normali sono fortemente intermiscelati nello spazio latente del modello. Di conseguenza, ottimizzare un prompt per correggere i frame difficili spesso degrada involontariamente le prestazioni sui frame normali a causa di questa intermiscelazione latente.

2. Metodologia: Framework CLAP

Gli autori propongono CLAP (Contrastive Latent-space Prompt Optimization), un framework che potenzia un modello di guida VLA congelato con prompt soft specifici per punto critico. Questi prompt sono ottimizzati offline su dati crowdsourced e recuperati su richiesta tramite comunicazione Veicolo-Tutto (V2X).

Osservazioni Fondamentali

La metodologia si basa su due osservazioni derivate dall'analisi dello spazio latente dei VLA all'avanguardia:

1. Località: Gli scenari provenienti dallo stesso punto critico (una regione spaziale contigua con identità visiva/geometrica stabile) si raggruppano strettamente nello spazio latente, distinguendosi da altri punti critici.
2. Intermiscelazione: All'interno di un singolo punto critico, i frame difficili e quelli normali non sono separabili in cluster distinti; sono fortemente intermiscelati.

La Pipeline in Due Fasi

CLAP opera tramite un processo di ottimizzazione del prompt in due fasi per ogni punto critico $R$:

Fase 1: Scoperta della Direzione tramite Apprendimento Contrastivo Supervisionato

• Obiettivo: Individuare una "direzione scena difficile" ($d^\star$) che separi i frame difficili dai frame normali nello spazio latente.
• Meccanismo: Un prompt soft ausiliario $P_A$ viene ottimizzato utilizzando una funzione di perdita Contrastiva Supervisionata (SupCon). Questa perdita spinge gli stati nascosti dei frame difficili lontano dai frame normali.
• Output: La direzione principale della rappresentazione separata viene estratta come $d^\star$, un descrittore compatto della direzione della scena difficile specifica per quel punto critico.

Fase 2: Ottimizzazione del Prompt con Regolarizzazione Direzionale

• Obiettivo: Ottimizzare un prompt di prestazioni deployabile $P_B$ che migliori i frame difficili preservando rigorosamente le prestazioni sui frame normali.
• Meccanismo: $P_B$ viene addestrato sotto una funzione di perdita congiunta:
  $$L_{total} = L_{plan} + \lambda_1 L_{dir} + \lambda_2 L_{reg}$$
  • $L_{plan}$: Perdita standard di regressione della traiettoria (ADE) calcolata solo sui frame difficili.
  • $L_{dir}$ (Regolarizzatore Direzionale): Incoraggia $P_B$ a spostare le rappresentazioni dei frame difficili lungo l'asse pre-scoperto $d^\star$. Questo vincola l'ottimizzazione al sottospazio specifico in cui la separazione è possibile.
  • $L_{reg}$ (Regolarizzatore Frame Normali): Penalizza esplicitamente qualsiasi spostamento delle rappresentazioni dei frame normali rispetto alla baseline della Fase 1. Ciò impedisce al prompt di "perdere" nel sottospazio che influenza la guida comune.

Partizionamento dei Dati

Per applicare ciò, il sistema deve partizionare le tracce dei punti critici in sottoinsiemi "difficili" e "normali". Il documento propone una pipeline basata su VLM che utilizza l'identificazione semantica (tramite un VLM robusto) e la validazione empirica (errore di pianificazione che supera un margine $\delta$) per etichettare i frame.

3. Contributi Chiave

1. Formulazione per Punto Critico: Il documento dimostra, tramite analisi dello spazio latente, che i problemi a coda lunga possono essere affrontati localmente per punto critico piuttosto che globalmente, poiché i punti critici formano varietà distinte nello spazio latente.
2. Framework CLAP: Un metodo innovativo di ottimizzazione del prompt in due fasi che utilizza l'apprendimento contrastivo per identificare una direzione di separazione e la regolarizzazione direzionale per migliorare selettivamente le prestazioni a coda lunga senza regressione delle prestazioni normali.
3. Validazione Empirica: Dimostrazione che CLAP riduce gli errori di pianificazione negli scenari difficili su molteplici backbones VLA all'avanguardia senza richiedere il fine-tuning del backbone.

4. Risultati Sperimentali

Gli autori hanno valutato CLAP sul benchmark NAVSIM utilizzando tre backbones VLA all'avanguardia: ReCogDrive, Alpamayo-R1.5 e DriveVLA-W0.

• Prestazioni sui Frame Difficili: CLAP ha ridotto l'Average Displacement Error (ADE) sugli scenari difficili in media del 24% tra i tre modelli.
• Prestazioni sui Frame Normali: A differenza dell'ottimizzazione del prompt soft non vincolata (che ha causato regressione in alcuni modelli) o di avvisi testuali espliciti (che spesso fallivano o degradavano le prestazioni), CLAP ha mantenuto o leggermente migliorato le prestazioni sui frame normali.
• Miglioramento Complessivo: La combinazione di errori a coda lunga ridotti e prestazioni normali preservate ha portato a un miglioramento medio del 14% nell'ADE complessivo.
• Studi di Ablazione:
  • La rimozione della Fase 1 (scoperta della direzione contrastiva) ha comportato cali significativi delle prestazioni, confermando che la direzione specifica $d^\star$ è critica.
  • Sostituire $d^\star$ con una direzione casuale ha funzionato peggio dell'omissione completa della Fase 1, evidenziando la necessità della direzione contrastiva appresa.
• Generalizzazione: Quando testato in condizioni spostate (pioggia e crepuscolo) senza aumento dei dati, le prestazioni sono peggiorate. Tuttavia, utilizzando l'editing generativo delle immagini per aumentare i dati di addestramento con queste condizioni, CLAP è riuscito a generalizzare efficacemente, riducendo significativamente il divario ADE in condizioni spostate.

5. Significato e Affermazioni

Il documento posiziona CLAP come un'alternativa praticamente efficiente all'espansione dei dati e al fine-tuning dei modelli per migliorare le prestazioni VLA nella guida autonoma.

• Modalità di Miglioramento: Gli autori affermano che i fallimenti a coda lunga possono essere "corretti localmente" tramite prompt soft, piuttosto che richiedere un re-addestramento globale del modello.
• Selettività: Il significato fondamentale risiede nella capacità di migliorare selettivamente gli scenari difficili prevenendo strutturalmente danni collaterali alle prestazioni di guida comune, una sfida che l'ottimizzazione del prompt non vincolata non riesce a risolvere a causa dell'intermiscelazione latente.
• Fattibilità di Deployment: Il framework è progettato per il deployment V2X, dove un server centrale ottimizza i prompt basandosi su dati crowdsourced e li invia ai veicoli che entrano in punti critici specifici, mantenendo il costo di inferenza lato veicolo minimo (modello congelato + iniezione del prompt).

Gli autori riconoscono le limitazioni, notando che la generalizzazione oltre le condizioni meteorologiche testate rimane una questione aperta e che l'obiettivo contrastivo corrente presuppone un singolo tipo di sfida dominante per punto critico, il quale potrebbe richiedere affinamento per scenari eterogenei.