💻 computer science

PRIME: Perception Feedback with Situational Memory Embeddings in VLA Models

PRIME introduce un meccanismo di feedback appreso che condiziona le query percettive Vision-Language-Action (VLA) su una nuova Situational Memory per abilitare una percezione guidata dall'intento, raggiungendo prestazioni state-of-the-art sul benchmark Bench2Drive con un overhead computazionale minimo.

Autori originali: Erik Deinzer, Naya Baslan, Luca Paparusso, Narunas Vaskevicius, Peter Knott, Luigi Palmieri

Pubblicato 2026-09-21

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Erik Deinzer, Naya Baslan, Luca Paparusso, Narunas Vaskevicius, Peter Knott, Luigi Palmieri

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

I veicoli autonomi si sono a lungo affidati a un flusso di informazioni rigido e unidirezionale per navigare nel mondo. In questi sistemi, telecamere e sensori catturano l'ambiente, inviando i dati grezzi a un modulo di percezione che identifica oggetti come auto e pedoni. Queste informazioni passano poi a un motore di ragionamento che decide cosa fare e, infine, a un pianificatore che esegue le azioni fisiche di sterzata e accelerazione. Per anni, questo processo è stato strettamente feedforward: la percezione iniziale della scena avviene in isolamento, cieca rispetto agli obiettivi finali del veicolo o alle conclusioni che essa arriverà infine a trarre. Una volta che il veicolo decide di dover imboccare un'autostrada, questa decisione non può tornare indietro per cambiare il modo in cui le telecamere hanno originariamente visto la strada. Ciò crea una lacuna in cui il veicolo deve reinterpretare l'intera scena da zero ad ogni singolo istante, incapace di usare le proprie intenzioni per guidare ciò che deve cercare successivamente.

Un team di ricercatori ha introdotto un metodo per colmare questa lacuna, permettendo ai piani futuri del veicolo di influenzare la sua visione attuale. Chiamano il loro sistema PRIME, una tecnica che conferisce all'auto una sorta di memoria situazionale. Inveve di elaborare ogni nuovo fotogramma della telecamera come un inizio completamente nuovo, PRIME permette al veicolo di ricordare ciò che ha pensato, deciso e inteso fare di recente. Alimentando questi stati interni nuovamente nella fase di percezione, il sistema può indirizzare la propria attenzione per concentrarsi sui dettagli specifici che contano per il proprio obiettivo attuale, piuttosto che trattare ogni input visivo con lo stesso peso. Questo approccio suggerisce che, affinché una macchina possa guidare in sicurezza, non deve solo vedere la strada, ma anche ricordare perché la sta guardando.

I ricercatori hanno costruito questo sistema modificando un modello di guida autonoma esistente noto come ORION. Nella versione standard di questo modello, il veicolo elabora i dati visivi, ragiona sulla scena e pianifica un percorso in una sequenza lineare. La nuova architettura PRIME aggiunge un ciclo di feedback che collega la fine di questo processo all'inizio. Il sistema mantiene un buffer di memoria rotante che memorizza sei diversi tipi di informazioni dai momenti precedenti di guida. Questi includono i dati visivi grezzi che l'auto ha appena visto, le previsioni di movimento fatte per altri veicoli, i token di ragionamento di alto livello che spiegano la situazione, i comandi di navigazione specifici ricevuti e la traiettoria futura che intende seguire.

Per far sì che ciò funzioni, i ricercatori hanno progettato un meccanismo che recupera le parti più rilevanti di questa memoria e le utilizza per regolare la percezione attuale del veicolo. Prima che l'auto analizzi una nuova immagine dalle sue telecamere, consulta la sua memoria di ciò che ha appena inferito e pianificato. Questa consultazione agisce come un filtro, dicendo al sistema di percezione di prestare maggiore attenzione alle caratteristiche che si allineano con i suoi obiettivi attuali. Ad esempio, se il modulo di ragionamento del veicolo ha deciso che deve cambiare corsia, il ciclo di feedback assicura che il sistema di percezione dia priorità alle segnalazioni orizzontali e alle auto vicine rilevanti per quella manovra, piuttosto che distrarsi con dettagli irrilevanti altrove nella scena. Il sistema fa questo senza dover scansionare nuovamente l'ambiente o eseguire un secondo calcolo costoso; semplicemente regola il modo in cui interpreta i dati che già possiede.

Il team ha testato questo approccio in un ambiente di guida simulato utilizzando un benchmark chiamato Bench2Drive, che valuta quanto bene un veicolo possa completare dei percorsi senza violare le regole del traffico o causare incidenti. Hanno confrontato il nuovo sistema PRIME con il modello ORION originale e altri sistemi di guida autonoma all'avanguardia. I risultati hanno mostrato un chiaro miglioramento delle prestazioni. Il sistema PRIME ha ottenuto un punteggio di guida di 82,47, significativamente superiore al punteggio di 77,74 del modello originale. Ha inoltre aumentato il tasso di successo nel completamento dei viaggi dal 54,62 percento al 60,00 percento. Questi guadagni sono stati particolarmente degni di nota perché i ricercatori sono riusciti ad aggiungere questa complessa capacità di memoria e feedback aumentando il numero totale di parametri addestrabili del modello solo di una frazione minima, circa lo 0,41 percento.

Fondamentalmente, i ricercatori hanno scoperto che non tutti i tipi di memoria erano ugualmente utili. Hanno condotto una serie di esperimenti per vedere quali pezzi specifici di informazione il veicolo avesse bisogno di ricordare. Hanno scoperto che il semplice fatto di ricordare più dettagli visivi sulla strada o prevedere dove potrebbero andare altre auto non migliorava la capacità del veicolo di guidare in sicurezza. Infatti, fare affidamento solo su queste memorie percettive rendeva talvolta la prestazione di guida peggiore. Il sistema migliorava solo quando era permesso di ricordare il proprio ragionamento e le proprie intenzioni. Il feedback più efficace proveniva dai "pensieri" interni del veicolo sulla situazione: la sua interpretazione della scena e i suoi obiettivi di navigazione pianificati. Ciò suggerisce che la chiave per una guida migliore non è solo vedere di più, ma capire cosa si sta vedendo nel contesto di ciò che si intende fare.

Lo studio indica che gli agenti autonomi di maggior successo sono quelli che possono allineare la propria percezione con il proprio intento. Permettendo ai piani futuri del veicolo di dare forma alla sua visione attuale, il sistema PRIME crea un'esperienza di guida più coesa in cui percezione e azione sono strettamente legate. I ricercatori osservano che, sebbene i loro risultati siano promettenti, si basano su simulazioni e su un esperto di addestramento specifico. Suggeriscono che il lavoro futuro dovrebbe esplorare come questo meccanismo di feedback si comporta con diversi stili di guida e in condizioni reali. Tuttavia, il nucleo della scoperta rimane robusto: dare a una macchina la capacità di ricordare il proprio ragionamento e usarlo per guidare la propria visione porta a una guida più sicura ed efficace.

Sintesi Tecnica: PRIME – Perception Feedback with Situational Memory Embeddings in VLA Models

1. Definizione del Problema

Gli attuali modelli Vision-Language-Action (VLA) per la guida autonoma, come ORION, operano principalmente attraverso una pipeline di inferenza feedforward che attraversa i moduli di percezione, ragionamento e pianificazione. Sebbene queste architetture mantengano spesso la ricorrenza temporale all'interno del modulo percettivo (ad esempio, tramite query di oggetti ricorrenti in un QT-Former), lo stadio di percezione precoce rimane "cieco" rispetto ai obiettivi di ragionamento e navigazione a valle. Di conseguenza, il modello elabora gli input visivi in modo agnostico, fallendo nel dare priorità a indizi informati da decisioni precedenti, interpretazioni della scena o comportamenti futuri anticipati.

Questa lacuna interna contrasta con i principi dell'ingegneria del controllo, dove gli osservatori di stato (ad esempio, i filtri di Kalman) propagano informazioni dai cicli precedenti di sensing e decisione per informare le osservazioni future. Nei modelli VLA, gli stati interni di alto livello (interpretazione, intento, comportamento pianificato) non possono influenzare direttamente il modo in cui le osservazioni successive vengono codificate. Questa limitazione costringe l'agente a ridefinire da solo il contesto rilevante per la decisione a partire dall'osservazione corrente, portando potenzialmente a fallimenti in scenari che richiedono un contesto accumulato, come la risoluzione di occlusioni o l'esecuzione di manovre complesse come il cambio di corsia.

2. Metodologia: Architettura PRIME

Il documento introduce PRIME (Perception Feedback with Situational Memory Embeddings), un'estensione dell'architettura ORION progettata per colmare questa lacuna tramite un meccanismo di feedback appreso.

Meccanismo Core: Situational Memory

PRIME introduce un modulo di Situational Memory che conserva le rappresentazioni latenti dell'evoluzione della situazione di guida su una finestra temporale di $L$ passi. A differenza della ricorrenza standard confinata nel modulo percettivo, questa memoria aggrega fonti di feedback da tutti e tre i livelli di consapevolezza situazionale:

SA1 (Percezione della Scena): Latenti QT-Former ( $Q$ ) e Predizioni di Movimento Latente ( $M$ ).
SA2 (Interpretazione della Situazione e Intento): Token di Ragionamento Latente ( $R$ ) dall'LLM e Comandi di Pianificazione ( $P$ ).
SA3 (Predizione Futura): Query dello Stato dell'Ego Predetto ( $S$ ) e Traiettorie dell'Ego Predette ( $T$ ).

Iniezione e Integrazione del Feedback

La memoria viene recuperata e integrata nel front-end percettivo (QT-Former) prima che il decoder presti attenzione alle caratteristiche delle telecamere correnti. Ciò condiziona le query percettive sulle recenti interpretazioni e aspettative dell'agente. Per gestire le diverse strutture e cardinalità di queste sei fonti di feedback, PRIME impiega due moduli di integrazione specializzati:

FiLMXAttn (per Fonti Compatte): Utilizzato per fonti a basso numero di token come i Token di Ragionamento ( $R$ ), i Comandi di Pianificazione ( $P$ ) e le Traiettorie ( $T$ ). Utilizza un meccanismo di cross-attention specifico per la sorgente seguito da una Modulazione Lineare per Caratteristiche (FiLM) per generare parametri di modulazione affine ( $\gamma, \beta$ ) che scalano e traslano le query proiettate.
Attention Pooling (per Fonti ad Alta Cardinalità): Utilizzato per set strutturati come i Latenti QT-Former ( $Q$ ), le Predizioni di Movimento ( $M$ ) e le Query dello Stato dell'Ego ( $S$ ). Un set appreso di Extraction Queries presta attenzione all'intero buffer di memoria, comprimendo le dimensioni temporali e strutturali in una rappresentazione latente compatta prima dell'integrazione.

Strategia di Addestramento

Gli autori propongono una metodologia basata su adapter leggero per studiare il feedback cross-stage senza un costoso riaddestramento end-to-end dell'intero backbone. La pipeline di addestramento prevede:

Addestramento degli Adapter: Congelamento del backbone e addestramento solo dei moduli di feedback.
Addestramento di Allineamento: Ottimizzazione congiunta del meccanismo di feedback e dell'encoder percettivo (QT-Former) mantenendo l'LLM e il pianificatore congelati.
Addestramento End-to-End (E2E): Scongelamento dell'intero stack (inclusi i parametri LoRA per l'LLM) per consentire ai moduli di ragionamento e pianificazione di adattarsi alla percezione condizionata dal feedback.

Gli autori hanno scoperto che una strategia sequenziale Allineamento $\rightarrow$ E2E è cruciale; l'addestramento diretto E2E o l'addestramento solo di Allineamento hanno ottenuto prestazioni inferiori rispetto al baseline, suggerendo che l'encoder percettivo debba prima imparare a interpretare il contesto situazionale recuperato prima che l'intero stack possa ottimizzarlo.

3. Contributi Chiave

Modulo Situational Memory: Una componente stateful che aggrega sei fonti di feedback latente attraverso le fasi di percezione, ragionamento e pianificazione, consentendo un'attenzione percettiva guidata dall'intento.
Metodologia di Adapter Leggera: Un framework efficiente nei parametri (aggiunge solo ~29,7M di parametri, ovvero lo 0,41% del modello base da 7,3B) che isola e valuta i singoli percorsi di feedback senza un intero riaddestramento.
Indagine Empirica Sistematica: Uno studio che determina come l'efficacia del feedback dipenda fortemente dal contenuto semantico delle rappresentazioni memorizzate piuttosto che dal semplice volume della storia percettiva.
Miglioramento delle Prestazioni: Dimostrazione che il feedback end-to-end migliora significativamente le prestazioni di guida sul benchmark Bench2Drive.

4. Risultati Sperimentali

Valutato sul benchmark closed-loop Bench2Drive utilizzando le dimostrazioni di Think2Drive:

Guadagni di Prestazione: PRIME ha raggiunto un Driving Score (DS) di stato dell'arte di 82,47, un miglioramento di +4,73 rispetto al baseline ORION (77,74). Il Success Rate (SR) è aumentato di +5,38 punti percentuali arrivando al 60,00%.
Ablazione delle Fonti:
- Feedback di Ragionamento ( $R$ ): Il feedback dallo stato di ragionamento dell'LLM è stata l'unica configurazione a singola fonte ad migliorare le prestazioni di guida in closed-loop (DS +1,57 rispetto al baseline).
- Feedback Percettivo/Predittivo ( $Q, S$ ): Sebbene queste fonti abbiano migliorato le metriche di percezione open-loop (NuScenes Detection Score), hanno degradato le prestazioni di guida in closed-loop quando utilizzate in isolamento.
- Diversità Cross-Stage: Una memoria puramente percettiva (solo SA1) ha migliorato le metriche open-loop ma ha degradato sostanzialmente le prestazioni in closed-loop (DS 64,18 rispetto a 82,47 per PRIME-Full). La Situational Memory completa (che spazia tra SA1, SA2, SA3) ha fornito i risultati più forti.
Confronto: PRIME-Full ha ottenuto il Driving Score più alto riportato tra i VLA pubblicati addestrati su dimostrazioni Think2Drive, superando ORION e GeRo.

5. Significato e Rivendicazioni

Il documento sostiene che la percezione condizionata dal feedback è una via complementare e critica per migliorare i modelli VLA, distinta dai progressi nella sola pianificazione o nel ragionamento.

Percezione Guidata dall'Intento: Il risultato principale è che un feedback efficace non deve semplicemente preservare una storia percettiva aggiuntiva, ma deve propagare informazioni temporalmente persistenti sull'interpretazione della scena, l'intento di navigazione e il comportamento futuro. Lo "Stato di Ragionamento" funge da prior consapevole del compito, guidando l'encoder percettivo ad attendere a caratteristiche comportamentalmente rilevanti piuttosto che a semplici dati visivi grezzi.
Disaccoppiamento delle Metriche: I risultati evidenziano un disconnessione tra le metriche di percezione open-loop (ad esempio, l'accuratezza della rilevazione) e le prestazioni di guida in closed-loop. Semplicemente aumentare la quantità di informazioni disponibili per la percezione (tramite la memoria percettiva) può biasare il modello verso rappresentazioni localmente accurate ma globalmente subottimali.
Flessibilità Architetturale: La Situational Memory è presentata come un modulo generalizzabile che può essere applicato a qualsiasi architettura con una gerarchia percezione–ragionamento–pianificazione, operando a un costo computazionale minimo.

Gli autori concludono che, sebbene il loro lavoro sia una prova di concetto limitata all'architettura ORION e alla policy esperta Think2Drive, esso stabilisce che condizionare la percezione su stati interni di alto livello è una strategia valida per potenziare la robustezza e le prestazioni della guida autonoma.