SHARP: Short-Window Streaming for Accurate and Robust Prediction in Motion Forecasting

1. Il Problema

La previsione delle traiettorie è un componente fondamentale per i veicoli autonomi (AV), necessario per pianificare movimenti sicuri ed efficienti in ambienti dinamici. Tuttavia, le attuali soluzioni di motion forecasting presentano due limitazioni critiche quando applicate a scenari reali:

• Lunghezze di osservazione eterogenee: Nei dati reali, gli agenti (pedoni, veicoli) entrano nel campo visivo del veicolo in momenti diversi. Alcuni sono osservati da lungo tempo (storia lunga), mentre altri sono appena rilevati (storia breve). I modelli esistenti spesso richiedono finestre di osservazione fisse e lunghe, degradando le prestazioni quando i dati sono parziali o brevi.
• Mancanza di coerenza temporale nello streaming: I metodi di previsione basati su "istantanee" (snapshot) trattano ogni frame come indipendente, ignorando la continuità temporale. I metodi di streaming esistenti (es. RealMotion, DeMo) migliorano la coerenza ma sono spesso vincolati a finestre di input fisse e lunghe (es. 3 secondi), introducendo latenza e non generalizzando bene quando il numero di passaggi di streaming o la lunghezza del contesto variano.

L'obiettivo è creare un modello capace di operare in modalità streaming con finestre di osservazione brevi, mantenendo alta accuratezza sia per agenti con storia lunga che per quelli appena rilevati, garantendo bassa latenza.

2. Metodologia: SHARP

Il framework proposto, SHARP (Short-Window Streaming for Accurate and Robust Prediction), è un'architettura basata su Transformer che affronta le sfide sopra citate attraverso i seguenti componenti chiave:

A. Elaborazione a Finestre Brevi e Streaming

A differenza dei metodi precedenti che usano finestre lunghe (es. 3s), SHARP elabora finestre di osservazione molto brevi (es. 1s). Il modello aggiorna incrementalemente la rappresentazione della scena man mano che arrivano nuovi dati, permettendo previsioni continue senza ritardi.

B. Streaming del Contesto Consapevole delle Istanze (Instance-Aware Context Streaming)

Questo è il cuore dell'architettura. Per propagare l'informazione temporale tra i passaggi di streaming, SHARP introduce un modulo di cross-attention che collega il contesto della scena corrente ($S_t$) con quello precedente ($S_{t-1}$).

• Maschera di Attenzione Appresa: A differenza dei metodi precedenti che si affidano solo alla corrispondenza posizionale implicita, SHARP utilizza una maschera di attenzione esplicita e appresa. Questa maschera modula i pesi dell'attenzione per collegare specificamente le stesse istanze (agenti) attraverso il tempo, anche se il numero di agenti o la loro posizione cambia.
• Robustezza: Questo approccio permette al modello di recuperare da discontinuità nel tracciamento (es. ID switch) e di mantenere una rappresentazione latente coerente dell'agente.

C. Codifica del Contesto Centrato sul Target (Target-Centric)

Oltre al contesto standard centrato sull'agente, SHARP estrae caratteristiche ausiliarie basate sugli endpoint delle previsioni precedenti.

• Gli endpoint delle traiettorie previste al passo $t-1$ fungono da "ancore" per aggregare informazioni contestuali dalle aree della mappa dove l'agente potrebbe muoversi.
• Questo meccanismo aiuta a mantenere la coerenza delle previsioni future e a correggere errori di propagazione.

D. Decodificatore e Previsioni Congiunte

Il modello utilizza un decodificatore simile a DETR (Detection Transformer) per generare traiettorie multimodali future.

• Previsioni Marginali: Prevede le traiettorie per ogni agente singolarmente.
• Estensione Congiunta: Per garantire la coerenza globale (evitare collisioni tra agenti previsti), un modulo di "Global Consistency" combina le previsioni marginali utilizzando l'attenzione incrociata tra tutti gli agenti e tutti i modi di movimento, generando mondi futuri globalmente coerenti.

E. Strategia di Addestramento Duale (Dual Training)

Per gestire la variabilità delle lunghezze di osservazione, SHARP utilizza un obiettivo di addestramento duale:

1. $L_{stream}$: Perde calcolato sulle previsioni basate sul contesto streaming accumulato (storia lunga).
2. $L_{chunk}$: Perde calcolato sulle previsioni basate solo sul frammento di osservazione corrente (storia breve).
   Questa strategia forza il modello a imparare rappresentazioni robuste che funzionano sia con dati limitati che con dati estesi, evitando l'overfitting su una specifica lunghezza di contesto.

3. Contributi Chiave

1. Nuovo Framework di Streaming: SHARP è il primo approccio che combina efficacemente finestre di osservazione brevi, streaming incrementale e modellazione esplicita delle corrispondenze tra istanze temporali.
2. Robustezza alle Lunghezze Variabili: Il modello dimostra un'eccellente capacità di generalizzazione su contesti temporali eterogenei, risolvendo il problema della degradazione delle prestazioni quando il contesto cambia dinamicamente.
3. Efficienza e Bassa Latenza: L'architettura evita componenti pesanti (come raffinamenti iterativi durante la decodifica), rendendola adatta alla distribuzione in tempo reale.
4. Nuovo Stato dell'Arte (SOTA): Stabilisce nuovi record di performance sia nella previsione multi-agente che in quella single-agent su dataset complessi.

4. Risultati Sperimentali

Il modello è stato valutato su tre dataset principali: Argoverse 2 (AV2), Argoverse 1 (AV1) e nuScenes.

• Argoverse 2 (Multi-Agent): SHARP raggiunge lo stato dell'arte nella previsione multi-agente in streaming, superando significativamente metodi precedenti come RealMotion e DeMo. Ad esempio, riduce l'errore medio finale (avgMinFDE6) a 1.15m rispetto a 1.24m di DeMo.
• Robustezza al Contesto Variabile: Nelle valutazioni con finestre di contesto variabili ($T_{cl}$) e diversi passi temporali di inferenza ($t_p$), SHARP mantiene prestazioni stabili, mentre i metodi concorrenti subiscono un crollo drastico quando il numero di passaggi di streaming cambia rispetto alla configurazione di addestramento.
• Argoverse 1 e nuScenes: Il modello ottiene performance competitive o superiori anche su dataset single-agent e su nuScenes (noto per la sua bassa frequenza di campionamento e contesti brevi), dimostrando la sua adattabilità.
• Latenza: Su una GPU NVIDIA RTX 3090, SHARP raggiunge una latenza online di 33 ms per batch di 16 agenti, inferiore a DeMo (35 ms) e RealMotion (44 ms), rendendolo ideale per applicazioni reali.

5. Significato e Impatto

Il lavoro di SHARP è significativo perché sposta il paradigma della previsione di movimento dai modelli statici basati su finestre fisse a un approccio dinamico e adattivo, che riflette meglio la realtà del traffico stradale.

• Affidabilità Operativa: La capacità di gestire agenti appena rilevati senza degradare le prestazioni è cruciale per la sicurezza dei veicoli autonomi.
• Efficienza Computazionale: La dimostrazione che finestre brevi e streaming possono essere più efficaci delle finestre lunghe apre la strada a sistemi di previsione più leggeri e reattivi.
• Standardizzazione: Il paper introduce un protocollo di valutazione più realistico ("Evolving Scenes Evaluation") che testa i modelli su contesti variabili, invitando la comunità a superare le limitazioni delle benchmark tradizionali a finestra fissa.

In sintesi, SHARP rappresenta un passo avanti fondamentale verso la previsione di traiettorie robusta, efficiente e pronta per il mondo reale, risolvendo il compromesso tra accuratezza, latenza e adattabilità a scenari dinamici.