EgoTraj-Bench: Towards Robust Trajectory Prediction Under Ego-view Noisy Observations

Il paper presenta EgoTraj-Bench, il primo benchmark real-world che allinea osservazioni storiche rumorose in prima persona con traiettorie future pulite, e propone BiFlow, un modello a doppio flusso che supera lo stato dell'arte nella previsione di traiettorie robuste in ambienti umani.

L'essenziale

Immagina di dover guidare un robot umanoide in mezzo a una folla di persone. Il tuo obiettivo è prevedere dove andranno quelle persone nei prossimi secondi, così il robot non le sbatterà contro e può muoversi in modo sicuro e naturale.

Fino a oggi, la maggior parte degli scienziati ha studiato questo problema guardando la scena dall'alto, come se fosse una mappa satellitare perfetta. In questa "visione dall'alto" (chiamata Bird's Eye View o BEV), vedi tutto chiaramente: chi è chi, dove sono tutti e non ci sono ostacoli che nascondono nulla. È come guardare una partita di calcio da uno stadio vuoto: vedi ogni giocatore e la sua traiettoria perfetta.

Il problema della realtà
Ma nella vita reale, i robot non hanno occhi da falco. Hanno una telecamera montata sulla testa (o sul petto), proprio come la nostra. Questa è una visione in prima persona (Ego-view).
Immagina di camminare in una folla:

1. Occlusioni: Qualcuno ti passa davanti e ti nasconde le persone dietro.
2. Confusione: Due persone si incrociano e il sistema di tracciamento si confonde, scambiandole di posto (come se due amici si scambiassero i cappelli e tu non sapessi più chi è chi).
3. Distorsione: Le persone agli angoli della tua visione sembrano allungate o deformate.

I robot attuali sono addestrati con la "mappa perfetta" dall'alto, ma quando vengono messi nel mondo reale con la loro telecamera, vanno in tilt. È come se avessi imparato a guidare guardando solo una mappa 2D perfetta, e poi ti trovassi a guidare con il parabrezza sporco e la nebbia: non sai più dove sono gli altri.

La soluzione: EgoTraj-Bench
Gli autori di questo paper hanno detto: "Basta con le simulazioni perfette!". Hanno creato un nuovo banco di prova chiamato EgoTraj-Bench.
Hanno preso un dataset reale (TBD) dove c'erano due telecamere che registravano la stessa scena contemporaneamente:

• Una dall'alto (la verità perfetta).
• Una in prima persona (la visione "rumorosa" e imperfetta del robot).

Hanno unito queste due cose: hanno preso la visione imperfetta del robot come "input" (ciò che il robot vede) e la visione perfetta dall'alto come "risposta corretta" (ciò che il robot dovrebbe prevedere). In questo modo, hanno creato un allenamento realistico: insegnano al robot a prevedere il futuro anche quando ciò che vede è confuso, incompleto o sbagliato.

Il nuovo modello: BiFlow (Il "Doppio Flusso")
Per risolvere il problema, hanno creato un nuovo modello chiamato BiFlow. Ecco come funziona, usando un'analogia semplice:

Immagina di essere un detective che deve prevedere dove andrà un sospetto.

1. Il problema: Il detective ha solo una foto sfocata e parziale del sospetto (la storia rumorosa).
2. La soluzione BiFlow: Invece di guardare solo la foto e indovinare, il detective fa due cose contemporaneamente:
   • Azione 1 (Riparare): Cerca di "pulire" la foto sfocata per capire com'era davvero il sospetto prima che la foto venisse rovinata.
   • Azione 2 (Prevedere): Usa quella versione "pulita" e corretta per immaginare dove il sospetto andrà dopo.

Il modello BiFlow fa esattamente questo: ha due "flussi" di pensiero. Uno cerca di ricostruire il passato pulito (togliendo il rumore), e l'altro usa quella ricostruzione per prevedere il futuro. I due flussi si aiutano a vicenda: più riesci a capire cosa è successo davvero nel passato, meglio riesci a prevedere il futuro.

L'ancora dell'ego (EgoAnchor)
C'è anche un trucco speciale chiamato EgoAnchor. Immagina che il robot abbia un "senso dell'intenzione". Anche se vede poco, il modello impara a capire l' intenzione delle persone basandosi su piccoli indizi (come la direzione dello sguardo o la postura, anche se parzialmente nascosti). Questa "ancora" aiuta il modello a non perdersi quando l'immagine è troppo confusa, stabilizzando la previsione.

I risultati
Hanno fatto delle prove e i risultati sono stati sorprendenti:

• I vecchi modelli, quando usati con la visione "rumorosa" in prima persona, fallivano miseramente (come un giocatore di calcio che inciampa se il campo è pieno di buche).
• Il nuovo modello BiFlow ha ridotto gli errori del 10-15% rispetto ai migliori modelli esistenti. È molto più robusto: anche se la telecamera vede cose sbagliate, il robot riesce a capire la realtà e muoversi in sicurezza.

In sintesi
Questo lavoro ci dice che per creare robot sicuri da usare nelle nostre città, dobbiamo smettere di allenarli in mondi di fantasia perfetti. Dobbiamo allenarli con gli occhi sporchi, le visioni parziali e le confusioni della vita reale. Con EgoTraj-Bench e BiFlow, abbiamo fatto un grande passo verso robot che non si spaventano se qualcuno gli passa davanti o se la telecamera si confonde, ma che continuano a prevedere il futuro con sicurezza.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "EgoTraj-Bench: Towards Robust Trajectory Prediction Under Ego-view Noisy Observations" in italiano.

1. Il Problema

La previsione della traiettoria dei pedoni è fondamentale per la navigazione sicura di robot autonomi e veicoli intelligenti in ambienti affollati. Tuttavia, esiste un divario critico tra le condizioni di addestramento attuali e la realtà del dispiegamento:

• Assunzioni Ideali: La maggior parte dei metodi esistenti (SOTA) viene sviluppata e valutata in scenari di vista dall'alto (Bird's-Eye View - BEV) con osservazioni globali perfette e tracciamento degli agenti privo di errori.
• Realtà Ego-centrica: I robot autonomi percepiscono l'ambiente attraverso telecamere frontali (First-Person View - FPV o ego-view). In questa prospettiva, le osservazioni sono intrinsecamente incomplete e rumorose a causa di:
  • Occlusioni: I pedoni possono essere nascosti da altri oggetti o persone.
  • Switch di ID: I tracker possono scambiare l'identità di due pedoni quando si incrociano.
  • Deriva del tracciamento e distorsione prospettica: Errori di localizzazione dovuti alla geometria della telecamera e al movimento del robot stesso.
• Conseguenza: I modelli addestrati su dati BEV puliti subiscono un drastico calo delle prestazioni quando esposti a queste imperfezioni percettive reali, limitando la loro robustezza nel mondo reale.

2. Metodologia Proposta

Il lavoro introduce due componenti principali: un nuovo benchmark e un nuovo modello architetturale.

A. EgoTraj-Bench (Il Benchmark)

È il primo benchmark real-world per la previsione di traiettorie in condizioni di rumore ego-centrico.

• Costruzione dei Dati: Basato sul dataset TBD, combina video sincronizzati da telecamere aeree (BEV) e da robot mobili (FPV).
• Pipeline:
  1. Le traiettorie storiche vengono estratte dai video FPV grezzi utilizzando rilevatori (YOLOv8) e tracker (BotSort), catturando naturalmente rumore, occlusioni e errori di ID.
  2. Queste traiettorie "rumorose" vengono proiettate nello spazio metrico globale (BEV) utilizzando parametri intrinseci della telecamera e odometria del robot.
  3. Vengono allineate temporalmente con le traiettorie future "pulite" e verificate dall'uomo estratte dal video BEV.
• Risultato: Un dataset che fornisce in input storie storiche rumorose (derivate da FPV) e supervisione pulita (BEV), permettendo una valutazione equa della robustezza dei modelli.

B. BiFlow (Il Modello)

Per affrontare il problema, gli autori propongono BiFlow, un modello di flow matching a doppio flusso (dual-stream) progettato per essere resistente al rumore.

• Architettura a Doppio Flusso: Il modello apprende simultaneamente due compiti partendo dalla stessa input rumoroso ($\tilde{X}$):
  1. Ricostruzione Storica: Denoisare e ricostruire la traiettoria storica pulita ($X$).
  2. Previsione Futura: Prevedere la traiettoria futura ($Y$).
  • Idea Chiave: Imparando a ricostruire il passato pulito, il modello estrae semantiche storiche "denoisate" che guidano e stabilizzano la previsione futura.
• Contextual Encoder: Utilizza un Transformer con Multi-Head Self-Attention (MHSA) per modellare le interazioni sociali tra agenti, tenendo conto delle maschere di validità (per gestire le occlusioni).
• EgoAnchor (Meccanismo di Distillazione): Un modulo leggero che estrae "priori di intento" dalle caratteristiche nascoste della storia ricostruita. Questi prior (a livello di agente e di scena) vengono iniettati nel decoder di previsione futura tramite modulazione affine delle caratteristiche, fornendo un segnale di stabilità anche quando l'input è parzialmente corrotto.
• Obiettivo di Addestramento: Minimizza la perdita di flow matching sia per la ricostruzione che per la previsione, utilizzando un obiettivo multi-candidato per garantire diversità e coerenza delle traiettorie future.

3. Risultati Sperimentali

Gli esperimenti sono stati condotti su EgoTraj-TBD (dati reali) e T2FPV-ETH (dati simulati).

• Impatto del Rumore: Il benchmark ha rivelato che tutti i modelli SOTA basati su BEV subiscono un degrado significativo delle prestazioni quando l'input storico è rumoroso. Ad esempio, su ETH-UCY, l'errore medio minimo (minADE) è aumentato da ~0.20m (storico pulito) a ~0.67m (storico rumoroso).
• Prestazioni di BiFlow:
  • BiFlow ha ottenuto prestazioni State-of-the-Art (SOTA) su entrambi i dataset.
  • Su T2FPV-ETH, ha ridotto il minADE@20 del 11% e il minFDE@20 del 15% rispetto al modello precedente migliore (MoFlow).
  • Su EgoTraj-TBD, ha mostrato miglioramenti coerenti, riducendo minADE e minFDE in media del 10-15%.
• Efficienza: Il modello dimostra una maggiore robustezza anche con un numero ridotto di candidati di traiettoria (K), indicando una distribuzione predittiva più accurata e meno dispersiva.
• Analisi di Ablazione: L'aggiunta del modulo EgoAnchor e la condivisione dell'encoder hanno contribuito significativamente ai miglioramenti, confermando che la distillazione dell'intento e la ricostruzione congiunta sono cruciali.

4. Contributi Chiave

1. EgoTraj-Bench: Il primo benchmark real-world che allinea osservazioni visive ego-centriche rumorose con traiettorie future pulite in metrica BEV, colmando il divario tra ricerca accademica e dispiegamento reale.
2. BiFlow: Un nuovo framework di flow matching a doppio flusso che risolve congiuntamente il problema del denoising storico e della previsione futura, sfruttando le semantiche pulite ricostruite per stabilizzare la previsione.
3. EgoAnchor: Un meccanismo innovativo per la distillazione di prior di intento basati sulla storia, che modula le caratteristiche del decoder per resistere a input parziali o corrotti.
4. Validazione Empirica: Dimostrazione empirica che i metodi attuali falliscono in scenari realistici ego-centrici e che un approccio consapevole del rumore è essenziale per la navigazione robotica robusta.

5. Significato e Impatto

Questo lavoro è fondamentale per il progresso della robotica mobile e dei veicoli autonomi in ambienti umani.

• Realtà del Dispiegamento: Sposta il focus dalla previsione in condizioni di laboratorio ideali a scenari realistici dove i sensori sono imperfetti.
• Robustezza: Fornisce una soluzione architetturale che non si limita a "correggere" i dati mancanti (come tentano di fare alcuni metodi precedenti), ma impara a modellare l'intera distribuzione del rumore e delle interazioni sociali.
• Fondamento Futuro: Il benchmark e il modello offrono una base critica per lo sviluppo di sistemi di navigazione più sicuri e affidabili, capaci di operare in ambienti densi e dinamici dove le occlusioni e gli errori di tracciamento sono la norma, non l'eccezione.

In sintesi, il paper dimostra che per una previsione di traiettoria realmente robusta, i modelli devono essere addestrati e valutati su dati che riflettano le imperfezioni percettive del mondo reale, e propone un'architettura efficace per gestire tali sfide.