🤖 AI

RetroMotion: Retrocausal Motion Forecasting Models are Instructable

RetroMotion è un modello di previsione del movimento basato su transformer che scompone le previsioni complesse multi-agente in distribuzioni marginali e congiunte utilizzando un flusso di informazioni retrocausale, ottenendo prestazioni all'avanguardia su dataset principali e supportando in modo unico l'adesione a istruzioni adattive alla scena.

Autori originali: Royden Wagner, Omer Sahin Tas, Felix Hauser, Marlon Steiner, Dominik Strutz, Abhishek Vivekanandan, Jaime Villa, Yinzhe Shen, Carlos Fernandez, Christoph Stiller

Pubblicato 2026-04-30

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Royden Wagner, Omer Sahin Tas, Felix Hauser, Marlon Steiner, Dominik Strutz, Abhishek Vivekanandan, Jaime Villa, Yinzhe Shen, Carlos Fernandez, Christoph Stiller

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere in piedi a un incrocio affollato, osservando auto, pedoni e ciclisti muoversi. Prevedere dove ognuno andrà nei prossimi secondi è incredibilmente difficile. Se provi a indovinare il percorso esatto di ogni singola persona contemporaneamente, il numero di possibilità esplode, come cercare di risolvere un puzzle in cui ogni pezzo può assumere un milione di forme diverse.

Il documento "RetroMotion" introduce un nuovo modo per i computer di risolvere questo puzzle. Ecco la spiegazione del loro approccio utilizzando semplici analogie:

1. La Danza in Due Atti: Solista vs Gruppo

Invece di cercare di prevedere l'intera folla caotica tutto in una volta, gli autori dividono il problema in due parti:

L'Atto Solista (Previsioni Marginali): Prima, il computer osserva ogni persona individualmente. Si chiede: "Se questa auto fosse sola sulla strada, dove andrebbe?". Crea un "piano solista" per tutti.
La Danza di Gruppo (Previsioni Congiunte): Successivamente, il computer esamina le persone che interagiscono (come un'auto in attesa che un pedone attraversi). Prende quei "piani solista" e li rimixa per vedere come si adattano tra loro.

Il Trucco Magico (Retrocausalità):
Di solito, prevedi il futuro basandoti sul passato. Ma questo modello utilizza un trucco intelligente chiamato "retrocausalità". Pensaci come alla scrittura di una storia. Di solito, scrivi l'inizio, poi il mezzo, poi la fine. Ma questo modello scrive prima la fine (basandosi sui piani solista) e poi usa quella fine per riscrivere l'inizio della storia di gruppo.

Perché farlo? È come rendersi conto: "Oh, se quell'auto finisce per girare a sinistra, deve aver iniziato a rallentare prima". Conoscendo la destinazione, il modello può comprendere meglio l'inizio dell'interazione. Questo rende le ipotesi soliste iniziali meno stressanti da perfezionare, perché il passaggio della "danza di gruppo" può correggere eventuali piccoli errori.

2. La Mappa "Sfocata" (Incertezza)

Quando si prevede dove sarà un'auto, non si può disegnare semplicemente una singola linea sottile. È necessario mostrare una "nuvola" di possibilità perché il conducente potrebbe sterzare o frenare.

Il Vecchio Modo: La maggior parte dei modelli assume che questa nuvola sia un cerchio perfetto (distribuzione Normale) o una forma specifica a diamante (distribuzione di Laplace).
Il Modo RetroMotion: Gli autori dicono: "Non forziamo la nuvola in una forma specifica". Invece, utilizzano una forma flessibile chiamata Distribuzione di Potenza Esponenziale.
L'Analogia: Immagina di cercare di far entrare una nuvola di fumo in un barattolo di vetro. Alcune nuvole sono rotonde, alcune piatte, alcune appuntite. Invece di forzare il fumo in un barattolo rotondo, questo modello modella il barattolo per adattarlo perfettamente al fumo. Hanno scoperto che queste "nuvole di fumo" assomigliano solitamente un po' a diamanti (Laplace) ma con un tocco di rotondità mescolato, il che le rende molto più accurate.

3. Il Trucco della Compressione (DCT)

Prevedere un percorso per 8 secondi comporta centinaia di punti dati. Memorizzare tutti quei punti è pesante e lento.

L'Analogia: Immagina di avere una corda lunga e ondulata. Invece di memorizzare la posizione esatta di ogni pollice della corda, la descrivi usando poche onde semplici (come un accordo musicale).
Il modello utilizza uno strumento matematico chiamato Trasformata Discreta del Coseno (DCT) per comprimere il percorso in poche "onde". Questo rende il computer più veloce e ignora piccoli tremori rumorosi che non contano, concentrandosi solo sul movimento reale e fluido.

4. La Funzione "Istruibile" (La Sorpresa)

La parte più sorprendente del documento è che il modello può ricevere istruzioni, anche se i ricercatori non gli hanno insegnato esplicitamente a farlo.

L'Esperimento: I ricercatori hanno preso la previsione del modello per un'auto e hanno modificato manualmente la fine del percorso per dire: "Vai in questo punto specifico" (un'istruzione basata su un obiettivo).
Il Risultato: Il modello non ha semplicemente seguito ciecamente il nuovo percorso. Ha osservato la nuova istruzione e ha detto: "Ok, se l'auto deve andare lì, deve aver iniziato a girare prima", e ha regolato l'intero percorso per renderlo coerente con le regole del traffico e le altre auto.
Il Test "Gira a Sinistra": Hanno persino provato a forzare un'auto a "girare a sinistra" contro il traffico in arrivo (il che è illegale). Il modello ha osservato l'istruzione, ha capito che era pericolosa e ha detto: "No, non posso farlo", e ha regolato il percorso dell'auto per rimanere nella sua corsia invece.
La Conclusione: Addestrando semplicemente il modello a essere bravo a prevedere il traffico, ha accidentalmente imparato ad ascoltare i comandi e ad adattarli al mondo reale.

Riepilogo

RetroMotion è un sistema di previsione del traffico che:

Scompone grandi problemi in piccoli piani solisti, poi li mescola in un piano di gruppo.
Utilizza un trucco "indietro nel tempo" (usare la fine per correggere l'inizio) per rendere il piano di gruppo più intelligente.
Utilizza "nuvole" flessibili per prevedere l'incertezza, invece di forme rigide.
Comprime i dati per funzionare velocemente.
Sorprendentemente, ha imparato ad ascoltare le istruzioni umane e ad adattarle alla scena, tutto senza essere stato esplicitamente insegnato a seguire gli ordini.

Gli autori hanno testato questo su dati di guida reali (Waymo, Argoverse, V2X) e hanno scoperto che prevede il traffico meglio dei metodi precedenti e gestisce interazioni complesse molto bene.

1. Enunciato del Problema

La previsione del movimento per la guida autonoma comporta la previsione delle traiettorie future di più utenti della strada (agenti). Questo compito affronta due sfide principali:

Complessità Esponenziale: La distribuzione congiunta delle traiettorie cresce esponenzialmente con il numero di agenti. Modellare l'intera distribuzione congiunta per tutti gli agenti in una scena è computazionalmente proibitivo.
Modellazione delle Interazioni: Sebbene le distribuzioni marginali (prevedere ogni agente indipendentemente) siano efficienti, non riescono a catturare le interazioni complesse tra gli agenti. Al contrario, i metodi esistenti di modellazione congiunta soffrono spesso di un'elevata latenza di inferenza o sono limitati a un piccolo numero di agenti.
Mancanza di Controllo: I modelli standard di previsione del movimento sono tipicamente "scatole nere" che non possono essere facilmente guidati da istruzioni di alto livello (ad esempio, "svolta a sinistra" o "cedi il passo ai pedoni") senza un nuovo addestramento.

2. Metodologia

Gli autori propongono RetroMotion, un framework basato su transformer che scompone la previsione del movimento multi-agente in componenti marginali e congiunte, collegate da un unico flusso di informazione retrocausale.

A. Strategia di Scomposizione

Il modello separa il compito in due fasi:

Previsione Marginale: Un decoder predice distribuzioni di traiettorie indipendenti per tutti gli agenti nella scena.
Previsione Congiunta: Un secondo decoder genera distribuzioni congiunte specificamente per gli agenti interagenti.
- Flusso Retrocausale: Invece di predire le traiettorie congiunte direttamente dagli input grezzi, il modello ri-codifica le distribuzioni marginali per generare distribuzioni congiunte. Questo crea un flusso di informazioni dal "futuro" (previsioni marginali) indietro alla fase di modellazione congiunta "precedente".
- Modellazione Pairwise: Il decoder congiunto trasforma le traiettorie in un sistema di riferimento locale e utilizza meccanismi di attenzione per modellare le interazioni. Approssima l'intera distribuzione congiunta ( $K^2$ combinazioni) concentrandosi sulle coppie di query diagonali, comprimendo le informazioni in $K$ coppie, pur permettendo alle coppie fuori diagonale di aggiornare quelle diagonali tramite attenzione.

B. Modellazione Probabilistica

Distribuzioni di Potenza Esponenziale Comprese: Il modello non assume distribuzioni Gaussiane o di Laplace standard. Invece, modella l'incertezza posizionale utilizzando una miscela di distribuzioni Normali bivariato e di Laplace (approssimando una distribuzione di Potenza Esponenziale).
Compressione DCT: Per ridurre la complessità computazionale e rimuovere il rumore ad alta frequenza, i parametri di posizione (medie $\mu$ ) delle distribuzioni vengono compressi utilizzando le Trasformate Discrete del Coseno (DCT). Il modello predice un piccolo insieme di coefficienti DCT, che vengono poi ricostruiti tramite la Trasformata Inversa del Coseno (IDCT) per formare l'intera traiettoria.

C. Architettura

Encoder della Scena: Processa input multimodali (traiettorie passate, dati delle corsie, semafori) utilizzando polilinee e encoder transformer per generare embedding di contesto globale della scena.
Due Decoder:
- Decoder Marginale: Predice le densità di traiettoria per agente.
- Decoder Congiunto: Prende le caratteristiche marginali ri-codificate e il contesto della scena per predire le distribuzioni di interazione congiunte.
Funzione di Perdita: Addestrato tramite Massima Verosimiglianza (MLE) utilizzando una perdita multi-task che combina i log-verosimiglianza negativi sia per le previsioni marginali che per quelle congiunte, ottimizzato solo sulle traiettorie più vicine alla verità fondamentale (ground truth).

3. Contributi Chiave

Flusso di Informazione Retrocausale: Il metodo collega le previsioni marginali e congiunte ri-codificando le previsioni marginali. Questo riduce il carico sulle previsioni marginali iniziali e, crucialmente, crea un'interfaccia per emettere istruzioni. Modificando le traiettorie marginali prima della fase di decodifica congiunta, il modello può adattare le sue previsioni congiunte per seguire obiettivi specifici.
Distribuzioni di Potenza Esponenziale Comprese: Gli autori dimostrano che modellare l'incertezza con distribuzioni di potenza esponenziale apprese (approssimate come miscele Normali-Laplace) supera le assunzioni standard Normali o di Laplace.
Inseguimento di Istruzioni Emergente: Il paper mostra che l'addestramento standard alla previsione del movimento abilita implicitamente il modello a seguire istruzioni basate su obiettivi e direzionali senza un addestramento esplicito alle istruzioni. Il modello adatta comandi di base (ad esempio, "svolta a sinistra") al contesto della scena (ad esempio, evitando il traffico in arrivo).
Efficienza e Scalabilità: Il metodo supporta la previsione per fino a 8 agenti con una bassa latenza di inferenza (~60ms su GPU A6000), significativamente più veloce dei metodi di modellazione congiunta basati su diffusione.

4. Risultati Sperimentali

Il modello è stato valutato sui dataset Waymo Open Motion, Argoverse 2 e V2X-Seq.

Sfida di Previsione delle Interazioni Waymo:
- RetroMotion ha raggiunto una mAP di 0.2519 (configurazione ibrida SMoE), superando basi solide come MTR++ (0.2326) e QCNeXt (0.2352).
- Ha dimostrato che la modellazione congiunta migliora significativamente rispetto al trattamento delle previsioni marginali come previsioni congiunte (la mAP è scesa da 0.2441 a 0.1797 quando la decodifica congiunta è stata rimossa).
Generalizzazione Cross-Dataset:
- Addestrato esclusivamente su dati Waymo, RetroMotion si è generalizzato efficacemente ad Argoverse 2 e V2X-Seq, superando modelli specializzati come Wayformer e RedMotion in termini di minFDE e Tasso di Manca (Miss Rate).
Inseguimento di Istruzioni:
- Basato su Obiettivi: La modifica delle traiettorie marginali per corrispondere agli obiettivi desiderati ha ridotto l'errore di spostamento finale (minFDE) del 11.8%.
- Direzionale: Quando è stata data un'istruzione "svolta a sinistra" che violava le regole del traffico (ad esempio, svoltando in corsie in arrivo), il modello ha adattato con successo la traiettoria congiunta per rimanere sulla strada, riducendo i tassi di sovrapposizione con altri agenti del 22% e aumentando la probabilità di rimanere sulla strada del 33%.
Studi di Ablazione:
- L'uso di distribuzioni di Potenza Esponenziale con compressione DCT ha prodotto i migliori risultati (mAP 0.195), superando le distribuzioni Normali (0.172) e di Laplace (0.176) senza compressione.
- L'analisi dei pesi della miscela ha rivelato che le distribuzioni apprese sono prevalentemente simili a Laplace, ma beneficiano di una piccola componente Normale.

5. Significato

RetroMotion rappresenta un passo significativo verso sistemi di guida autonoma interpretabili e interattivi.

Efficienza: Risolve il problema della scalabilità della previsione congiunta decomponendo il problema e utilizzando la ri-codifica retrocausale.
Allineamento Uomo-AI: La scoperta che l'addestramento standard produce capacità di inseguimento delle istruzioni suggerisce che i modelli di previsione del movimento possono naturalmente imparare ad allinearsi all'intento umano. Questo apre la porta agli operatori per guidare il comportamento del veicolo in casi limite o scenari complessi senza ri-addestrare il modello.
Robustezza: L'uso di rappresentazioni probabilistiche compresse rende il modello robusto al rumore specifico del dataset e computazionalmente efficiente per il deployment in tempo reale.