Sintesi Tecnica: FlowMo-WM

Problema

I modelli di mondo visivi condizionati all'azione standard spesso assumono che il movimento futuro sia determinato principalmente dagli input di controllo immediati. Tuttavia, in scenari del mondo reale che coinvolgono veicoli di superficie acquatici e oggetti galleggianti, gli stati futuri sono significativamente influenzati dal momento dell'oggetto (inerzia) e dal drift ambientale nascosto (ad esempio, correnti d'acqua, vento) che non sono direttamente osservabili da un singolo fotogramma visivo.

Gli approcci attuali faticano in questi contesti perché:

1. Osservabilità Parziale: Un'unica immagine rivela la posa, ma non lo stato completo (velocità, momento o flusso della corrente) necessario per predire l'evoluzione futura.
2. Dinamiche Nascoste: Il drift e il momento sono variabili latenti che devono essere inferite dalla storia delle azioni e delle osservazioni, eppure molti modelli esistenti non separano esplicitamente le dinamiche controllabili dalle variazioni ambientali esogene.
3. Errore a Lungo Orizzonte: Piccoli errori nella stima del momento nascosto o del drift si accumulano nel tempo, portando a significative imprecisioni nella pianificazione e nella predizione a lungo orizzonte, anche se le predizioni a breve termine appaiono accurate.

Metodologia: FlowMo-WM

Gli autori propongono FlowMo-WM, un modello di mondo visivo latente end-to-end addestrabile, progettato per inferire il movimento degli oggetti e il drift ambientale nascosto senza una supervisione diretta di campi di flusso o sensori di velocità.

Architettura

Il modello fattorizza la cronologia immagine-azione in due rami temporali distinti:

1. Stato a Breve Storia ($z_t$): Uno stato latente derivato dalle più recenti $K_z=8$ coppie immagine-azione. Questo ramo cattura il movimento centrato sull'oggetto, inclusi posa, moto simile alla velocità, ritardo dell'attuatore e risposta recente al controllo.
2. Contesto a Lunga Storia ($c_t$): Un contesto latente derivato da una cronologia più lunga e con stride (32 passi con stride 4). Questo ramo riassume le influenze esogene che variano lentamente, specificamente il drift ambientale nascosto inferito dalle discrepanze accumulate tra il moto comandato e quello osservato.

Transizione Latente e Design del Residuo

L'innovazione principale risiede nella funzione di transizione latente, che utilizza una transizione residua a contesto zero per separare le dinamiche di base dagli effetti del drift:
$$z_{t+1} = z_t + F_\theta(z_t, a_t) + R_\theta(z_t, a_t, c_t) - R_\theta(z_t, a_t, 0)$$

• $F_\theta$: Modella le dinamiche di base condizionate dall'azione.
• $R_\theta$: Modella gli effetti del drift dipendenti dal contesto.
• Sottrazione del Contesto Zero: Sottraendo $R_\theta(z_t, a_t, 0)$, il modello assicura che quando il contesto $c_t$ viene azzerato, il contributo del drift venga esattamente rimosso. Ciò consente studi di ablazione puliti in cui la componente del drift può essere isolata senza alterare la logica di transizione di base.

Addestramento e Input

• Input: Il modello riceve solo immagini RGB top-down pulite (concatenate con mappe di coordinate) e cronologie di azioni. Non riceve vettori di flusso, target di velocità, sensori di corrente o stati privilegiati del simulatore.
• Target: Il modello predice pose normalizzate future ($x, y, \cos\theta, \sin\theta$) piuttosto che ricostruire immagini future.
• Funzione di Perdita: L'addestramento minimizza una perdita di rollout della posa a 60 passi, combinata con la ricostruzione della posa corrente e le perdite di delta del moto.

Contributi Chiave

1. Formulazione: Una formulazione di modellazione del mondo visivo in cui il momento dell'oggetto e il trasporto ambientale sono inferiti esclusivamente dalla cronologia immagine-azione, senza etichette di flusso esplicite.
2. Fattorizzazione: Un'innovativa architettura di fattorizzazione temporale breve/lunga accoppiata con una transizione residua a contesto zero, che separa efficacemente le dinamiche controllabili dal drift ambientale che varia lentamente.
3. Valutazione: Valutazione completa in compiti di veicoli di superficie acquatici influenzati dal flusso, inclusi la predizione in loop aperto, la pianificazione basata sul campionamento, le ablazioni del contesto al tempo di predizione e l'analisi della rappresentazione tramite probe lineari congelati.

Risultati Sperimentali

Il modello è stato valutato in un simulatore 2D acquatico con morfologie di veicoli randomizzate (barche a doppio propulsore e triangolari), parametri fisici e dieci diverse famiglie di campi di flusso (ad esempio, uniforme, vortice, taglio, turbolento).

Accuratezza della Predizione

• Performance a Lungo Orizzonte: FlowMo-WM supera significativamente i baseline con parametri corrispondenti (LeWorldModel, PlaNet/RSSM, TD-MPC2) nella predizione a lungo orizzonte.
  • All'orizzonte 20: FlowMo-WM ha ottenuto un errore di posizione di 0.151 rispetto a 0.223 del baseline più vicino (TD-MPC2).
  • All'orizzonte 60: FlowMo-WM ha ottenuto 0.344 rispetto a 0.426 del baseline più vicino (PlaNet/RSSM).
  • Ciò rappresenta circa il 32% e il 19% in meno di errore di posizione, rispettivamente.
• Ablazioni del Contesto:
  • Azzeramento del Contesto: Rimuovere il contesto inferito ($c_t=0$) ha aumentato drasticamente gli errori (pos@60 è salito a 0.840), confermando che il contesto è critico per la stabilità sotto drift.
  • Mescolamento del Contesto: L'uso del contesto di un campione diverso ha ulteriormente degradato le prestazioni (pos@60 è salito a 1.100), provando che il modello si affida allo specifico contesto inferito piuttosto che a una generica capacità latente.

Performance di Pianificazione

• Tasso di Successo: Nei compiti di pianificazione a valle (raggiungimento target, mantenimento della posizione, waypoint), FlowMo-WM ha raggiunto un tasso di successo del 98.5% in tutti gli episodi, superando gli altri modelli di mondo appresi (91.0%–93.1%).
• Efficienza: I pianificatori di FlowMo-WM richiedono meno energia e meno passi per raggiungere gli obiettivi rispetto ai baseline, particolarmente in condizioni di flusso difficili.
• Robustezza: La barca triangolare (più attuata) è stata meno sensibile alle variazioni di flusso rispetto alla barca a doppio propulsore sotto-attuata, ma FlowMo-WM ha mantenuto alte prestazioni in entrambe le morfologie.

Analisi della Rappresentazione

• Decodifica del Momento: I probe lineari congelati hanno mostrato che il momento è linearmente decodificabile dallo stato latente combinato ($R^2 = 0.667$), nonostante la velocità non sia mai stata un target di addestramento.
• Codifica del Drift: Il flusso locale e il drift non erano banalmente decodificabili linearmente, suggerendo che il ramo del contesto codifica un codice latente utile al compito per la predizione piuttosto che memorizzare un vettore fisico diretto della corrente.

Significato e Affermazioni

L'articolo afferma che FlowMo-WM affronta un fallimento specifico dei modelli di mondo visivi condizionati all'azione: l'incapacità di tenere conto del momento nascosto e del drift ambientale.

• Ambito Modesto: Gli autori dichiarano esplicitamente che gli esperimenti attuali sono limitati a osservazioni top-down renderizzate in modo pulito in un simulatore 2D. Riconoscono che l'estensione a video del mondo reale richiederebbe la gestione di cambiamenti di visuale, ingombri, incertezza di segmentazione e disturbi 3D.
• Limiti di Generalizzazione: Il modello non è previsto che abbia successo se il flusso ambientale supera l'autorità di controllo del veicolo o se le caratteristiche del flusso cadono al di fuori della distribuzione di addestramento.
• Intuizione Centrale: I risultati suggeriscono che, per gli ambienti fisici aperti, i modelli di mondo visivi devono rappresentare non solo il controllo comandato, ma anche come gli oggetti continuano a muoversi a causa dell'inerzia e come l'ambiente non osservato li trasporta. Il contesto ambientale inferito è funzionalmente necessario per una predizione stabile a lungo orizzonte in tali ambienti.