Riepilogo Tecnico: PACT-WAM

Problema

Le policy di manipolazione robotica richiedono due forme di informazione temporale: la storia per fornire contesto al movimento e alle interazioni precedenti, e la previsione visiva per predire i cambiamenti di stato e valutare le azioni proposte. Sebbene i Modelli Mondo-Azione (WAMs) colleghino efficacemente storia, azioni e osservazioni future, essi affrontano un significativo collo di bottiglia computazionale. Le rappresentazioni dense delle osservazioni passate e future comportano costi di elaborazione sostanziali; ad esempio, codificare 16 frame di storia con 64 token ciascuno richiede 1.024 token per vista, e le previsioni multi-step aggiungono sequenze di latenza visiva separate. I metodi esistenti affrontano spesso queste sfide isolatamente: comprimendo la storia, utilizzando la previsione visiva modulare con controller separati o omettendo la generazione del futuro durante l'inferenza. La sfida principale è progettare rappresentazioni compatte che preservino la copertura storica e forniscano stati indipendentemente decodificabili ad ogni transizione, stabilendo al contempo un protocollo per utilizzare queste previsioni per guidare l'esecuzione senza un overhead computazionale proibitivo.

Metodologia: PACT-WAM

Gli autori propongono PACT-WAM (Predicting Actions and Visual Foresight with Compact Temporal Encoding), un modello mondo-azione che genera congiuntamente una traiettoria di azioni a 16 step e la sua corrispondente previsione visiva multi-vista attraverso il campionamento di flow condizionale. L'architettura si basa su tre scelte progettuali chiave:

1. Codifica della Storia Gerarchica

Inveve di una codifica uniforme, PACT-WAM impiega un'allocazione della storia basata sulla recenza. Assegna rappresentazioni spaziali grossolane alle osservazioni più vecchie e rappresentazioni più fini a quelle più recenti.

• Meccanismo: Utilizzando un backbone DINOv3 ViT-B/16 congelato, il modello elabora 16 frame di storia. Gli 8 frame più vecchi sono compressi a 4 token per vista, i 6 centrali a 16 token e gli ultimi 2 a 64 token.
• Efficienza: Questo mantiene tutte le 16 osservazioni utilizzando solo 256 token per vista, una riduzione del 75% rispetto alla codifica densa (1.024 token) pur mantenendo un'alta copertura temporale.
• Integrazione: Queste caratteristiche compresse vengono unite e proiettate nel modello linguistico Qwen3-VL-4B per formare un contesto condiviso $h_t$ insieme all'istruzione del compito.

2. Generazione Congiunta di Flusso Azione-Visivo

PACT-WAM utilizza un transformer di flusso condiviso con attenzione causale per transizione per aggiornare congiuntamente l'azione continua e gli stati visivi.

• Latenti Visivi: Le immagini future sono rappresentate da latenti TiTok-VAE continui ($K=32$ posizioni per immagine) senza downsampling temporale. Ciò garantisce che ogni azione sia accoppiata a uno stato visivo successivo indipendentemente decodificabile.
• Backbone Condiviso: Il transformer riceve stati di azione e visivi rumorosi, un embedding di tempo del flusso e il contesto fisso. Utilizza una maschera block-causale in cui le query nel blocco $j$ (che rappresenta la $j$-esima transizione) possono prestare attenzione a tutte le posizioni nei blocchi $k \leq j$.
• Doppia Testa: Due teste di velocità specifiche per modalità ($g_a$ per le azioni, $g_v$ per i visivi) predicono le velocità in spazi normalizzati. Le modalità scambiano informazioni durante il campionamento attraverso la loro dipendenza condivisa dagli stati rumorosi entro il prefisso temporale consentito.
• Addestramento: Il modello è addestrato utilizzando il conditional flow matching con un obiettivo di regressione della velocità a percorso lineare, ottimizzando i rami di compressione, il percorso del contesto, il transformer di flusso e le teste di output, mantenendo congelati gli encoder/decoder di DINOv3 e TiTok-VAE.

3. Revisione della Proposta (PR)

Per guidare l'esecuzione, PACT-WAM introduce un meccanismo di Revisione della Proposta (Proposal Review) utilizzando un Modello Vision-Language (VLM).

• Processo: Quattro richieste parallele al VLM valutano i prefissi di previsione annidati a 4, 8, 12 e 16 step. Valutano il progresso coerente con il compito e rilevano fallimenti visibili (ad esempio, disallineamento, collisioni).
• Logica di Esecuzione: Il controller seleziona il prefisso approvato consecutivamente più grande al di sotto di qualsiasi veto segnalato. Se una proposta viene rifiutata, il sistema esegue un ricampionamento congiunto (fino a tre tentativi) entro un budget limitato. Se tutti i tentativi falliscono, l'episodio termina.

Contributi Chiave

1. Allocazione della Storia Basata sulla Recenza: Il paper introduce una strategia che alloca 256 token per vista dando priorità ai frame recenti. Sul benchmark LIBERO, questo supera la codifica uniforme degli stessi 16 frame (98,6% contro 87,5% di successo) e raggiunge prestazioni comparabili alla codifica densa (98,0%) con il 75% in meno di token di storia.
2. Generazione Congiunta in Spazio Latente Compatto: PACT-WAM genera congiuntamente traiettorie di azioni e stati visivi in uno spazio latente compatto per immagine, fornendo una previsione indipendentemente decodificabile ad ogni transizione fisica. Ciò consente al meccanismo di Revisione della Proposta di validare i prefissi di esecuzione, costruendo sui framework unificati mondo-azione integrando la codifica della storia compatta e la revisione della proposta.
3. Prestazioni con Potenziamento al Tempo di Test: La policy base raggiunge alti tassi di successo in benchmark di simulazione e nel mondo reale. L'aggiunta della Revisione della Proposta fornisce un significativo incremento al tempo di test, migliorando la robustezza senza riaddestrare la policy centrale.

Risultati Sperimentali

Il modello è stato valutato su LIBERO, RoboTwin 2.0 e una piattaforma reale AgileX Piper.

• LIBERO (Simulazione):
  • Senza PR: 98,6% di successo medio.
  • Con PR: 99,5% di successo medio (raggiungendo il 100% sulle suite Object e Goal).
• RoboTwin 2.0 (Simulazione):
  • Senza PR: 92,3% di successo medio su 50 compiti bimanuali.
  • Con PR: 93,4% di successo medio.
• Piper Reale:
  • Senza PR: 78,0% di successo medio tra compiti di Sorting, Handover e Cleanup.
  • Con PR: 86,7% di successo medio.
• Studi di Ablazione:
  • Storia: La gerarchia di token 8:6:2 supera significativamente la codifica uniforme e quella densa in termini di efficienza e successo.
  • Generazione Congiunta: L'addestramento congiunto di azioni e visivi migliora il successo del controllo (98,6%) rispetto alle varianti solo-azione (93,6%) o con ausilio visivo (96,4%).
  • Capacità Visiva: Aumentare la capacità latente da $K=32$ a $K=64$ migliora la fedeltà della previsione (PSNR, SSIM) ma riduce leggermente il successo del controllo (97,3% vs 98,6%), suggerendo un compromesso in cui il valore predefinito $K=32$ bilancia prestazioni e costo computazionale.
  • Revisione della Proposta: La PR filtra efficacemente le traiettorie fallite, con le anteprime predette che riducono i tassi di falso rifiuto rispetto all'uso delle sole osservazioni correnti.

Significato e Affermazioni

Il paper afferma che PACT-WAM affronta con successo il compromesso tra costo di rappresentazione e disponibilità di previsione visiva per le decisioni di esecuzione. Combinando la codifica della storia gerarchica con latenti visivi compatti e decodificabili, il modello consente il campionamento congiunto di azioni e previsioni temporalmente accoppiate. Questa architettura permette un protocollo di Revisione della Proposta che guida l'esecuzione validando i prefissi annidati, migliorando così la robustezza sia in simulazione che in contesti reali.

Gli autori sottolineano che il loro approccio preserva le necessarie informazioni temporali per la selezione dell'azione riducendo drasticamente il numero di token richiesti per la storia. Notano che, sebbene la policy base sia competitiva, l'integrazione della previsione visiva con un meccanismo di revisione basato su VLM offre una via distinta per migliorare l'affidabilità in compiti di manipolazione complessi. Il lavoro evidenzia che una maggiore fedeltà della previsione non sempre correla con un maggiore successo del controllo, suggerendo che l'utilità della previsione per il processo decisionale è più critica della pura qualità di ricostruzione.

Limitazioni notate dagli autori: L'attuale sistema utilizza un'allocazione basata sulla recenza fissa che non si adatta alla rilevanza del compito, un orizzonte fisso di 16 step e un processo di revisione che potrebbe mancare fallimenti brevi tra i checkpoint. Il lavoro futuro suggerisce di esplorare la compressione adattiva al compito e la generazione a orizzonte variabile.