Riassunto Tecnico: Uni-Plan – Pianificazione con Modelli Multimodali Unificati

Problema

I recenti progressi nei Large Language Models (LLM) e nei Vision-Language Models (VLM) hanno stimolato l'interesse nell'utilizzarli per il processo decisionale e la pianificazione. Tuttavia, gli approcci esistenti si affidano prevalentemente al ragionamento basato sul testo, dove gli input visivi vengono elaborati spesso solo nella fase iniziale. Questa limitazione unimodale restringe la capacità del modello di rappresentare accuratamente lo stato corrente e di ragionare sulle dinamiche spaziali o visive durante l'intero processo di pianificazione. Inoltre, alcuni lavori tentano di integrare le immagini invocando strumenti esterni (ad esempio, l'esecuzione di codice per la creazione di grafici o modelli di visione separati per la segmentazione), ma questi metodi mancano di adattabilità e generalizzazione. Inoltre, i Unified Multimodal Models (UMM), che supportano nativamente sia input che output multimodali, hanno mostrato potenziale ma soffrono di una "maledizione dell'orizzonte" (curse of the horizon). Nello specifico, faticano ad agire come modelli di dinamica fedeli, spesso fallendo nel predire osservazioni dello stato successivo accurate, in particolare in ambienti stocastici o quando sono richiesti effetti causali precisi.

Metodologia

Gli autori propongono Uni-Plan, un framework di pianificazione che sfrutta un singolo Unified Multimodal Model (UMM) per fungere simultaneamente da quattro ruoli distinti: (i) una policy, (ii) un modello di dinamica, (iii) un auto-discriminatore e (iv) una funzione di valore. Il framework è costruito sul modello BAGEL, un modello UMM open-source allo stato dell'arte.

Componenti Core

1. UMM come Modello di Dinamica: Il sistema richiede che il modello predica l'osservazione visiva successiva ($o_{h+1}$) condizionata dall'osservazione corrente ($o_h$) e da un'azione testuale ($a_h$). Sebbene gli standard UMM possano eseguire edizioni di immagini di base, spesso falliscono nel mantenere la coerenza causale in scenari complessi o stocastici (ad esempio, il riposizionamento di oggetti con molteplici esiti validi).
2. Filtraggio Auto-Discriminato: Per affrontare l'imprecisione delle predizioni della dinamica, gli autori introducono un nuovo meccanismo di filtraggio. L'UMM è addestrato congiuntamente per l'inferenza della dinamica inversa ($P^{-1}_{UMM}(o_h, o_{h+1}) \to a_h$). Durante la pianificazione, il modello genera molteplici osservazioni candidate successive. Successivamente, opera in modalità di dinamica inversa per inferire l'azione che porterebbe dallo stato corrente a ciascuna candidata. Le candidate vengono mantenute solo se l'azione inferita corrisponde all'azione effettivamente eseguita. Questo processo, combinato con controlli di coerenza del conteggio degli oggetti, filtra efficacemente le transizioni allucinate o non valide.
3. Algoritmi di Pianificazione:
   • Pianificazione Open-Loop: Utilizzata per ambienti completamente osservabili. La policy (un UMM con prompting) propone azioni candidate, e il modello di dinamica le simula. Viene eseguito un beam search nello spazio degli stati immaginati, dove gli stati successori vengono filtrati tramite il filtraggio auto-discriminato e valutati da una funzione di valore (un UMM fine-tuned che predice i passi rimanenti verso l'obiettivo).
   • Pianificazione Closed-Loop: Utilizzata per ambienti parzialmente osservabili. Ispirato al paradigma "proposta, simulazione e revisione", la policy genera molteplici sequenze di azioni candidate. Il modello di dinamica simula queste sequenze fino al loro orizzonte, e la funzione di valore seleziona la sequenza più promettente. L'agente esegue solo i primi $L$ passi, osserva il nuovo stato e ri-pianifica, consentendo una correzione continua tramite feedback.

Strategia di Addestramento

A differenza di molti pianificatori basati su VLM che richiedono dimostrazioni di esperti per il fine-tuning, Uni-Plan è addestrato su traiettorie non esperte. I modelli di dinamica forward e inversa sono sottoposti a fine-tuning su dati di transizione, mentre la componente della policy non richiede fine-tuning. La funzione di valore è addestrata su dati etichettati per stimare il numero di passi verso un obiettivo.

Contributi Chiave

1. Filtraggio Auto-Discriminato: Una tecnica innovativa in cui il modello generativo agisce come proprio discriminatore per filtrare le predizioni di dinamica non valide, migliorando significativamente l'affidabilità del modello di dinamica senza richiedere strumenti di verifica esterni.
2. Framework di Pianificazione Unificato (Uni-Plan): Un sistema in cui un singolo UMM integra i ruoli di policy, modello di dinamica, auto-discriminatore e funzione di valore, consentendo una pianificazione integrata attraverso contenuti visivi generati.
3. Prestazioni Superiori e Scalabilità: Il framework dimostra miglioramenti sostanziali rispetto ai metodi basati su VLM in compiti di decision-making incarnato (embodied). Raggiunge alti tassi di successo senza dimostrazioni di esperti e mostra una forte scalabilità dei dati, superando i VLM anche quando addestrati sulla stessa quantità di dati non esperti.

Risultati Sperimentali

Gli autori hanno valutato Uni-Plan su sei compiti di decision-making incarnato che spaziano dalla navigazione 2D, alla manipolazione e alla navigazione 3D (inclusi FrozenLake, Mini-BEHAVIOR, Language Table, Real World, Active Recognition e Image-Goal Navigation).

• Prestazioni: Uni-Plan ha ottenuto tassi di successo quasi del 30% superiori rispetto ai metodi di pianificazione basati su VLM open-source (inclusi varianti CoT) in tutti i compiti. Ha inoltre eguagliato le prestazioni del potente modello closed-source GPT-5-Thinking.
• Studi di Ablazione:
  • Modello di Dinamica: Il modello BAGEL fine-tuned ha agito come un modello di dinamica altamente generalizzabile, superando significativamente i modelli addestrati da zero su layout Out-of-Distribution (OOD).
  • Filtraggio: Il filtraggio auto-discriminato si è rivelato critico; rimuoverlo ha portato a un calo significativo dei tassi di successo della pianificazione, confermando che migliori algoritmi di ricerca non possono compensare un modello di transizione scadente.
  • Efficienza dei Dati: Uni-Plan ha raggiunto prestazioni elevate con soli 500 traiettorie, mentre i baseline VLM non sono riusciti a ottenere risultati competitivi nemmeno con quattro volte quella quantità di dati.
• Efficienza: Utilizzando un singolo modello per generare immagini anziché video (come nel caso del Video Language Planning), Uni-Plan ha ottenuto un incremento di velocità di circa 10× nel tempo di inferenza rispetto ai baseline di pianificazione basati su video.

Significato e Rivendicazioni

Il paper sostiene che Uni-Plan rappresenti un cambiamento dall'uso delle immagini generate meramente per la visualizzazione delle tracce di ragionamento all'uso delle stesse come intermedi per il ragionamento controfattuale. Simulando molteplici futuri possibili sotto diverse azioni, il modello valuta attivamente traiettorie alternative invece di limitarsi a esporre il proprio processo di pensiero.

Gli autori affermano che questo lavoro pone le basi per la ricerca futura nel ragionamento e nel decision-making con gli UMM. Evidenziano come la capacità di unificare policy, dinamica e funzioni di valore all'interno di un singolo modello, rinforzata dal filtraggio auto-discriminato, offra un approccio più robusto e data-efficient rispetto ai paradigmi attuali centrati sul testo o dipendenti da strumenti esterni. Il lavoro suggerisce che le intrinseche capacità di generazione multimodale degli UMM, se opportunamente sfruttate, possono rafforzare significativamente le prestazioni del ragionamento visivo e della pianificazione.