💻 computer science

HaWMPO: Hallucination-Aware World Model-based Policy Optimization for Generalist Robot Policy

Il documento propone HaWMPO, un framework di ottimizzazione della policy basato su un modello del mondo consapevole delle allucinazioni che migliora le policy robotiche generaliste stimando e sopprimendo le allucinazioni di predizione durante i rollout immaginati, migliorando così significativamente i tassi di successo in compiti di manipolazione complessi a lungo termine sia su benchmark che su robot reali.

Autori originali: Zengjue Chen, Peidong Liu, Jiawei Li, Qi Wang

Pubblicato 2026-09-10

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Zengjue Chen, Peidong Liu, Jiawei Li, Qi Wang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

I robot capaci di imparare a eseguire una vasta gamma di compiti, dal sovrapporre blocchi al piegare il bucato, sono da tempo un obiettivo dell'intelligenza artificiale. Per raggiungere questo scopo, i ricercatori hanno sviluppato politiche "generaliste", che sono essenzialmente sistemi simili a cervelli addestrati per comprendere il linguaggio e la visione per decidere come un robot debba muoversi. Tuttavia, insegnare questi sistemi nel mondo reale è lento, costoso e rischioso. Ogni volta che un robot tenta una nuova azione, potrebbe rompere qualcosa o danneggiare se stesso, rendendo il processo di tentativi ed errori pericoloso. Per risolvere questo problema, gli scienziati si sono rivolti ai "modelli del mondo" (world models), ovvero simulatori digitali che permettono ai robot di esercitarsi all'interno di un computer. Questi modelli prevedono cosa accadrà dopo in base alle azioni correnti, creando uno spazio sicuro per l'apprendimento. Eppure, questi simulatori digitali non sono perfetti; man mano che prevedono più lontano nel futuro, spesso iniziano a inventare dettagli mai accaduti, un fenomeno noto come "allucinazione". Se un robot impara da questi scenari finti, potrebbe imparare a eseguire azioni che funzionano nel computer ma che falliscono completamente nel mondo reale.

Un team di ricercatori ha sviluppato un nuovo metodo per aiutare i robot a imparare efficacemente da queste simulazioni digitali imperfette senza essere fuorviati dai loro errori. Chiamano il loro approccio HaWMPO, un sistema progettato per rendere i robot consapevoli di quando il loro campo di addestramento digitale sta mentendo loro. Inveve di trattare ogni scenario immaginato come ugualmente prezioso, il nuovo sistema include una componente speciale che agisce come un ispettore del controllo qualità. Questo ispettore osserva la sequenza di immagini che il simulatore genera e assegna un punteggio che indica quanto sia affidabile tale sequenza. Se il simulatore inizia a scivolare nella fantasia, creando immagini che non corrispondono alle leggi della fisica o all'esito previsto, l'ispetto lo segnala. Il sistema utilizza quindi questa informazione per regolare il processo di apprendimento, dicendo efficacemente al robot di ignorare le parti della simulazione che sembrano troppo inaffidabili e di concentrarsi sulle parti che appaiono realistiche.

I ricercatori hanno testato questo metodo utilizzando un insieme standard di compiti robotici in un ambiente informatico chiamato LIBERO, che consiste nello spostare oggetti in posizioni specifiche. Hanno confrontato il loro nuovo sistema con altri metodi che utilizzano modelli del mondo ma che mancano di questa funzione di controllo qualità. I risultati hanno mostrato un chiaro vantaggio per il nuovo approccio. Nella simulazione, il robot che utilizzava il sistema consapevole delle allucinazioni ha raggiunto un tasso di successo del 63,7 percento, che è significativamente superiore al secondo miglior metodo. Il miglioramento è stato particolarmente evidente nei compiti che richiedono ragionamento spaziale e manipolazione di oggetti, dove la capacità del robot di distinguere tra scenari reali e falsi lo ha aiutato a imparare strategie più robuste. I ricercatori hanno scoperto che, penalizzando il robot quando si affidava a scenari altamente allucinati, il sistema ha impedito al robot di apprendere cattive abitudini che funzionerebbero solo in una simulazione difettosa.

Per garantire che questo metodo funzionasse anche al di fuori del computer, il team lo ha testato su un robot fisico in un ambiente del mondo reale. Hanno assegnato al robot due sfide specifiche: posizionare un fazzoletto in una scatola e mettere delle cuffie su un supporto. Senza il nuovo sistema, il robot completava con successo questi compiti circa il 60 percento delle volte nel compito delle cuffie. Dopo l'applicazione dell'addestramento consapevole delle allucinazioni, il tasso di successo è salito a un AUC di 0,8 in media, con il robot che raggiungeva l'85% nel compito del fazzoletto e il 75% in quello delle cuffie. Questo salto nelle prestazioni dimostra che le lezioni apprese nel mondo digitale erano effettivamente trasferibili al mondo fisico, perché il robot aveva imparato a ignorare il rumore digitale che di solito confonde questi sistemi. I ricercatori hanno osservato che il sistema funziona controllando costantemente la coerenza del futuro simulato, assicurando che il robot impari solo dalle traiettorie che appaiono fisicamente plausibili.

Lo studio evidenzia che la chiave per un migliore apprendimento robotico non è solo avere un simulatore, ma avere un modo per fidarsi di esso. Costruendo un sistema in grado di rilevare quando una simulazione perde il contatto con la realtà, i ricercatori hanno creato un percorso più stabile per il miglioramento dei robot. Sebbene gli attuali test siano stati condotti su compiti relativamente brevi, il successo suggerisce che questo approccio potrebbe essere vitale per missioni più complesse e a lungo termine, dove un robot deve pianificare molti passaggi in avanti. Il lavoro conferma che, affinché i robot diventino veri assistenti general-purpose, devono imparare a distinguere tra una previsione utile e una bugia convincente, una capacità che questo nuovo metodo fornisce rendendo il processo di apprendimento stesso consapevole dei propri limiti.

Sintesi Tecnica: HaWMPO

Definizione del Problema

Le policy robotiche generaliste, in particolare i modelli Vision-Language-Action (VLA), hanno dimostrato una forte capacità di generalizzazione multi-task, ma faticano a mantenere tassi di successo elevati in scenari complessi a lungo termine (long-horizon). Sebbene l'apprendimento per rinforzo (RL) online su robot fisici possa migliorare queste policy, esso è ostacolato da una scarsa efficienza campionaria, interazioni fisiche costose e significativi rischi per la sicurezza.

I modelli del mondo (world models) offrono un'alternativa promettente, consentendo l'ottimizzazione della policy attraverso rollout "immaginati" in uno spazio virtuale. Tuttavia, i modelli del mondo generativi sono soggetti ad errori di predizione accumulati e allucinazioni durante i rollout a lungo termine. Queste allucinazioni producono transizioni di stato distorte e segnali di apprendimento falsi. Se una policy VLA viene addestrata direttamente su queste traiettorie allucinate, potrebbe sfruttare i bias del modello del mondo invece di apprendere azioni efficaci in ambienti reali, portando a aggiornamenti della policy instabili e a prestazioni degradate.

Metodologia: HaWMPO

Gli autori propongono HaWMPO (Hallucination-Aware World Model-based Policy Optimization), una pipeline di RL a ciclo chiuso progettata per mitigare gli effetti negativi delle allucinazioni del modello del mondo durante il post-training dei VLA. Il framework è composto da tre componenti principali e un nuovo meccanismo di ottimizzazione:

1. Modello di Allucinazione-Consapevole Condizionato all'Azione (HAM)

Per affrontare il problema dei rollout inaffidabili, HaWMPO introduce un modello dedicato per stimare l'affidabilità delle sequenze di immagini generate.

Input: L'HAM riceve in input un chunk di video predetto di otto frame ( $\hat{V}_c$ ), le azioni condizionanti ( $a_c$ ), l'osservazione corrente ( $I_c$ ) e un'immagine ancora ( $I_0$ ).
Architettura: Utilizza un encoder DINOv3 congelato per le caratteristiche visive, Context e Action Projectors per mappare gli input in uno spazio condiviso, e un Fusion Transformer (che incorpora cross-attention e self-attention) per aggregare le rappresentazioni. Una query apprendibile e un head MLP producono un punteggio di allucinazione continuo ( $\hat{h}_c$ ).
Supervisione: Il modello è addestrato utilizzando un target composito derivato da quattro metriche: similarità DINOv3, coerenza della profondità, coerenza della traiettoria basata sul flusso ottico e qualità dell'immagine MUSIQ. Punteggi più alti indicano allucinazioni più gravi.

2. Meccanismo Reward-Soft

Invece di trattare tutti i rollout generati dal modello del mondo allo stesso modo, HaWMPO pesa i loro contributi in base al livello di allucinazione predetto.

Meccanismo: Il reward grezzo ( $R$ ) fornito da un modello di reward per un determinato chunk di azioni è modulato dal punteggio di allucinazione medio ( $H$ ) di quel chunk.
Formula: $\hat{R} = (1 - \alpha \cdot H) \cdot R$ , dove $\alpha$ è un iperparametro regolabile.
Effetto: Questo meccanismo impone penalità su passi di RL apparentemente riusciti se avvengono all'interno di traiettorie altamente allucinate, impedendo alla policy di apprendere da segnali distorti.

3. Pipeline di Ottimizzazione della Policy

Il sistema integra la policy VLA, il modello del mondo condizionato all'azione, l'HAM e il modello di reward in un framework di Group Relative Policy Optimization (GRPO).

Processo: L'agente VLA esegue i rollout in parallelo in ambienti immaginari costruiti dal modello del mondo.
Addestramento: Per ogni chunk di azioni, l'HAM predice un punteggio di allucinazione e il meccanismo Reward-Soft modula il reward. L'algoritmo GRPO aggiorna quindi la policy VLA utilizzando questi reward consapevoli delle allucinazioni, calcolando vantaggi normalizzati per gruppo per stabilizzare l'apprendimento.

Contributi Chiave

Pipeline di RL a Ciclo Chiuso: Gli autori stabiliscono una pipeline che integra un modello del mondo, un modello consapevole delle allucinazioni e un modello di reward, consentendo l'ottimizzazione della policy in stile online senza frequenti interazioni con il robot nel mondo reale.
Stima Quantitativa dell'Affidabilità: Progettano un HAM condizionato all'azione che produce un punteggio di allucinazione continuo, quantificando esplicitamente l'affidabilità delle predizioni del modello del mondo sotto specifici input di azione.
Meccanismo Reward-Soft: Propongono un metodo innovativo per integrare i punteggi di allucinazione nell'ottimizzazione GRPO, penalizzando i segmenti di azione severamente allucinati per mitigare il bias avverso dei modelli del mondo sugli aggiornamenti della policy.

Risultati Sperimentali

Simulazione (Benchmark LIBERO)

Valutato sulle suite di task LIBERO Object, Spatial e Goal:

Performance: HaWMPO ha raggiunto il tasso di successo medio più elevato del 63,7%.
Confronti: Ciò rappresenta un miglioramento del 15,0% rispetto al modello base OpenVLA-OFT, un miglioramento del 6,9% rispetto a WMPO e un miglioramento del 2,8% rispetto al baseline più forte, WoVR*.
Guadagni Specifici: Sulla suite Spatial, HaWMPO ha raggiunto il 77,2% (superando WoVR* di 8,0 punti), e sulla suite Object ha raggiunto il 52,2% (superando WoVR* di 2,6 punti).

Esperimenti nel Mondo Reale (Robot G1)

Gli esperimenti sono stati condotti su due task di manipolazione: "Tissue-to-Box" e "Headphone-on-Stand".

Risultati: HaWMPO ha raggiunto un tasso di successo medio dell'80,0% (85% su Tissue-to-Box, 75% su Headphone-on-Stand).
Miglioramento: Questo supera la policy base di 12,5 punti percentuali e il baseline WoVR di 7,5 punti percentuali.

Ablation e Analisi

Rilevamento delle Allucinazioni: L'HAM ha raggiunto un AUROC di 0,9375 nel rilevare i chunk allucinati rispetto alle annotazioni umane, superando i baseline a metrica singola (es. solo DINO a 0,9062).
Impatto del Reward-Soft: Uno studio di ablazione ha confermato che la rimozione dell'HAM e del meccanismo Reward-Soft porta a cali significativi delle prestazioni, in particolare sulla suite Spatial (un calo di 8,0 o 11,6 punti in vari step di addestramento).
Sensibilità agli Iperparametri: Si è scoperto che la forza della penalità ottimale ( $\alpha$ ) dipende dal task, con $\alpha=0,3$ che performa meglio per Object e Spatial, e $\alpha=1$ per Goal.

Significato e Rivendicazioni

L'articolo sostiene che HaWMPO affronti un collo di bottiglia critico nell'RL basato su modelli del mondo: l'instabilità causata dalle allucinazioni di predizione. Esplicitando la modellazione di queste allucinazioni e declassando l'importanza delle traiettorie sintetiche inaffidabili, il metodo consente un'ottimizzazione della policy più robusta. Gli autori affermano che il loro approccio permette alle policy VLA di sfruttare l'efficienza dei modelli del mondo evitando al contempo le insidie dell'apprendimento da dati allucinati e distorti, ottenendo prestazioni superiori sia in simulazione che in compiti di manipolazione fisica nel mondo reale.

Limitazioni

Gli autori riconoscono diverse limitazioni:

L'HAM si basa su segnali di supervisione progettati manualmente (discrepanza di feature, profondità, traiettoria) che potrebbero non catturare tutti i tipi di allucinazioni.
La valutazione è attualmente limitata a task a orizzonte relativamente breve nel benchmark LIBERO; la scalabilità verso scenari reali complessi a lungo termine non è ancora esplorata.
Il modello consapevole delle allucinazioni e il modello del mondo sono addestrati separatamente, il che potrebbe limitare l'adattabilità del sistema durante l'RL online. Il lavoro futuro suggerisce un'ottimizzazione congiunta end-to-end.