💻 computer science

HaWMPO: Hallucination-Aware World Model-based Policy Optimization for Generalist Robot Policy

Het artikel stelt HaWMPO voor, een hallucinatie-bewust wereldmodel-gebaseerd beleidsoptimalisatiekader dat generalistische robotbeleid verbetert door voorspellingshallucinaties tijdens geïmagineerde rollouts te schatten en te onderdrukken, waardoor de succespercentages in complexe langetermijnmanipulatietaken op zowel benchmarks als echte robots aanzienlijk worden verbeterd.

Oorspronkelijke auteurs: Zengjue Chen, Peidong Liu, Jiawei Li, Qi Wang

Gepubliceerd 2026-09-10

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zengjue Chen, Peidong Liu, Jiawei Li, Qi Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Robots die kunnen leren om een grote verscheidenheid aan taken uit te voeren, van het stapelen van blokken tot het vouwen van de was, zijn al lang een doel van kunstmatige intelligentie. Om dit te bereiken, hebben onderzoekers "generalistische" beleidsregels ontwikkeld, die in essentie hersenachtige systemen zijn die getraind zijn om taal en visie te begrijpen om te beslissen hoe een robot moet bewegen. Het onderwijzen van deze systemen in de echte wereld is echter traag, duur en riskant. Elke keer dat een robot een nieuwe actie probeert, kan hij iets kapotmaken of zichzelf beschadigen, waardoor het proces van vallen en opstaan gevaarlijk is. Om dit op te lossen, hebben wetenschappers zich gericht op "wereldmodellen", wat digitale simulators zijn waarmee robots in een computer kunnen oefenen. Deze modellen voorspellen wat er vervolgens zal gebeuren op basis van huidige acties, waardoor een veilige ruimte voor leren ontstaat. Toch zijn deze digitale simulators niet perfect; naarmate ze verder in de toekomst voorspellen, beginnen ze vaak details te verzinnen die nooit hebben plaatsgevonden, een fenomeen dat bekend staat als "hallucinatie". Als een robot leert van deze nepscenario's, kan hij acties leren die in de computer wel werken, maar in de echte wereld volledig falen.

Een team van onderzoekers heeft een nieuwe methode ontwikkeld om robots te helpen effectief te leren van deze imperfecte digitale simulaties zonder door hun fouten te worden misleid. Ze noemen hun aanpak HaWMPO, een systeem dat ontworpen is om robots zich bewust te maken van wanneer hun digitale trainingsgrond tegen hen liegt. In plaats van elk verbeeld scenario als even waardevol te behandelen, bevat het nieuwe systeem een speciaal onderdeel dat fungeert als een kwaliteitscontroleur. Deze inspecteur kijkt naar de sequentie van afbeeldingen die de simulator genereert en wijst een score toe die aangeeft hoe betrouwbaar die sequentie is. Als de simulator begint af te dwalen in fantasie en afbeeldingen creëert die niet overeenkomen met de natuurwetten of de verwachte uitkomst, markeert de inspecteur dit. Het systeem gebruikt deze informatie vervolgens om het leerproces aan te passen, waarbij het de robot effectief vertelt om de delen van de simulatie die te onbetrouwbaar lijken te negeren en zich te concentreren op de delen die er realistisch uitzien.

De onderzoekers testten deze methode met behulp van een standaard set robottaken in een computermgeving genaamd LIBERO, die het verplaatsen van objecten naar specifieke locaties omvat. Ze vergeleken hun nieuwe systeem met andere methoden die wereldmodellen gebruiken maar niet over deze kwaliteitscontrolefunctie beschikken. De resultaten toonden een duidelijk voordeel voor de nieuwe aanpak. In de simulatie behaalde de robot die gebruikmaakte van het hallucinatie-bewuste systeem een succespercentage van 63,7 procent, wat aanzienlijk hoger was dan de op één na beste methode. De verbetering was bijzonder merkbaar in taken die ruimtelijk redeneren en objectmanipulatie vereisen, waarbij het vermogen van de robot om onderscheid te maken tussen echte en nepscenario's het hem hielp om robuustere strategieën te leren. De onderzoekers ontdekten dat door de robot te straffen wanneer hij vertrouwde op sterk gehallucineerde scenario's, het systeem voorkwam dat de robot slechte gewoonten aanleerde die alleen zouden werken in een defecte simulatie.

Om te waarborgen dat deze methode ook buiten de computer werkte, testte het team het ook op een fysieke robot in een echte omgeving. Ze gaven de robot twee specifieke uitdagingen: het plaatsen van een tissue in een doos en het zetten van een koptelefoon op een standaard. Zonder het nieuwe systeem slaagde de robot in deze taken ongeveer 60 procent van de tijd bij de koptelefoontaken. Na het toepassen van de hallucinatie-bewuste training steeg het succespercentage naar een gemiddelde AUC van 0,8, waarbij de robot 85% behaalde bij de tissue-taak en 75% bij de koptelefoon-taak. Deze sprong in prestaties laat zien dat de lessen geleerd in de digitale wereld daadwerkelijk overdraagbaar waren naar de fysieke wereld, omdat de robot had geleerd de digitale ruis te negeren die deze systemen gewoonlijk in de war brengt. De onderzoekers merkten op dat het systeem werkt door constant de consistentie van de gesimuleerde toekomst te controleren, waardoor wordt gewaarborgd dat de robot alleen leert van trajecten die fysiek plausibel ogen.

De studie benadrukt dat de sleutel tot beter robotleren niet alleen het hebben van een simulator is, maar het hebben van een manier om deze te vertrouwen. Door een systeem te bou

Technische Samenvatting: HaWMPO

Probleemstelling

Generieke robotbeleid, met name Vision-Language-Action (VLA) modellen, hebben een sterke multi-task generalisatie getoond, maar worstelen met succespercentages in complexe scenario's met een lange horizon. Hoewel online reinforcement learning (RL) op fysieke robots deze beleidsregels kan verbeteren, wordt dit gehinderd door een lage sample-efficiëntie, kostbare fysieke interacties en aanzienlijke veiligheidsrisico's.

World models bieden een veelbelovend alternatief door beleidsoptimalisatie mogelijk te maken via "verbeelde" rollouts in een virtuele ruimte. Generatieve world models zijn echter gevoelig voor cumulatieve voorspellingsfouten en hallucinaties tijdens rollouts met een lange horizon. Deze hallucinaties produceren vertekende toestands-transities en valse leersignalen. Als een VLA-beleid direct wordt getraind op deze gehallucineerde trajecten, kan het de biases van het world model exploiteren in plaats van acties te leren die effectief zijn in echte omgevingen, wat leidt tot instabiele beleidsupdates en gedegradeerde prestaties.

Methodologie: HaWMPO

De auteurs stellen Hallucination-Aware World Model-based Policy Optimization (HaWMPO) voor, een closed-loop RL-pipeline die is ontworpen om de negatieve effecten van world model-hallucinaties tijdens VLA post-training te mitigeren. Het framework bestaat uit drie kerncomponenten en een nieuw optimalisatiemechanisme:

1. Action-Conditioned Hallucination-Aware Model (HAM)

Om het probleem van onbetrouwbare rollouts aan te pakken, introduceert HaWMPO een toegewijd model om de betrouwbaarheid van gegenereerde beeldsequenties te schatten.

Input: De HAM neemt een acht-frame voorspelde videochunk ( $\hat{V}_c$ ), de conditionerende acties ( $a_c$ ), de huidige observatie ( $I_c$ ) en een ankerbeeld ( $I_0$ ) als input.
Architectuur: Het maakt gebruik van een bevroren DINOv3-encoder voor visuele kenmerken, Context en Action Projectors om inputs naar een gedeelde ruimte te mappen, en een Fusion Transformer (met cross-attention en self-attention) om representaties te aggregeren. Een leerbare query en MLP-head geven een continue hallucinatiescore ( $\hat{h}_c$ ) output.
Supervisie: Het model wordt getraind met een samengestelde target afgeleid van vier metrieken: DINOv3-gelijkenis, diepteconsistentie, op optische flow gebaseerde trajectconsistentie en MUSIQ beeldkwaliteit. Hogere scores duiden op ernstigere hallucinaties.

2. Reward-Soft Mechanisme

In plaats van alle door het world model gegenereerde rollouts gelijk te behandelen, weegt HaWMPO hun bijdragen op basis van het voorspelde hallucinatieniveau.

Mechanisme: De ruwe beloning ( $R$ ) die door een reward model wordt geleverd voor een specifieke actie-chunk, wordt gemoduleerd door de gemiddelde hallucinatiescore ( $H$ ) van die chunk.
Formule: $\hat{R} = (1 - \alpha \cdot H) \cdot R$ , waarbij $\alpha$ een instelbare hyperparameter is.
Effect: Dit mechanisme legt straffen op schijnbaar succesvolle RL-stappen als deze voorkomen binnen sterk gehallucineerde trajecten, waardoor wordt voorkomen dat het beleid leert van vertekende signalen.

3. Policy Optimization Pipeline

Het systeem integreert het VLA-beleid, het action-conditioned world model, de HAM en het reward model in een Group Relative Policy Optimization (GRPO) framework.

Proces: De VLA-agent voert rollouts uit in parallelle verbeelde omgevingen die door het world model zijn geconstrueerd.
Training: Voor elke actie-chunk voorspelt de HAM een hallucinatiescore, en het Reward-Soft mechanisme moduleert de beloning. Het GRPO-algoritme werkt vervolgens het VLA-beleid bij met behulp van deze hallucinatie-bewuste beloningen, waarbij groepsgewijze genormaliseerde advantages worden berekend om het leren te stabiliseren.

Belangrijkste Bijdragen

Closed-Loop RL-Pipeline: De auteurs vestigen een pipeline die een world model, een hallucination-aware model en een reward model integreert, wat online-stijl beleidsoptimalisatie mogelijk maakt zonder frequente interacties met de echte wereld.
Kwantitatieve Betrouwbaarheidsschatting: Ze ontwerpen een action-conditioned HAM die een continue hallucinatiescore produceert, waarmee de betrouwbaarheid van world model-voorspellingen onder specifieke actie-inputs expliciet wordt gekwantificeerd.
Reward-Soft Mechanisme: Ze stellen een nieuwe methode voor om hallucinatiescores te integreren in de GRPO-optimalisatie, waarbij zwaar gehallucineerde actie-segmenten worden gestraft om de nadelige bias van world models op beleidsupdates te beperken.

Experimentele Resultaten

Simulatie (LIBERO Benchmark)

Geëvalueerd op de LIBERO Object, Spatial en Goal taak-suites:

Prestaties: HaWMPO behaalde de hoogste gemiddelde succesrate van 63,7%.
Vergelijkingen: Dit is een verbetering van 15,0% ten opzien van het basis OpenVLA-OFT model, een verbetering van 6,9% ten opzien van WMPO, en een verbetering van 2,8% ten opzien van de sterkste baseline, WoVR*.
Specifieke Winsten: Op de Spatial suite bereikte HaWMPO 77,2% (een stijging van 8,0 punten ten opzien van WoVR*), en op de Object suite bereikte het 52,2% (een stijging van 2,6 punten ten opzien van WoVR*).

Real-World Experimenten (G1 Robot)

Experimenten werden uitgevoerd op twee manipulatietaken: "Tissue-to-Box" en "Headphone-on-Stand".

Resultaten: HaWMPO behaalde een gemiddelde succesrate van 80,0% (85% op Tissue-to-Box, 75% op Headphone-on-Stand).
Verbetering: Dit overtreft het basisbeleid met 12,5 procentpunten en de WoVR-baseline met 7,5 procentpunten.

Ablatie en Analyse

Hallucinatie Detectie: De HAM behaalde een AUROC van 0,9375 bij het detecteren van gehallucineerde chunks tegenover menselijke annotaties, waarmee het single-metric baselines (bijv. DINO-only op 0,9062) versloeg.
Impact van Reward-Soft: Een ablatie-studie bevestigde dat het verwijderen van de HAM en het Reward-Soft mechanisme leidde tot significante prestatieverliezen, met name op de Spatial suite (een daling van 8,0 tot 11,6 punten bij verschillende trainingsstappen).
Hyperparameter Gevoeligheid: De optimale strafsterkte ( $\alpha$ ) bleek taakafhankelijk te zijn, waarbij $\alpha=0,3$ het beste presteerde voor Object en Spatial, en $\alpha=1$ voor Goal.

Betekenis en Claims

Het artikel claimt dat HaWMPO een kritieke flessenhals in world model-gebaseerde RL aanpakt: de instabiliteit veroorzaakt door voorspellingshallucinaties. Door deze hallucinaties expliciet te modelleren en onbetrouwbare synthetische trajecten minder zwaar mee te laten wegen, maakt de methode robuustere beleidsoptimalisatie mogelijk. De auteurs stellen dat hun aanpak VLA-beleid in staat stelt om de efficiëntie van world models te benutten terwijl ze de valkuilen vermijden van het leren van vertekende, gehallucineerde data, wat resulteert in superieure prestaties in zowel simulatie als real-world fysieke manipulatietaken.

Beperkingen

De auteurs erkennen verschillende beperkingen:

De HAM vertrouwt op handmatig ontworpen supervisie-signalen (feature discrepancy, diepte, traject), die mogelijk niet alle soorten hallucinaties vastleggen.
De evaluatie is momenteel beperkt tot relatief korte-horizon taken in de LIBERO benchmark; schaalbaarheid naar complexe, lange-horizon real-world scenario's is nog niet onderzocht.
Het hallucination-aware model en het world model worden apart getraind, wat de adaptiviteit van het systeem tijdens online RL kan beperken. Toekomstig werk suggereert end-to-end gezamenlijke optimalisatie.