🤖 AI

DWM: Separating World Effects from Actions in Latent World Models

Dit artikel introduceert DWM (Decomposed World Model), een framework op supervisieniveau dat actie-gestuurde transities expliciet scheidt van actie-invariante wereldeffecten in latente wereldmodellen, waardoor het succes van planning wordt verbeteren in omgevingen met persistente dynamiek zoals zwaartekracht en traagheid.

Oorspronkelijke auteurs: Yi-Ge Zhang, Tianqi Du, Qi Zhang, Yisen Wang

Gepubliceerd 2026-07-22

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yi-Ge Zhang, Tianqi Du, Qi Zhang, Yisen Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om biljart te spelen. Je wilt dat de robot leert hoe hij de witte bal moet raken zodat deze de achtbal in een zak slaat. Maar er is een addertje onder het gras: de tafel is niet perfect vlak. Er zit een lichte helling in, waardoor de zwaartekracht zelfs als de robot niets doet, constant probeert de ballen de helling af te laten glijden. Om een goede speler te zijn, moet de robot twee dingen tegelijk begrijpen: hoe zijn eigen cue stick het pad van de bal verandert, en hoe de helling van de tafel de bal uit zichzelf beweegt. Dit is de kern van "embodied AI", een vakgebied waar computers leren handelen in de fysieke wereld door mentale kaarten te bouwen van hoe dingen bewegen.

Om vooruit te kunnen plannen, gebruikt een computer iets dat een "latent world model" wordt genoemd. Denk hierbij aan een droommachine in de hersenen van de robot. In plaats van de echte wereld frame voor frame te bekijken, maakt de robot een vereenvoudigde, onzichtbare schets van de toekomst. De robot vraagt zich af: "Als ik de bal déze kant op duw, wat gebeurt er dan?" Het probleem is dat huidige droommachines elke verandering in de toekomst behandelen als één enkele, rommelige vlek. Ze weten niet welk deel van de beweging kwam door de duw van de robot en welk deel door de helling van de tafel. Ze zien alleen de bal bewegen en proberen het geheel in één keer te raden, wat erg verwarrend wordt wanneer de omgeving zijn eigen hardnekkige gewoonten heeft.

Dit artikel, getiteld "DWM: Separating World Effects from Actions in Latent World Models", pakt deze verwarring rechtstreeks aan. De auteurs, onderzoekers van de Universiteit van Peking, stellen dat we, om robots slimmer te maken, hun droommachines moeten leren om de toekomst op te splitsen in twee duidelijke ingrediënten: het "Action Effect" (wat de robot veroorzaakt) en het "World Effect" (wat de omgeving op zichzelf doet, zoals zwaartekracht of wind). Ze introduceren een nieuwe trainingsmethode genaamd DWM (Decomposed World Model). In plaats van de robot te dwingen om de hele toekomst in één keer te raden, geeft DWM hem een speciale "World Head" die leert om alleen de zaken te voorspellen die gebeuren zelfs als de robot niets doet. Vervolgens leert een aparte "Action Head" de rest. Door deze twee koppen te dwingen samen te werken maar toch onderscheidend te blijven, krijgt de robot een veel helderder beeld van oorzaak en gevolg.

De onderzoekers hebben dit idee getest op verschillende robotische taken, waaronder een versie van een duwspel waarbij een blok door de zwaartekracht een helling af glijdt, zelfs wanneer de robot er niet mee in contact staat. Ze ontdekten dat hun nieuwe methode, DWM, veel beter was in het plannen dan de oude, "monolithische" manier. Op deze lastige, door zwaartekracht beïnvloede taken verbeterde DWM het succespercentage van de robot met gemiddeld 13,1%. Bijvoorbeeld, bij een taak genaamd PushT-W slaagde de oude methode slechts 32% van de tijd, terwijl DWM dit naar 44% bracht. Het artikel suggereert dat door de acties van de robot te ontwarren van de natuurlijke drift van de wereld, de robot de toekomst nauwkeuriger kan voorstellen en betere beslissingen kan nemen, zelfs wanneer de omgeving de dingen op zijn eigen manier laat bewegen. Belangrijk is dat deze verbetering de prestaties van de robot op vlakke, gemakkelijke taken waar geen zwaartekracht een factor was, niet heeft geschaad; het maakte de robot simpelweg slimmer wanneer de wereld zijn eigen gang ging.

Technische Samenvatting: DWM: Het scheiden van wereld-effecten van acties in latente wereldmodellen

Probleemstelling

Latente wereldmodellen zijn fundamenteel voor moderne modelgebaseerde controle, waarbij ze planning en beleidsleer direct vanuit pixelobservaties mogelijk maken. Echter, huidige actie-geconditioneerde formuleringen lijden aan een beperking op supervisieniveau: ze voorspellen de volgende latente toestand met behulp van één enkel, ongedifferentieerd doel. Dit dwingt het model om alle bronnen van toestandverandering — zowel die geïnduceerd door de actie van de agent als die voortvloeiend uit de intrinsieke dynamiek van de omgeving — te absorberen in één monolithisch leersignaal.

In fysieke systemen in de echte wereld ontstaan transities vaak uit twee heterogene bronnen:

Actie-gedreven effecten: Veranderingen geïnduceerd door de controle van de agent.
Wereld-effecten: Actie-invariante veranderingen die blijven bestaan zelfs onder een nul-actie (bijv. door zwaartekracht veroorzaakte glijbewegingen, traagheid, contact-rebound of persistente drift).

Het samenvoegen hiervan in één enkel doel verstrengelt de twee componenten binnen de latente transitie. Gevolgaarlijk kan het model de geobserveerde veranderingen niet expliciet toeschrijven aan hun onderliggende oorzaken. Deze beperking is vaak verborgen in statische benchmarks (bijv. duwen op een platte tafel), maar wordt kritiek in omgevingen met persistente autonome dynamiek, wat leidt tot onnauwkeurige meerstaps-rollouts en suboptimale planning.

Methodologie: Decomposed World Model (DWM)

De auteurs stellen DWM (Decomposed World Model) voor, een trainingsframework dat de scheiding van wereld- en actie-effecten operationaliseert zonder de onderliggende architectuur of de inferentie-pipeline te wijzigen.

Kernarchitectuur

DWM behoudt de standaardcomponenten van een actie-geconditioneerd latent wereldmodel (encoder $\phi$ , actie-geconditioneerde voorspeller $g$ , en een projectiekop):

Pred Head ( $h_p$ ): Behouden van de baseline. Deze voorspelt de volledige volgende latente toestand $\hat{z}$ en is de enige kop die tijdens inferentie wordt gebruikt.
World Head ( $h_w$ ): Een aanvullende, lichtgewicht MLP die parallel aan de voorspeller-toestand $r_t$ is bevestigd. Deze is getraind om de actie-invariante component van de transitie te vangen ( $\hat{z}_w \approx z_t + \Delta z^{world}_t$ ).
Actie-gedreven component: Gedefinieerd als de residu $\hat{z}_a := \hat{z} - \hat{z}_w$ .

Het model dwingt de identiteit $\hat{z} = \hat{z}_w + \hat{z}_a$ af, waarbij de voorspelde transitie expliciet wordt gedecomposeerd in een actie-invariante wereldcomponent en een complementaire actie-gedreven component.

Trainingsdoelstelling

De totale verliesfunctie combineert de standaard wereldmodel-loss met twee aanvullende termen:
$L = L_{WM} + \lambda_{wc}L_{wc} + \lambda_{orth}L_{orth}$

World-Contrastive Loss ( $L_{wc}$ ): Een InfoNCE-doelstelling toegepast op de world head. Deze construeert positieve paren door dezelfde toestandshistorie met verschillende huidige acties (actie-perturbaties) in de world head te voeren. Dit dwingt $\hat{z}_w$ om invariant te zijn voor de actie, terwijl het discriminatief blijft over verschillende toestanden.
Orthogonaliteitsrestrictie ( $L_{orth}$ ): Gedefinieerd als $|\cos(\hat{z}_w, \hat{z}_a)|$ , deze term moedigt de actie-invariante en actie-gedreven componenten aan om onafhankelijke richtingen in de latente ruimte te beslaan, om te voorkomen dat het actie-effect wordt geabsorbeerd in de wereldrepresentatie.

Cruciaal is dat de aanvullende world head na de training wordt weggegooid, zodat de inferentie-pipeline identiek blijft aan de baseline.

Belangrijkste Bijdragen

Identificatie van een supervisielimiet: Het artikel identificeert dat single-target supervisie in latente wereldmodellen faalt in het onderscheiden tussen door de agent geïnduceerde veranderingen en autonome omgevingsdynamiek, wat leidt tot verstrengelde representaties.
Nieuwe Benchmark Suite (W-Varianten): De auteurs introduceren gecontroleerde varianten van drie standaardbenchmarks — PushT-W, Reacher-W en TwoRoom-W — die persistente actie-invariante dynamiek (door zwaartekracht veroorzaakte glijbewegingen, verticale vlak-zwaartekracht en constante drift) injecteren in standaardtaken. Ze evalueren ook op Ball-in-Cup, een taak met toestand-afhankelijke oscillerende dynamiek.
DWM-framework: Een trainingsframework dat bestaande latente wereldmodellen uitbreidt met een aanvullende world head en complementaire scheidingsdoelstellingen, zonder wijzigingen te vereisen in de backbone of inferentie.
Empirische Validatie: Demonstratie dat DWM de succesvolle planning en de nauwkeurigheid van de latente dynamiek verbetert, specifiek in settings met wereld-effecten, terwijl de prestaties op standaardtaken gelijk blijven.

Experimentele Resultaten

De auteurs evalueerden DWM tegen de LeWM baseline over de voorgestelde benchmarks met behulp van Cross-Entropy Method (CEM) planning.

Planningssucces: Op de W-variant taken bereikte DWM een gemiddelde absolute verbetering van 13,1% in CEM planningssucces:
- PushT-W: 32,0% $\to$ 44,0% (+12,0 pp)
- Reacher-W: 60,0% $\to$ 70,7% (+10,7 pp)
- TwoRoom-W: 60,0% $\to$ 76,7% (+16,7 pp)
- Ball-in-Cup: 36,8% $\to$ 42,8% (+6,0 pp)
Baseline Prestaties: Op de originele "platte" tegenhangers (zonder wereld-effecten) bleef DWM vergelijkbaar met de single-head LeWM baseline, wat aangeeft dat de aanvullende losses de prestaties niet verslechteren wanneer wereld-effecten verwaarloosbaar zijn.
Representatie Diagnostiek: Analyse toonde aan dat de world head bijna actie-invariant werd (variantie verminderde met ordes van grootte onder actie-perturbatie), terwijl de pred head zijn gevoeligheid voor acties behield.
Voorspellingskwaliteit: DWM verminderde de one-step en horizon-20 autoregressieve voorspellingsfouten aanzienlijk (bijv. -89,8% offline loss op PushT-W), wat aantoont dat de decompositie leidt tot nauwkeurigere latente dynamiek.
Out-of-Distribution (OOD) Generalisatie: Op PushT-W met verschoven zwaartekrachtvectoren behield DWM een hoog planningssucces (44,0%) vergeleken met de degradatie van de baseline (30,0%), en de geleerde actie-gedreven component bleef stabiel over zwaartekrachtverschuivingen (cosine similarity $\approx$ 0,999).

Betekenis en Claims

Het artikel claimt dat het ontwarren van actie-invariante wereld-effecten van actie-gedreven veranderingen op het niveau van het trainingssignaal dient als een nuttige inductieve bias voor actie-geconditioneerde latente wereldmodellen in fysiek realistische controle-settings.

De auteurs benadrukken dat hun aanpak een fundamentele beperking in huidige supervisiestrategieën aanpakt zonder dat er architecturale herzieningen nodig zijn. Door expliciet te scheiden wat de wereld "vanzelf doet" van wat de agent "verandert", stelt DWM modellen in staat om nauwkeurigere latente dynamiek te leren, wat direct vertaalt naar verbeterde meerstaps-planning en robuustheid tegen omgevingsdynamiek die onafhankelijk van de acties van de agent persisteert. De resultaten suggereren dat deze decompositie bijzonder essentieel is voor taken waarbij de omgeving autonoom evolueert, een scenario dat vaak over het hoofd wordt gezien in standaard benchmarks.