Technische Samenvatting: HaM-World

1. Probleemstelling

Wereldmodellen maken modelgebaseerde planning mogelijk door latente dynamica te leren om verbeelde rollouts uit te voeren. Echter, naarmate de planningshorizon uitbreidt of de omgevingsdynamica verschuift, worden deze verbeelde rollouts vaak instabiel. De auteurs stellen dat deze instabiliteit voortkomt uit twee ontbrekende structurele componenten in latente representaties die gericht zijn op planners:

1. Benaderde Markov-volledigheid: Partiële waarneembaarheid en actievertragingen maken enkelvoudige frame-latenties onvoldoende als Markov-toestanden, toch ontbreekt het bestaande modellen vaak aan geheugen dat afhankelijk is van de geschiedenis om dit aan te pakken.
2. Geometrische organisatie: Monolithische latente representaties verstrengelen configuratie, impuls en taaksemantiek. Deze verstrengeling zorgt ervoor dat fouten bij meerstapsvoorspellingen zonder structurele beperkingen groeien, wat leidt tot slechte extrapolatie van fysische structuren onder verstoord besturingsregime.

Huidige benaderingen vangen voornamelijk statistische correlaties in plaats van de onderliggende generatieve structuur (bijv. invarianties en behoudswetten), wat resulteert in planners die moeite hebben met consistentie op lange termijn en generalisatie buiten de verdeling (OOD).

2. Methodologie: HaM-World

De auteurs stellen HaM-World (HMW) voor, een gestructureerd wereldmodel dat de latente toestand decomposeert in een unificatie-interface die wordt gedeeld over dynamica-voorspelling, beloning/waarde-schatting, verbeelde rollouts en actiezoeke met de Cross-Entropy-methode (CEM). De architectuur bestaat uit drie kerncomponenten:

A. Latente Factorisatie ($q, p, c$)

De latente toestand $z_t$ wordt expliciet opgesplitst in:

• Canonieke subruimte $(q, p)$: Vertegenwoordigt configuratie en impuls. Deze subruimte wordt beheerst door een Soft-Hamiltoniaanse prior.
• Contextsubruimte $c$: Vangt semantische, dissipatieve en niet-conservatieve factoren op (bijv. contactwisselingen, wrijving, taaksemantiek) die niet strikt voldoen aan energiebehoud.

B. Soft-Hamiltoniaanse Dynamica

In plaats van strikt energiebehoud af te dwingen (wat te beperkend is voor gecontroleerde systemen met wrijving en contact), gebruikt HaM-World een "Soft-Hamiltoniaanse" update voor het $(q, p)$-paar:
$$\Delta q_t = (1 - \alpha) \Delta q_{net} + \alpha \frac{\partial H}{\partial p}$$
$$\Delta p_t = (1 - \alpha) \Delta p_{net} - \alpha \frac{\partial H}{\partial q} + G_t a_t$$

• $H_\phi(q, p)$: Een leerbare energieveld.
• $\alpha$: Een mengcoëfficiënt die datagedreven netwerkupdates balanceert met het Hamiltoniaanse vectorveld.
• $G_t a_t$: Een expliciete geleerde besturingsdrift toegevoegd aan de impulsupdate.
• Mechanisme: Dit ontwerp stelt het model in staat een energie-georganiseerde geometrische ruggengraat voor stabiliteit te behouden, terwijl het de flexibiliteit behoudt om contact, wrijving en taakdoelen aan te passen via residudynamica en besturingsdriften.

C. Selectief Geheugen (Mamba)

Om partiële waarneembaarheid en actievertragingen aan te pakken, integreert HaM-World Mamba selectieve state-space modellen als een geschiedenis-geconditioneerde input ($h_t$) voor de latente dynamica.

• In tegenstelling tot parallelle recurrente rollout-modellen, biedt Mamba één geschiedenis-geconditioneerde input aan aan dezelfde latente dynamica die door de planner wordt gebruikt.
• Dit zorgt ervoor dat de planner-interface unify blijft tijdens training, verbeelde rollouts en CEM-zoeken, zonder dat een apart recurrente toestand voor de planner nodig is.

D. Trainingsdoelstellingen

Het model wordt getraind met een samengestelde verliesfunctie die omvat:

• Meerstapsrollout-consistentie ($L_{roll}$): Beperkt foutaccumulatie over de planningshorizon.
• Hamiltoniaanse uitlijning ($L_{ham}$): Een zachte directionele bias die de netwerkvertakking uitlijnt met het Hamiltoniaanse vectorveld.
• Actievrije energie-regulering ($L_{energy}$): Onderdrukt energiedrift bij afwezigheid van acties.
• Standaard doelstellingen: JEPA-stijl representatie-uitlijning, één-staps dynamica-consistentie en beloning/waarde-regressie (met symlog twee-hot doelen).

3. Belangrijkste Bijdragen

1. Gestructureerde planner-gerichte dynamica: De introductie van een $q/p/c$ latente factorisatie die Mamba selectief geheugen koppelt aan Soft-Hamiltoniaanse $(q, p)$ dynamica. Dit biedt één latente interface voor CEM-planning, beloningsschatting en dynamica-voorspelling.
2. Mechanisme-bewuste evaluatie: Een uitgebreid evaluatieprotocol dat standaard controleprestaties, consistentie van lange-termijn rollouts (MSE bij $k \in \{3, 5, 7\}$) en 12 OOD-stoornissen (dynamica-verschuivingen, vertragingen, masking) omvat.
3. Empirische winsten: Aangetoond superieure prestaties over meerdere metrieken, specifiek in stabiliteit op lange termijn en OOD-robustheid, ondersteund door mechanistische diagnostiek die een gebonden energiedrift en coherente door controle veroorzaakte energietransfer aantonen.

4. Experimentele Resultaten

Geëvalueerd op vier DeepMind Control Suite (DMC) taken (Reacher Easy, Finger Spin, Cheetah Run, Cartpole Swingup) met een samplebudget van 100k stappen:

• Controleprestaties: HaM-World behaalde de hoogste gemiddelde oppervlakte onder de curve (Avg. AUC) van 117,9, beter dan TD-MPC2 (+9,5%), SAC (+66,3%) en DreamerV3 (+101,2%). Het behaalde de hoogste uiteindelijke return op Finger Spin en Reacher Easy.
• Stabiliteit op lange termijn: HaM-World verlaagde de fout bij lange-termijn rollouts tot 45% van de sterke baseline (TD-MPC2) en 14,3% van DreamerV3. Het won 11 van de 12 MSE-cellen voor $k \in \{3, 5, 7\}$.
• OOD-generalisatie: Onder 12 OOD-stoornissen (waaronder massa-veranderingen, demping, wrijving, actievertragingen en waarnemingsmaskering) behaalde HaM-World de hoogste return in elke conditie.
  • Op Finger Spin toonde het een gemiddelde OOD-returnwinst van 10,2% ten opzichte van TD-MPC2.
  • Op Reacher Easy toonde het een gemiddelde OOD-returnwinst van 13,6% ten opzichte van TD-MPC2.
• Mechanistische diagnostiek:
  • Energiedrift: Bij actievrije rollouts bleef de geleerde Hamiltoniaanse energie bijna stabiel (ongeveer 1% drift), wat de Soft-Hamiltoniaanse structuur bevestigt.
  • Besturingskoppeling: Analyse toonde aan dat actie "duw" (projectie van besturing op $\nabla_p H$) consistent correleerde met het kruisen van energielagen, wat het ontworpen controle-Hamiltoniaanse ontwerp valideert.
  • Ablatie: Het verwijderen van de geometrische structuur (A1) of het geheugen (A2) degradeerde de prestaties aanzienlijk. Opmerkelijk is dat geheugen de dominante voorwaarde was voor bruikbaarheid onder partiële waarneembaarheid, terwijl de Soft-Hamiltoniaanse structuur het plafond voor rollout-robustheid verhoogde.

5. Betekenis en Claims

Het artikel stelt dat HaM-World aantoont dat het behandelen van Markov-volledigheid (via selectief geheugen) en geometrische consistentie (via Soft-Hamiltoniaanse structuur) als gekoppelde stadia van unificatie latente dynamica de plannerprestaties aanzienlijk verbetert.

• Structureel versus statistisch: De winsten worden toegeschreven aan het vermogen van het model om fysische regulariteiten (energie-organisatie) op te nemen in plaats van uitsluitend te vertrouwen op statistische correlatie-aanpassing.
• Unificatie-interface: Het werk toont aan dat één latente toestand, gedeeld door voorspelling, waardeschatting en planning, stabiel en effectief kan worden gemaakt voor taken op lange termijn als het de scheiding respecteert tussen conservatieve dynamica ($q, p$) en niet-conservatieve context ($c$).
• Robustheid: De methode biedt een structurele oplossing voor de instabiliteit van verbeelde rollouts, waardoor betere extrapolatie mogelijk is onder distributieveranderingen en verstoringen zonder dat aparte recurrente planner-toestanden nodig zijn.

Beperkingen: De auteurs merken op dat het huidige werk beperkt is tot toestandsgebaseerde waarnemingen op vier DMC-taken. Schalen naar pixel-inputs, bredere morfologieën en discontinu contactscenario's blijft een open uitdaging. De diagnostiek ondersteunt de geleerde interface maar bewijst niet dat de dynamica globaal Hamiltoniaans is.