Technische Samenvatting: IMWM (Intuition Models Complement World Models for Latent Planning)

1. Probleemstelling

Het artikel behandelt een fundamentele beperking in modelgebaseerd reinforcement learning (RL) voor controle vanuit ruwe pixels: de afhankelijkheid van een geleerd latent wereldmodel (WM) gekoppeld aan een planner met een eindig budget op basis van sampling (bijv. Cross-Entropy Method, CEM). Hoewel het verbeteren van de nauwkeurigheid van het wereldmodel de standaardaanpak is om de planningsprestaties te verhogen, stellen de auteurs dat dit instinct onvoldoende is.

Het kernprobleem dat wordt geïdentificeerd, is dat zoeken, en niet voorspellen, de beperkende factor kan zijn. Zelfs als een planner beschikt over een "perfect" wereldmodel (geoperationaliseerd als een oracle dat de ware omgevingsdynamiek gebruikt voor rollouts), kan deze nog steeds falen om een doel te bereiken als het eindige zoekbudget voorkomt dat er een succesvolle actievolgorde wordt voorgesteld binnen de enorme actieruimte. Het artikel stelt dat de bottleneck ligt in het voorstelvolume — het vermogen van de planner om op doelbereikende kandidaten te landen — in plaats van de nauwkeurigheid van de forward-voorspeller.

2. Diagnose en Theoretische Basis

Voordat ze een oplossing voorstellen, leveren de auteurs zowel experimenteel als theoretisch bewijs dat zoeken het faalpunt is:

• Experimentele Diagnose: Ze vervingen de geleerde forward-voorspeller in een standaard latente planner door een geïdealiseerde rollout van de ware omgevingsdynamiek (Oracle Dynamics). Ondanks het hebben van perfecte dynamiek, faalde de planner nog steeds aanzienlijk op taken zoals OGBench-Cube en Two-Room. Analyse van gefaalde episodes toonde aan dat in het overgrote deel van de gevallen (bijv. 98,9% op Two-Room), de CEM-populatie tijdens elke herplanningsstap nul doelbereikende kandidaten bevatte.
• Theoretische Grens: De auteurs bewijzen (Theorem A.1) dat onder een eindig budget van black-box queries tegen elke latente kostenfunctie, de kans op succes wordt begrensd door het volume van de actieruimte dat door de queries wordt gedekt. Deze grens is onafhankelijk van hoe de voorspeller is getraind, wat bevestigt dat een betere voorspeller een zoekbottleneck niet kan overwinnen als de voorstelverdeling niet het succes-manifold dekt.

3. Methodologie: IMWM

Om de zoekbottleneck aan te pakken zonder een beter wereldmodel nodig te hebben, stellen de auteurs IMWM (Intuition Model + World Model) voor. Dit framework koppelt een bevroren latent wereldmodel aan een apart Intuition Model dat getraind is op demonstraties. Het intuïtie-model fungeert als een gids om veelbelovende acties te herkennen, en vult het wereldmodel aan in plaats van het te vervangen.

3.1 Het Intuition Model

Het intuïtie-model ($D_{\psi}^{inv}$) is een contrastieve scalaire scorer die getraind is op demonstratievensters met een InfoNCE-achtige objective. Het neemt een tuple van (start latent, doel latent, actie-chunk) en geeft een compatibiliteitsscore.

• Inverse Conditionering: In tegen tegenstelling tot het wereldmodel (dat $s_{t+1}$ voorspelt gegeven $s_t, a_t$), scoort het intuïtie-model acties gegeven start- en doelbewijzen.
• Afzonderlijke Latente Ruimte: Het opereert in een aparte latente ruimte ($z_I$) die ontkoppeld is van de forward-predictie-ruimte van het wereldmodel ($z_L$), waardoor de stapeling van rollout-fouten wordt voorkomen.
• Training: Het wordt getraind om demonstratie-actiechunks te onderscheiden van negatieve samples binnen dezelfde taakcontext.

3.2 Drie Lichtgewicht Collaboratie Componenten

Het intuïtie-model interageert met de planner via drie specifieke mechanismen:

1. Retrieval Initialisatie:

   • Voordat de kostenfunctie de kandidaten evalueert, haalt de planner een actie-chunk op uit een vaste bank van demonstraties.
   • De retrieval is gebaseerd op de cosine similarity tussen de huidige (start, doel) latents en de opgeslagen demonstratie-keys in de latente ruimte van de intuïtie-encoder.
   • De CEM-voorstelverdeling wordt geïnitialiseerd als een isotrope Gaussische verdeling gecentreerd rond deze opgehaalde actie-chunk, waardoor de zoekopdracht wordt gestuurd naar door demonstraties ondersteunde regio's.

2. Hybride Kosten:

   • De planner minimaliseert een samengestelde kostenfunctie $J$ die de intuïtie-score en de wereldmodel-rolloutfout combineert.
   • $J = \alpha_{inv} \cdot zS(-D_{\psi}^{inv}) + \beta_{eff} \cdot zS(\text{MSE}(\text{rollout}, \text{goal}))$.
   • Beide termen worden z-gescoord over de kandidaat-set om incompatibele schalen te hanteren. De gewichten $\alpha$ en $\beta$ bepalen de afhankelijkheid van intuïtie versus het wereldmodel.

3. Betrouwbaarheidsgate (Reliability Gate):

   • Omdat intuïtie niet universeel nuttig is (bijv. als de demonstratiebank niet over relevante voorbeelden beschikt), beslist een gate per taak/cel hoeveel men het intuïtie-model moet vertrouwen.
   • De gate berekent twee diagnostieken van de opgehaalde chunk: een scoremarge ($r_{inv}$) ten opzien van neutrale chunks en een lag-1 autocorrelatie ($r_{lag}$).
   • Op basis van bevroren drempelwaarden selecteert de gate een van drie vooraf gespecificeerde "recepten":
     • Trusted Hybrid: Hoge afhankelijkheid van zowel intuïtie als wereldmodel.
     • Intuition-Dominant: Hoge afhankelijkheid van intuïtie, lage afhankelijkheid van wereldmodel.
     • Forward-Only Fallback: Intuïtie is uitgeschakeld; de planner keert terug naar de standaard wereldmodel-alleen configuratie.
   • Cruciaal is dat deze selectie automatisch gebeurt op basis van diagnostiek, en niet handmatig per taak wordt ingesteld.

4. Belangrijkste Bijdragen

1. Diagnose van Eindige-CEM Latente Planning: Het artikel toont experimenteel en theoretisch aan dat zelfs met een oracle-dynamics wereldmodel, finite-budget planners falen door zoekbeperkingen (voorstelvolume) in plaats van voorspelfouten.
2. De IMWM-methode: Een nieuwe architectuur die een contrastief intuïtie-model integreert met een wereldmodel via Retrieval Initialisatie, Hybride Kosten en een Betrouwbaarheidsgate.
3. Empirische Winsten: Significante verbeteringen ten opzien van wereldmodel-alleen baselines op vier pixel-gebaseerde doelbereik-taken zonder per taak de kernalgoritme te tunen.

5. Experimentele Resultaten

De methode werd geëvalueerd op een raster van 48 cellen (4 taken $\times$ 12 seeds) met behulp van het stable-worldmodel platform. De taken waren: Two-Room, Reacher, Push-T, en OGBench-Cube.

• Two-Room: IMWM bereikte een succespercentage van 99,2%, een verbetering van 11,5 procentpunt (pp) ten opzien van de baseline (87,7%).
• OGBench-Cube: IMWM bereikte een succespercentage van 94,7%, een enorme verbetering van 28,5 pp ten opzien van de baseline (66,2%).
• Push-T: IMWM bereikte 92,7%, een verbetering van 2,8 pp (baseline 89,8%).
• Reacher: IMWM bereikte 83,8%, bijna gelijk aan de baseline (83,2%, +0,7 pp). In dit geval koos de Reliability Gate correct voor het "forward-only fallback" recept, omdat het intuïtie-signaal niet nuttig was.

Ablatie studies:

• Retrieval Initialisatie: Het inschakelen van enkel retrieval zorgde voor een significante boost in prestaties op zoekbeperkte taken (bijv. OGBench-Cube van 66,2% naar 88,3%), maar verslechterde de prestaties op taken waar het wereldmodel al sterk was (Reacher), wat de noodzaak van de gate valideert.
• Hybride Kosten: De volledige configuratie (zowel intuïtie als wereldmodel kosten) presteerde beter dan het gebruik van slechts één van beide termen.
• Reliability Gate: Geen enkel vast recept werkte het beste over alle taken heen. De adaptieve gate selecteerde succesvol het optimale recept voor elke taak automatisch, waarbij de prestaties overeenkwamen met een handmatig getunede best-case scenario.

6. Betekenis en Claims

Het artikel claimt dat de primaire bottleneck in latente wereldmodel-planning vaak de zoekstrategie is, en niet de voorspellende nauwkeurigheid van het model. Door een "intuïtie"-mechanisme te introduceren dat afgeleid is van demonstraties, concentreert IMWM het zoekbudget effectief op veelbelovende regio's in de actieruimte, waarmee de volumebeperkingen van blind sampling worden omzeild.

De auteurs benadrukken dat:

• De verbeteringen niet te danken zijn aan een beter wereldmodel of per taak instellen van hyperparameters; de algoritmische familie en de getrainde artefacten zijn vast, alleen de selectie van het recept door de gate varieert op basis van vooraf berekende diagnostiek.
• De aanpak complementair is: het intuïtie-model vervangt het wereldmodel niet, maar stuurt het aan.
• Beperkingen: De betrouwbaarheidsgate is handmatig ontworpen met vaste drempelwaarden (hoewel interpreteerbaar), de resultaten zijn beperkt tot één benchmarkfamilie van pixel-gebaseerde taken, en de methode vereist momenteel succesvolle demonstraties om de intuïtie-bank op te bouwen. De auteurs claimen geen transfer naar real-robot control of bredere benchmarks zonder verder werk.

Concluderend demonstreert IMWM dat het koppelen van een wereldmodel aan een op retrieval gebaseerd intuïtie-model de "zoekfout"-modus van latente planning kan oplossen, waarbij een state-of-the-art prestatie wordt behaald op specifieke doelbereik-taken waar pure wereldmodel-planning moeite mee heeft.