Multi-scale Mixture of World Models for Embodied Agents in Evolving Environments

Technische Samenvatting: MuSix – Multi-scale Mixture of World Models voor Embodied Agents

Probleemstelling

Embodied agents aangedreven door Vision-Language Models (VLM's) worden geconfronteerd met aanzienlijke uitdagingen bij het opereren in realistische, niet-stationaire omgevingen. Hoewel recente vooruitgang de instructie-opvolging heeft verbeteren, hebben deze agents moeite met multi-scale redeneren (het integreren van laag-niveau fysieke dynamiek met hoog-niveau abstracte inferentie) en continue adaptatie aan veranderende omstandigheden.

De auteurs identificeren twee specifieke beperkingen bij het toepassen van standaard Mixture of Experts (MoE) architecturen in dit domein:

1. De Mixture Challenge: Conventionele MoE-routing mist een expliciet begrip van "schaal". Routing-beslissingen zijn gebaseerd op latente representaties zonder ze te koppelen aan identificeerbare schalen, wat gerichte updates naar specifieke kennisgranulariteiten tijdens de testtijd verhindert.
2. De Evolution Challenge: Een uniform updatebeleid kan niet voldoen aan de verschillende snelheden waarmee kennis veroudert. Laag-niveau kennis (bijv. lokale dynamiek) verandert frequent, terwijl hoog-niveau abstracties (bijv. regels) stabiel blijven. Standaard MoE dwingt alle experts om met dezelfde snelheid te evolueren, wat effectieve adaptatie belemmert.

Methodologie: MuSix Framework

Het paper stelt MuSix voor, een framework dat world models integreert via schaal-bewuste mixing en evolutie. De kerninnovatie is het funderen van routing-beslissingen in ervaringsafstand (experiential distance), een scalaire maatstaf voor situationele nieuwheid geïnspireerd door de Construal Level Theory (CLT). CLT stelt dat psychologische afstand het niveau van abstractie in menselijk redeneren bepaalt; MuSix operationaliseert dit door de kloof tussen huidige observaties en geaccumuleerde ervaring te mappen naar een continue schaalruimte.

1. Twee-fasen Schaal-gebaseerde Routing

Om de mixture challenge aan te pakken, ontkoppelt MuSix routing in twee fasen:

• Fase 1: Meta-Router (Bepaling van Schaal): Een continue meta-router ($MR$) mapt de ervaringsafstand ($\delta$) naar een gewichtfunctie over een continue schaalruimte ($S$).
  • Ervaringsafstand ($\delta$): Berekend als de Mahalanobis-afstand tussen de huidige observatie-embedding en een gewogen distributie van de ervaring van de agent uit het verleden binnen een episode. Een hoge $\delta$ duidt op nieuwheid; een lage $\delta$ duidt op bekendheid.
  • Scale-Aware Loss: Een loss-functie ($\mathcal{L}_{space}$) stemt de verwachte schaalmagnitude af op $\delta$, waardoor wordt gewaarborgd dat bekende situaties naar laag-schaal modellen (concrete patronen) routeren en nieuwe situaties naar hoog-schaal modellen (abstracte generalisatie).
• Fase 2: Base Router (Selectie van World Model): De schaal-gewichten van de meta-router worden geïntegreerd met per-schaal base router scores om een top-$k$ subset van world models uit $G$ groepen te selecteren. Dit zorgt ervoor dat de schaal van de routing-beslissing expliciet is.

2. Intra- en Inter-Schaal Kennisadaptatie

Om de evolution challenge aan te pakken, introduceert MuSix mechanismen voor test-time training:

• Intra-Schaal Adaptatie: Kennis-incrementen (afgeleid van voorspellingsfouten) worden verdeeld over groepen op basis van de output van de meta-router. Cruciaal is dat schaal-afhankelijke vergeet-snelheden worden toegepast: laag-schaal groepen hebben een hoge vergeet-snelheid (snelle verversing), terwijl hoog-schaal groepen een lage vergeet-snelheid hebben (persistentie van stabiele abstracties).
• Inter-Schaal Adaptatie: Een gated cross-scale transfer mechanisme staat toe dat kennis bidirectioneel stroomt tussen naburige schalen. Gating-parameters moduleren de informatiestroom, waardoor updates op één niveau informatie kunnen geven aan aangrenzende niveaus terwijl hiërarchische coherentie behouden blijft.

Belangrijkste Bijdragen

1. MuSix Framework: Een multi-scale mixture of world models die dynamische mixing en evolutie van world models mogelijk maakt tijdens de testtijd, gefundeerd in ervaringsafstand.
2. Twee-fasen Routing: Een nieuwe routing-architectuur die de bepaling van schaal expliciet scheidt van de selectie van het world model, wat gerichte updates op de juiste schaal mogelijk maakt.
3. Adaptatie-mechanismen: Intra- en inter-schaal adaptatiestrategieën die rekening houden met de verschillende temporele karakteristieken, waardoor snelle aanpassing aan transiënte details mogelijk is terwijl stabiele abstracties behouden blijven.
4. Empirische Validatie: Demonstratie van de effectiviteit van het framework op multi-scale redeneer- en dynamische adaptatie-benchmarks.

Experimentele Resultaten

De auteurs evalueerden MuSix op EmbodiedBench (multi-scale redeneren) en HAZARD (dynamische adaptatie in rampenscenario's).

• EmbodiedBench (Habitat): MuSix behaalde een verbetering van 6,05 procentpunt (p.p.) ten opzichte van de state-of-the-art SayCanPay baseline (40,44% vs. 34,39% gemiddelde succesratio). Het toonde substantiële winsten in complexe redeneer (Cpx) en visuele begrijpings- (Vis) taken.
• HAZARD (Brand/Overstroming): MuSix behaalde een verbetering van 1,49 p.p. ten opzichte van FLARE in het Brand-scenario (43,71 vs. 42,22 reddingswaarde). In het Overstromings-scenario waren de reddingswaarden weliswaar vergelijkbaar, maar verminderde MuSix de schadeverhouding aanzienlijk (4,65 vs. 6,60–7,49 voor de baselines), wat wijst op efficiënter gedrag.
• Real-World Robotica: Experimenten op een Franka Research 3 robotarm toonden aan dat MuSix qua gemiddelde succesratio vergelijkbaar presteerde met de sterkste baseline (SayCanPay) (56,2% vs. 58,4%), terwijl het de hoogste worst-case prestaties behaalde over diverse taken.
• Ablatie-studies: Het verwijderen van de meta-router veroorzaakte de grootste prestatiedegradatie, wat de noodzaak van twee-fasen routing bevestigt. Het uitschakelen van de schaal-afhankelijke vergeet-snelheid of de cross-scale transfer verminderde ook consistent de prestaties, wat de adaptatie-mechanismen valideert.

Betekenis en Claims

Het paper claimt dat MuSix succesvol de beperkingen van conventionele MoE in embodied AI aanpakt door schaal-bewustzijn en hiërarchische evolutie te introduceren. Door routing te funderen in ervaringsafstand, stelt het framework de agents in staat om:

• Dynamisch het passende abstractieniveau te selecteren voor een gegeven situatie.
• Specifieke kennisgranulariteiten bij te werken zonder het gehele systeem te verstoren (wat catastrofale vergetelheid tegengaat).
• Een balans te vinden tussen snelle adaptatie aan lokale veranderingen en de stabiliteit van hoog-niveau strategieën.

De auteurs merken op dat de effectiviteit van het framework voortkomt uit het routing-mechanisme zelf en niet uit specifieke world model architecturen, aangezien het robuust presteerde over diverse architecturale varianten. Ze erkennen echter bescheiden dat het framework de beperkingen van de onderliggende VLM-backbone erft en dat bredere validatie over diverse robotplatforms een noodzakelijke toekomstige stap is.