Technische Samenvatting: Enfold – Het vouwen van de computationele wereldgeneratie in voorspellende representaties voor efficiënte belichaamde controle

1. Probleemstelling

Wereldgeneratieve modellen (WGM's) zijn opgekomen als krachtige fundamenten voor belichaamde controle (embodied control), in staat om toekomstige observaties te synthetiseren om de evolutie van scènes, objectinteracties en bewegingen op lange termijn te anticiperen. De huidige implementatiestrategieën voor deze modellen kampen echter met een fundamentele efficiëntie-bottleneck. Dominante benaderingen vertrouwen doorgaans op output-niveau interfaces:

• Imagine-then-act: Het materialiseren van een volledige visuele toekomst voordat een actie wordt hersteld.
• Unified World-Action Models: Het gezamenlijk decoderen van video en acties, wat vaak vereist dat de generator tijdens de inferentie draait.
• Latent Context: Het gebruik van interne kenmerken of caches uit een generatieve tak, wat nog steeds vaak het uitvoeren van het generatieve proces vereist of vertrouwt op bevroren encoders die de generatieve computation niet blootstellen.

Het kernprobleem dat dit werk adresseert, is of de interne computation die een toekomst construeert — speciftig de tussenliggende toestanden van een wereldgenerator die verschijning, ruimtelijke lay-out en interactie over abstractieniveaus organiseren — kan worden geïnternaliseerd in een representatie die uitsluitend uit het heden wordt afgeleid. Indien succesvol, zou dit een robot in staat stellen om toegang te krijgen tot toekomstgerichte structurele kennis zonder de kostbare generatieve tak tijdens de control loop uit te voeren, waardoor de latentie wordt verminderd terwijl de voorspellende capaciteit behouden blijft.

2. Methodologie: Het Enfold-framework

Enfold stelt een framework voor dat de toekomstige generatieve computation van een wereldgenerator overdraagt naar een current-only voorspellende representatie. De architectuur bestaat uit drie componenten: een voorspellende encoder ($U_\phi$), een generatieve wereldmodel ($G_\theta$) en lichtgewicht task heads.

2.1 Kernmechanisme: Bidirectionele Koppeling

Het framework wordt getraind via twee gekoppelde doelstellingen die de rollen van de generator en de encoder scheiden:

1. Generator-to-Representation (G2R):

   • Proces: Tijdens de training verwerkt de generator ($G_\theta$) een geobserveerd toekomstig videoblok ($y$) onder een teacher-forced pass, waarbij de tussenliggende verborgen toestanden ($H_\theta$) over verschillende netwerkdieptes en corruptie-tijdstappen worden blootgesteld.
   • Supervisie: Een voorspellende encoder ($U_\phi$), die alleen de huidige visuele context ($c$) en taalinstructie ($e$) ziet, wordt getraind om deze multi-level generator-toestanden te voorspellen.
   • Doelconstructie: Het doel is niet een enkele laag, maar een concatenatie van geselecteerde toestanden uit meerdere dieptes ($A(H_\theta)$), verwerkt door een tijdstap-geconditioneerde head ($F_\omega$). Dit houdt rekening met het feit dat de meest informatieve laag verschuift met het corruptieniveau en de diepte.
   • Constraint: De generator-toestanden zijn losgekoppeld van de task-gradiënten. De encoder leert de structuur van de toekomstige transitie te voorspellen zonder gevormd te worden door de specifieke actie-uitkomsten.

2. Representation-to-Generation (R2G):

   • Proces: De geleerde representatie ($\bar{z}$, een stop-gradient kopie van de encoder output) wordt teruggevoerd om de toekomstige generatie in de generator ($G_\theta$) te conditioneren.
   • Doelstelling: De generator wordt getraind om het snelheidveld van de toekomst te voorspellen, geconditioneerd op $c$, $e$, en $\bar{z}$.
   • Doel: Dit fungeert als een functionele test, die garandeert dat de representatie $z$ voldoende voorspellende informatie bevat om de toekomstige modellering te verbeteren, in plaats van slechts een policy-specifieke samenvatting te zijn.

3. Ontkoppelde Task Readouts:

   • Task heads (bijv. actievoorspelling) lezen de representatie $z$ (via een stop-gradient) om acties te voorspellen.
   • Cruciaal Ontwerp: Task-gradiënten stromen niet terug naar de encoder $U_\phi$. Dit zorgt ervoor dat de representatie de transitie-structuur behoudt die vanuit de huidige staat wordt geanticipeerd, in plaats dat het overfit op hinderlijke variaties in de specifieke traject van de teacher.

2.2 Inferentie en Implementatie

Bij implementatie voert het systeem alleen de voorspellende encoder en de actie-head uit. De video-generator wordt niet uitgevoerd voor actievoorspelling.

• Actievoorspelling: De actie-head genereert actie-chunks direct vanuit $z$.
• Toekomstige Imaginatie: Als een visuele toekomst expliciet wordt opgevraagd (bijv. voor visualisatie), wordt de generator $G_\theta$ gebruikt om te samplen uit $p_\theta(y | c, e, z)$.
• Reductie van Latentie: Door de generator uit het controlepad te verwijderen, bereikt Enfold significante reducties in latentie vergeleken met methoden die video-rollouts of gekoppelde decodering vereisen.

3. Belangrijkste Bijdragen

Het artikel claimt de volgende bijdragen:

1. Formulering van de Voorspellende Supervisieruimte: De auteurs formuleren de multi-level interne computation van een wereldgenerator als een voorspellende supervisieruimte, waarbij zij karakteriseren hoe de bruikbaarheid en stabiliteit variëren over netwerkdiepte en corruptieniveaus.
2. Het Enfold-framework: De ontwikkeling van een methode die toekomstige generatieve computation destilleert in een current-only representatie, die dient als een gedeelde interface voor zowel toekomstige generatie als stop-gradient task readouts.
3. Efficiënte Controle zonder Rollout: De demonstratie dat deze interface competitieve controle ondersteunt in gesimuleerde en real-world taken zonder de generator uit te voeren in het actiepad, terwijl het tegelijkertijd de toekomstige videovoorspelling verbetert en de actie-latentie substantieel vermindert.

4. Experimentele Resultaten

Het framework werd geëvalueerd op LIBERO (40 taalgeconditioneerde taken), RoboTwin2.0 (50 duaal-arm taken met domein-randomisatie) en real-world bimanuele manipulatie (AgileX platform).

4.1 Controleprestaties en Latentie

• LIBERO: Enfold behaalde een gemiddelde succesratio van 97,8% zonder embodied pre-training, waarmee het Fast–WAM (97,6%) versloeg en modellen zoals $\pi0$ en OpenVLA evenaarde of overtrof.
  • Latentie: Enfold reduceerde de actie-latentie naar 134 ms (3,7$\times$ sneller dan Fast–WAM). De geoptimaliseerde Enfold-Flash variant bereikte 49 ms (10,1$\times$ sneller).
• RoboTwin2.0: Enfold behaalde een gemiddelde succesratio van 91,77% (clean en randomized), vergelijkbaar met Fast–WAM (91,83%) en iets lager dan LingBot-VA (92,20%), ondanks het ontbreken van embodied pre-training.
• Real-World: Op vier bimanuele taken behaalde Enfold een in-distribution completion score van 89,7%, wat significant beter is dan Fast–WAM (77,8%) en $\pi0.5$ (86,1%). Onder out-of-distribution (OOD) verschuivingen behield Enfold een score van 76,6%, waarmee het Fast–WAM met 6,6 punten versloeg.

4.2 Adaptatie en Counterfactual Consistentie

• Interventietests: Wanneer menselijke interventie de scène veranderde (bijv. het verplaatsen van een object) terwijl het doel gelijk bleef, pasten de uitgevoerde acties en de geïmageerde continuaties van Enfold zich aan de nieuwe staat aan.
• Significantie: Dit gedrag contrasteert met fixed trajectory replay en biedt kwalitatief bewijs dat de representatie counterfactual consistentie bevat en kan herplannen op basis van de gewijzigde huidige staat.

4.3 Ablatie en Representatie-analyse

• Supervisie Targets: Multi-level generator state supervisie presteerde beter dan zowel future-pixel voorspelling als action-only targets.
• R2G Validatie: Het conditioneren van de generator op de geleerde representatie verbeterde de toekomstige video-voorspellingsmetrieken (PSNR, SSIM, LPIPS), wat de bruikbaarheid van de representatie buiten louter controle bevestigt.
• Nuisance Suppressie: Analyse toonde aan dat Enfold nuisance variaties (bijv. verandering in verlichting, generatieve ruis) onderdrukt die aanwezig zijn in de ruwe generator-features, terwijl de taak-relevante structuur behouden blijft.
• Toekomstgerichte Encoding: Probes toonden aan dat de representatie steeds voorspellender wordt voor scèneregio's die over langere horizonten veranderen (bijv. bewegende robotarmen en gemanipuleerde objecten) vergeleken met statische visuele kenmerken.
• Token Geometrie: Visualisatie van token-gelijkenis toonde aan dat Enfold de representatie organiseert om interactierelaties (gripper-object contact) te benadrukken in plaats van enkel visuele gelijkenis.

5. Betekenis en Claims

Het artikel stelt dat Enfold de rol van een wereldgenerator herdefinieert van een runtime simulator naar een training-time bron van gestructureerde voorspellende supervisie.

• Internalisering van Computation: De primaire claim is dat "de toekomst niet bij elke stap gematerialiseerd hoeft te worden als de interne structuur ervan in het heden kan worden ingevouwen."
• Asymmetrie: Het framework maakt gebruik van een asymmetrie waarbij de encoder stochastische, toekomstafhankelijke toestanden voorspelt zonder toegang tot de toekomst. Dit dwingt de encoder om transitie-structuren te behouden die vanuit de huidige staat te anticiperen zijn, in plaats van elke nuisance variatie van de teacher te reproduceren.
• Efficiëntie vs. Capaciteit: De resultaten laten zien dat het verwijderen van de generatieve tak uit de controle-loop de kwaliteit van de controle niet schaadt; in plaats daarvan maakt het real-time prestaties mogelijk (sub-50ms latentie) terwijl het in staat blijft om toekomsten te "imagineren" wanneer dit expliciet wordt gevraagd.
• Generalisatie: De methode toont robuustheid tegen distributieverschuivingen en menselijke interventie, wat suggereert dat de geleerde representatie een meer causale en aanpasbare begrip van de omgeving vastlegt dan eenvoudige trajectory replay mechanismen.

De auteurs blijven bescheiden over de reikwijdte en merken op dat het bewijs voor interventie kwalitatief is en dat robuustheid onder grote distributieverschuivingen (vergeleken met modellen met zware pre-training) een openstaand vraagstuk blijft. Zij vestigen echter een breder principe: rijke generatieve computation kan worden geïnternaliseerd tijdens het leren en efficiënt worden hergebruikt voor controle.