Technische Samenvatting: DiLA: Ontkoppelde Latente Actie Wereldmodellen

1. Probleemstelling

Latente Actie Modellen (LAM's) streven er naar om wereldmodellen te leren van ongelabelde video door abstracte acties tussen opeenvolgende frames te infereren, dienend als vervangers voor expliciete besturingssignalen. Echter, bestaande LAM's staan voor een fundamentele afweging, de "LAM-afweging", tussen actie-abstrahering en generatie-trouw.

• Het Dilemma: Om te waarborgen dat acties overdraagbaar en abstract zijn, leggen modellen doorgaans sterke voorspellende bottlenecks op (bijvoorbeeld Vector Quantization of variational bottlenecks). Hoewel deze abstrahering stimuleren, verstoren ze vaak de intrinsieke manifold van de latente actieruimte, wat leidt tot oververeenvoudiging en een verminderde kwaliteit van videogenatie. Omgekeerd verbetert het versoepelen van deze bottlenecks de generatie, maar resulteert dit in verweven representaties waarbij latente acties irrelevante visuele details vastleggen in plaats van pure dynamiek.
• Huidige Beperkingen: De meeste bestaande benaderingen prioriteren abstrahering ten koste van de generatiekwaliteit, vaak door disjuncte, twee-traps trainingsparadigma's aan te nemen waarbij het Forward Dynamics Model (FDM) wordt verworpen ten gunste van aparte, vooraf getrainde diffusiemodellen. Anderen vertrouwen op expliciete scheiding van beweging (bijvoorbeeld optische stroom) van inhoud, maar falen in het gezamenlijk optimaliseren van deze processen binnen één enkel zelftoezichtend raamwerk.

2. Methodologie: DiLA

De auteurs stellen DiLA (Disentangled Latent Action) voor, een nieuw wereldmodel dat de LAM-afweging oplost via inhoud-structuur ontkoppeling. De kerninzicht is dat ontkoppeling en het leren van latente acties co-evolueren: de voorspellende bottleneck inherent aan het leren van latente acties fungeert als een drijvende kracht voor ontkoppeling.

Architectuur

DiLA verwerkt videoseries via twee gespecialiseerde paden, met gebruikmaking van een DINOv2-encoder voor kenmerkextractie en een vooraf getrainde RAE-decoder voor visualisatie.

1. Structuurpad (Dynamiek):

   • Doel: Isolateer bewegingsgerelateerde ruimtelijke lay-outs (posities, vormen) om latente acties te leren die invariant zijn voor visuele inhoud.
   • Mechanisme: Een structuur-encoder comprimeert tokens tot structuur-embeddings ($s_t$). Een Inverse Dynamics Model (IDM) berekent abstracte latente acties ($z_t$) uit het temporale verschil van deze embeddings ($\Delta s_t$).
   • Beperking: Een strikte informatie-bottleneck dwingt het IDM om alleen structurele dynamiek te voorspellen. Het Forward Dynamics Model (FDM), geïmplementeerd als een lichtgewicht Spatial-Temporal Transformer, voorspelt de volgende structurele staat ($\hat{s}_{t+1}$) op basis van de huidige staat en de latente actie.
   • Drijvende Kracht: De bottleneck dwingt het model om bewegingsdynamiek te destilleren naar $z_t$, terwijl het statische visuele details uitbesteedt aan het inhoudspad, aangezien hoog-entropische inhoudsdetails niet effectief kunnen worden gecomprimeerd in de laag-dimensionale latente actie zonder de voorspellingsnauwkeurigheid te belemmeren.

2. Inhoudspad (Uiterlijk):

   • Doel: Extraheren en memoriseren van temporale-invariante visuele kenmerken (kleuren, texturen, landmerken).
   • Mechanisme: Een inhouds-encoder comprimeert tokens tot embeddings ($c_t$), die worden verwerkt door een Mamba-architectuur om historische context te aggregeren. Dit nabootst Slow Feature Analysis, waarbij statische kenmerken zich ophopen naarmate ze worden onthuld.
   • Rol: Het behoudt visuele details voor generatie met hoge trouw en behandelt geloofsupdates met betrekking tot verduisterde achtergronden, waardoor het structuurpad zich strikt kan specialiseren in fysieke dynamiek.

3. Fusie-decoder:

   • Combineert de voorspelde structurele staat ($\hat{s}_{t+1}$), het inhoudsgeheugen ($c^{mem}_t$) en de initiële visuele embedding ($e_0$) om de doelvisuele embedding ($\hat{e}_{t+1}$) te reconstrueren.
   • Conditionering op $e_0$ is cruciaal voor het leveren van hoogfrequente details die tijdens compressie verloren zijn gegaan.

Trainingsdoelen

DiLA wordt getraind met een zelftoezichtend teacher-forcing paradigma op videoseries zonder ground-truth actielabels. De totale loss ($L_{total}$) is een gewogen combinatie van:

• Visuele Latente Voorspelling ($L_e$): Het reconstrueren van de doel-embedding.
• Structuurvoorspelling ($L_s$): Het minimaliseren van de fout bij het voorspellen van de volgende structurele staat.
• Consistentie van Latente Actie ($L_z$): Het waarborgen van consistentie tussen voorwaarts en achterwaarts afgeleide acties.
• Regularisatie ($L_{reg}$): Dwingt groepssymmetrie af (inverse temporale transities leveren tegengestelde actievectoren op), beperkt de vectornorm om een compacte manifold te behouden, en regulariseert variantie om informatie-entropie te maximaliseren.

3. Belangrijkste Bijdragen

1. Unificerend Raamwerk: DiLA is het eerste ontkoppelde latente actie wereldmodel dat de afweging tussen latente actie-abstrahering en generatietrouw verzoent via inhoud-structuur ontkoppeling.
2. Co-evolutie Mechanisme: Het artikel demonstreert dat de voorspellende bottleneck fungeert als een drijvende kracht om ruimtelijke lay-outs te isoleren van uiterlijk, en omgekeerd, deze scheiding faciliteert het leren van hoogst abstracte latente acties.
3. Prestaties: Uitgebreide experimenten tonen aan dat DiLA superieure resultaten behaalt in videogenatiekwaliteit, actie-overdracht tussen verschillende embodimenten en visuele planning in vergelijking met state-of-the-art baselines.
4. Interpreteerbaarheid: Het model leert een gestructureerde, interpreteerbare latente actieruimte die downstream visuele planning ondersteunt en bewegingsdynamiek effectief scheidt van statisch uiterlijk.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op grote schaal datasets, waaronder Something-Something-v2 (SSv2), RT-1 (robotica), RECON (buiten navigatie) en LoopNav (Minecraft).

• Kwaliteit Videogenatie: Op SSv2 en RT-1 overtrof DiLA toonaangevende baselines (LAPA, Moto, AdaWorld, Villa-X) in zowel SSIM (structurele consistentie) als LPIPS (perceptuele gelijkenis). Opvallend genoeg resulteerde het verwijderen van het inhoudspad ("DiLA zonder inhoud") in aanzienlijk lagere generatiekwaliteit, wat de noodzaak van de dual-pad architectuur bevestigt.
• Actie-overdracht: DiLA slaagde erin latente acties over te dragen tussen verschillende embodimenten (bijvoorbeeld mens-naar-robot) en domeinen (virtueel-naar-reëel navigeren). Het behield hoge generatiekwaliteit tijdens het overdragen van complexe semantische acties zoals "opnemen" van objecten over veranderingen in gezichtspunt.
• Validatie van Ontkoppeling:
  • Herkoppelingsexperimenten: Door structuur uit één video te fuseren met inhoud uit een andere, genereerde DiLA series die de ruimtelijke dynamiek van de bron behielden terwijl ze het uiterlijk van de referentie erfden.
  • Isolatie van Beweging: Het bevriezen van de structuur-embedding terwijl het inhoudsgeheugen evolueerde, resulteerde in een volledig statische serie, wat bevestigt dat het inhoudspad geen bewegingsinformatie encodeert.
• Ablatie Studies:
  • Het verwijderen van de IDM/FDM-componenten veroorzaakte dat het model faalde in ontkoppeling, waarbij structuur-embeddings redundante inhoudsdetails behielden.
  • Het vervangen van de continue bottleneck door discrete (VQ) of Gaussische (VAE) priors leidde tot inferieure generatiekwaliteit en langzamere convergentie, wat suggereert dat rigide priors de intrinsieke laag-dimensionale manifold van latente acties verstoren.
• Visuele Planning: In de VP2-benchmark overtrof DiLA, aangepast voor Model Predictive Control (MPC), de baseline AdaWorld, met name in taken zoals "Push Button", wat zijn nut in robotbesturing demonstreert.

5. Betekenis en Claims

Het artikel claimt dat DiLA een unificerend raamwerk vestigt dat gelijktijdig hoog-niveau actie-abstrahering en generatie met hoge trouw bereikt, waardoor de grens van zelftoezichtend wereldmodel leren wordt verschoven.

• Oplossing van de Afweging: De auteurs betogen dat het ontkoppelen van structuur van inhoud de sleutel is tot het oplossen van de spanning tussen abstrahering en generatie. De voorspellende bottleneck is niet slechts een beperking, maar een mechanisme dat het model ertoe dwingt pure overgangsdynamiek te leren.
• Robuustheid: De geleerde latente actieruimte vormt een continue, semantisch gestructureerde manifold die overdracht ondersteunt tussen verschillende embodimenten en omgevingen zonder expliciete supervisie.
• Beperkingen: De auteurs erkennen bescheiden dat de inherente abstrahering van latente acties fijne controleprecisie kan opofferen, wat kan leiden tot instabiliteit in downstream video-naar-besturing taken. Zij merken ook op dat de huidige ontkoppeling ruimtelijke lay-outs scheidt van visuele details, maar nog niet volledig de ontkoppeling van multi-object dynamiek ondersteunt. Bovendien blijft de benadering vatbaar voor autoregressieve cumulatieve fouten bij videogenatie met een lange horizon.

Kortom, DiLA stelt dat door gebruik te maken van de voorspellende bottleneck om inhoud-structuur ontkoppeling te drijven, het mogelijk is wereldmodellen te leren die zowel abstract genoeg zijn voor planning en overdracht, als gedetailleerd genoeg voor generatie met hoge trouw.