Technische Samenvatting: Latente Acties uit Gefactoriseerde Transitie-effecten onder Agent-ambiguïteit

1. Probleemstelling

Latente Actie Modellen (LAMs) beogen actie-achtige proxies direct te leren uit observatie-transities (bijv. videoframes $x_t$ naar $x_{t+1}$) zonder expliciete actielabels. Hoewel effectief in gecontroleerde omgevingen waar de agent de dominante bron van verandering is, kampen LAMs met aanzienlijke agent-ambiguïteit in complexe scènes. In omgevingen met afleiders, bewegende achtergronden, cameradynamiek of gelede objecten is de visuele transitie $\Delta x_t$ een mengsel van de gecontroleerde beweging van de agent en ongecontroleerde exogene factoren.

Standaard LAMs comprimeren deze volledige transitie tot één monolithische latente vector. Zonder supervisie mist het model een basis om te onderscheiden welke waargenomen veranderingen toe te schrijven zijn aan de agent versus afleiders. Deze ambiguïteit leidt tot latente ruimtes waarin controleerbare beweging verstrengeld raakt met omgeving-specifieke ruis, wat de overdraagbaarheid en downstream beleidsleer (policy learning) belemmert. Bestaande benaderingen vertrouwen vaak op object-centrische priors of segmentatie, wat rigide aannames oplegt en de schaalbaarheid beperkt.

2. Methodologie

De auteurs stellen Observed Transition Factorization (OTF) voor, een bottom-up benadering die de visuele transitie niet beschouwt als een enkele gebeurtenis die gecomprimeerd moet worden, maar als een sparse compositie van herbruikbare waargenomen transitie-primitieven. Het framework bestaat uit twee hoofdfasen:

2.1. Observed Transition Factorization (OTF)

De eerste fase leert een gedeelde vocabulaire van lokale bewegingseffecten.

• Constructie van Input: Een bewegingsobservatie $o_t$ wordt geconstrueerd door een gradiënttransformatie (of Sobel) toe te passen op opeenvolgende frames en het verschil te berekenen. Dit benadrukt de waarneembare verandering terwijl de afhankelijkheid van statische verschijning en objectidentiteit wordt verminderd.
• Patchwise Vector Quantization: De bewegingsinput wordt opgedeeld in ruimtelijke patches. Elke patch wordt gecodeerd en gekwantiseerd in een discrete codeboek van grootte $K$ met behulp van een VQ-VAE-stijl objectief.
• Primitieven: Het codeboek leert herbruikbare waargenomen transitie-primitieven (bijv. lokale verplaatsing, randverschuivingen, rotatie-achtige residuen, contactdeformatie). Cruciaal is dat deze primitieven visuele effecten vertegenwoordigen in plaats van pure fysieke beweging of objectidentiteiten.
• Factor Representatie: Voor elke transitie geeft het model een gestructureerde set factoren $E_t = \{e_{t,k}\}_{k=1}^K$ uit, waarbij elke factor $e_{t,k}$ bestaat uit de codeboekvermelding, een bezettingskaart (ruimtelijke ondersteuning) en een activatiestärke.
• Trainingsdoel: De factorizer wordt getraind om de bewegingsobservatie $o_t$ te reconstrueren met behulp van de geselecteerde primitieven en de huidige frame $x_t$ als referentie voor verschijning, waarbij de reconstructiefout wordt geminimaliseerd naast standaard VQ-losses en een orthogonaliteitsregularisator om codeboekdiversiteit te waarborgen.

2.2. OTF-LAM: Actie Abstractie

Zodra de OTF-module is voorgetraind, wordt deze bevroren en wordt er een Latent Action Model bovenop getraind.

• State-Aware Abstractie: Het model neemt de factoren $E_t$ en de huidige staat $x_t$ en vormt hierm van een compacte latente actie $z_t^{act}$.
• Gating Mechanisme: Een "Action Abstraction Module" zet elke factor om in een state-aware token. Een gating netwerk wijst een relevantiegewicht $\alpha_{t,k}$ toe aan elke factor op basis van de huidige context, waardoor effectief wordt geselecteerd welke waargenomen transitie-primitieven relevant zijn voor de actie van de agent.
• Voorspelling: De geaggregeerde latente $z_t^{act}$ wordt gebruikt in een standaard inverse-forward dynamica framework om de volgende observatie (of een residuele update) te voorspellen.

2.3. OTF-LAM-Dino

Een decoder-vrije variant wordt geïntroduceerd om herbruikbare componenten verder te scheiden van omgeving-specifieke details.

• Bevroren Representatie: In plaats van de pixelruimte te voorspellen, voorspelt het model toekomstige staten in een bevroren DINOv2 representatieruimte.
• Architectuur: Zowel de visuele encoder (DINOv2) als de OTF bewegingsprimitie-extractor zijn bevroren. De leerbare componenten zijn beperkt tot de actie-aggregator en de forward dynamics predictor binnen de DINO feature ruimte. Dit dwingt het model om zich te concentreren op het abstraheren van de transitiestructuur die relevant is voor controle, in plaats van het reconstrueren van pixel-niveau texturen.

2.4. Beleidsleer (Policy Learning)

Om de geleerde latente ruimte te verbinden met real-world controle, wordt een kleine hoeveelheid actie-supervisie gebruikt. Een behavioral cloning policy brengt de latente actie $z_t^{act}$ in kaart naar ware acties, en een actie-decoder wordt getraind om de voorspelde latente terug te mappen naar de grondwaarheid-acties, waarbij de huidige observatie wordt gebruikt om ambiguïteit op te lossen over welk object de beweging van toepassing is.

3. Belangrijkste Bijdragen

1. Observed Transition Factorization (OTF): Een nieuwe methode om complexe visuele transities te deconstrueren in een sparse set van herbruikbare, gelokaliseerde primitieven voordat geprobeerd wordt latente acties te extraheren. Dit verschuift het leerdoel van "het herstellen van de ware actie" naar "het structureren van de waargenomen transitie-effecten."
2. OTF-LAM en OTF-LAM-Dino: Twee architecturen die de gefactoriseerde transitie-interface gebruiken. OTF-LAM-Dino toont specifiek aan dat het combineren van herbruikbare transitie-vocabularia met bevroren visuele staat-representaties (DINOv2) de downstream prestaties kan verbeteren door te fungeren als een regularisator tegen pixel-niveau nuisance factoren.
3. Zero-Shot Overdraagbaarheid: Empirisch bewijs dat de geleerde bewegingsprimitieven zero-shot overdraagbaar zijn tussen verschillende visuele dragers (bijv. verschillende cijferklassen in Moving MNIST) en belichaamde morfologieën (bijv. van Walker naar Cheetah in de Distracting Control Suite), wat aangeeft dat het codeboek algemene transitiestructuren vastlegt in plaats van omgeving-specifieke templates.
4. Robuustheid tegen Ambiguïteit: De methode laat zien dat het factoriseren van transities zorgt voor robuustere latente actie-lering in aanwezigheid van afleiders, waarbij het monolithic LAM baselines overtreft of matcht in complexe settings.

4. Experimentele Resultaten

Het paper evalueert de methode op de Distracting Control Suite (DCS) (Cheetah-Run en Walker-Run) en Moving MNIST.

• Herbruikbaarheid: In cross-morfologie en cross-carrier transfer experimenten vertoonde de OTF vocabulaire aanzienlijk lagere prestatiedegradatie vergeleken met monolithische VQ-VAE baselines. Bijvoorbeeld, in DCS behield de op de Walker-Run getrainde OTF vocabulaire een hoge reconstructiekwaliteit wanneer deze zero-shot werd toegepast op de Cheetah-Run, terwijl monolithische baselines grote fouttoenames leden (tot 71% degradatie versus ~20% voor OTF).
• Downstream Beleidsleer:
  • Op DCS bereikten OTF-LAM en OTF-LAM-Dino competitieve of superieure returns vergeleken met baselines zoals LAPO, FLAM en HiLAM.
  • OTF-LAM-Dino presteerde consequent beter dan de decoder-gebaseerde OTF-LAM, wat suggereert dat voorspellen in een bevroren representatieruimte effectiever is voor controle-taken dan pixelreconstructie.
  • De methode slaagde erin latente acties te distilleren naar policies die baselines evenaarden of overtroffen, zelfs wanneer de visuele transitie aanzienlijke afleider-ruis bevatte.
• Ablatie: De studie naar de codeboekgrootte ($K$) gaf aan dat hoewel grotere vocabularia over het algemeen hielpen in complexe omgevingen (Cheetah-Run), de prestaties niet strikt monotoon waren, wat suggereert dat een optimale capaciteit afhankelijk is van de omgeving en architectuur.

5. Betekenis en Claims

Het paper claimt dat gefactoriseerde geobserveerde effecten dienen als een superieure intermediaire representatie voor observatie-only latente actie-lering onder agent-ambiguïteit.

• Verschuiving in Perspectief: De auteurs beargumenteren dat onder observatie-only leren, de meest betrouwbare target niet de ware actie zelf is, maar de structuur van de geobserveerde transitie-effecten. Door de transitie te behandelen als een compositie van herbruikbare primitieven, kan het model controleerbare beweging scheiden van afleiders zonder te vertrouwen op rigide object-centrische priors.
• Generalisatie: De resultaten suggereren dat het leren van een "vocabulaire" van visuele transitie-effecten een betere generalisatie mogelijk maakt over verschillende agenten en visuele domeinen vergeleken met het leren van een enkele, monolithische latente actie per transitie.
• Bescheiden Omvang: De auteurs geven expliciet aan dat hun werk deze benaderingen evalueert in gecontroleerde settings en DCS afleider-omgevingen. Zij erkennen dat het uitbreiden hiervan naar rijkere, diversere video-game domeinen (bijv. scrollende camera's, diverse niet-agent dynamieken) toekomstig werk blijft. Zij beweren niet het algemene inverse probleem van actie-herstel zonder enige supervisie op te lossen, maar demonstreren dat een gefactoriseerde intermediaire representatie de robuustheid en overdraagbaarheid van de geleerde latente actie-interface aanzienlijk verbetert.