Technische Samenvatting: Waarom Latente Acties Falen en Hoe Dit Te Voorkomen

Probleemstelling

Latente Actie Modellen (LAM's) streven ernaar actie-relevante representaties te leren uit niet-gelabelde video's door frame-tot-frame veranderingen te comprimeren, en bieden zo een oplossing voor het gebrek aan actie-gelabelde datasets in robotica in de echte wereld. In "in-the-wild" video's bevatten observaties echter niet alleen de endogene toestand van de agent, maar ook exogene toestanden (bijvoorbeeld achtergrondrommel, camerabeweging, veranderingen in verlichting). Deze exogene factoren introduceren frame-overgangen die niets te maken hebben met de acties van de agent.

Vorige werken hebben waargenomen dat LAM's die zijn getraind met standaard reconstructiedoelstellingen vaak falen in het afstemmen op grond-waarheid acties in dergelijke omgevingen. In plaats van actiedynamica te leren, coderen latente acties spurious exogene ruis. Hoewel empirische oplossingen bestaan (bijvoorbeeld extra supervisie, multi-view data), ontbreekt er een verenigde theoretische analyse die uitlegt waarom standaard doelstellingen falen in aanwezigheid van exogene ruis of waarom specifieke extra doelstellingen dit falen mitigeren.

Methodologie

De auteurs stellen een verenigd theoretisch raamwerk voor gebaseerd op het Exogene Block Markov Decision Process (Ex-BMDP) om het leren van latente acties te analyseren.

1. Theoretisch Kader: Ex-BMDP

De auteurs breiden de standaard Block MDP (BMDP) uit om exogene ruis expliciet te modelleren. In deze formulering:

• De latente toestand $x$ wordt ontbonden in een endogene toestand $s$ (controleerbaar door de agent) en een exogene toestand $\xi$ (onafhankelijk van de acties van de agent).
• De overgangsfuncties en initiële verdelingen zijn ontkoppeld: $T(x'|x, a) = T_s(s'|s, a)T_\xi(\xi'|\xi)$.
• Observaties worden gegenereerd via een deterministische emissiekaart $o = h(s, \xi)$, die een visuele encoder $f$ omvat.

2. Lineaire LAM-analyse

Om theoretische hanteerbaarheid te waarborgen, analyseren de auteurs eerst een Lineaire LAM-instelling waarin:

• Observatie-overgangen additief zijn: $o' = o + \phi_\xi(a) + \epsilon$, waarbij $\phi_\xi(a)$ het actie-effect is en $\epsilon$ exogene ruis die voortkomt uit toestandsveranderingen ($\xi \to \xi'$).
• Het inverse dynamisch model ($\psi_{IDM}$) en het forward dynamisch model ($\psi_{FDM}$) lineaire kaarten zijn.
• Het standaarddoel het minimaliseren van de reconstructiefout is $L_{LAM} = \mathbb{E}[\|o' - \hat{o}'\|_2^2]$.

3. Extra Doelstellingen

De auteurs herformuleren twee families van bestaande extra doelstellingen binnen het Ex-BMDP-raamwerk:

• Cross-Exogene Reconstructie ($L_{X-exo}$): Gebruikt gepaarde observaties uit verschillende exogene toestanden ($\xi, \tilde{\xi}$) die dezelfde endogene toestand delen om consistentie af te dwingen.
• Exogeen-Robuste Doelvoorspelling ($L_{\xi-robust}$): Superviseert de latente actie met een doel $y$ (bijvoorbeeld grond-waarheid acties of optische flow) dat robuust is tegen exogene variaties (d.w.z. $y$ blijft gelijk, ongeacht $\xi$).

Belangrijkste Bijdragen

1. Identificatie van "Toekomstlekkage"

De auteurs bewijzen dat het minimaliseren van de standaard reconstructiedoelstelling $L_{LAM}$ in aanwezigheid van exogene ruis toekomstlekkage veroorzaakt.

• Mechanisme: Omdat het forward-model $\psi_{FDM}$ de toekomstobservatie $o'$ moet reconstrueren (die de toekomstige exogene toestand $\xi'$ bevat), en $\xi'$ niet beschikbaar is als invoer, wordt de latente actie $z$ gedwongen informatie over $\xi'$ te coderen.
• Resultaat: Proposition 4.2 toont aan dat geen enkele globale minimalizer van $L_{LAM}$ een latente actie toestaat die onafhankelijk is van $\xi'$. Bijgevolg absorbeert $z$ exogene informatie uit het toekomstframe, wat de capaciteit vermindert die beschikbaar is voor het coderen van de daadwerkelijke actiedynamica.

2. Rol van Sensitiviteit van de Visuele Encoder

De analyse onthult dat de energie van de exogene ruis in de latente ruimte wordt beheerst door de sensitiviteit van de visuele encoder voor exogene veranderingen.

• De ruisenergie is evenredig met de frequentie van exogene toestandswisselingen en de sensitiviteit van de emissiefunctie $h$ voor $\xi$.
• Empirische resultaten tonen aan dat encoders zoals DINOv2, die object-gericht en robuust zijn tegen achtergrondvariaties, deze sensitiviteit aanzienlijk verminderen in vergelijking met ruwe pixel-invoer, wat leidt tot betere afstemming op acties.

3. Theoretische Rechtvaardiging van Extra Doelstellingen

Het artikel levert bewijzen die aantonen hoe extra doelstellingen exogene interferentie mitigeren door consistentie over exogene toestanden af te dwingen:

• Cross-Exogene Reconstructie: Onder lineaire aannames is het minimaliseren van $L_{X-exo}$ equivalent aan Canonische Correlatieanalyse (CCA). Dit onderdrukt overgangscomponenten die variëren met specifieke exogene toestanden, terwijl componenten die over hen heen behouden blijven (d.w.z. door acties aangedreven veranderingen) behouden blijven.
• Exogeen-Robuste Voorspelling: Proposition 4.8 demonstreert dat het voorspellen van een doel $y$ dat $\eta$-robuust is voor exogene toestanden een expliciete bovengrens biedt voor het verschil in latente acties over verschillende exogene toestanden. Het minimaliseren van dit verlies dwingt de latente actie om consistent te zijn, ongeacht de achtergrond.

Experimentele Resultaten

Lineaire LAM-experimenten

Met synthetische data met gecontroleerde exogene wisselkansen ($p_{switch}$):

• Validatie van Toekomstlekkage: Experimenten bevestigden dat latente acties toekomstige exogene toestanden coderen. Toen de exogene toestand van het volgende frame tijdens inferentie werd verwisseld, verschuifde de reconstructie-uitvoer om overeen te komen met het verwisselde frame, wat het "shortcut"-gedrag bevestigde.
• Ruisgevoeligheid: Naarmate de sensitiviteit van de observatie voor exogene veranderingen ($\alpha$) toenam, verslechterde de Genormaliseerde Gemiddelde Kwartafwijking (NMSE) voor actievoorspelling, wat de theoretische link tussen encoder-sensitiviteit en falen valideert.
• Effectiviteit van Extra Doelstellingen: Het toevoegen van $L_{X-exo}$ of $L_{\xi-robust}$ aan de standaardloss verbeterde consistent de afstemming op acties en verminderde de variantie van latente acties over exogene toestanden.

Niet-lineaire (Praktische) LAM-experimenten

Om generaliseerbaarheid te testen, trainden de auteurs een niet-lineaire LAM (VQ-VAE met CNN/UNet) op een grid-world-dataset met multiplicatieve exogene ruis (in strijd met de lineaire aannames):

• Vanilla LAM: Naarmate de ruisintensiteit toenam, codeerde het model exogene gebieden, wat leidde tot hoge consistentieverlies en lage MSE voor exogene gebieden (wat betekent dat het de ruis voorspelde).
• Augmented LAM: Modellen getraind met $L_{X-exo}$ of $L_{\xi-robust}$ behielden een hoge MSE voor exogene gebieden (het negeren van de ruis) en een lage consistentieverlies over alle ruisniveaus.
• Conclusie: De theoretische inzichten met betrekking tot toekomstlekkage en de voordelen van consistentie-afdwingende doelstellingen gelden zelfs wanneer de lineariteits- en additiviteitsaannames worden geschonden.

Betekenis en Beweringen

Het artikel claimt een verenigde theoretische analyse te bieden van het falen van het leren van latente acties in aanwezigheid van exogene ruis. De primaire betekenis ligt in:

1. Uitleg van Falingsmodi: Het identificeert formeel "toekomstlekkage" als het mechanisme waarmee standaard reconstructiedoelstellingen het leren van acties verslechteren, in plaats van het fenomeen alleen empirisch te observeren.
2. Vereniging van Oplossingen: Het demonstreert dat diverse extra doelstellingen (multi-view, actiesupervisie, optische flow) een gemeenschappelijk theoretisch mechanisme delen: ze dwingen consistentie van latente acties over exogene toestanden af.
3. Ontwerpsturing: Het benadrukt het kritieke belang van de sensitiviteit van de visuele encoder voor exogene factoren, wat suggereert dat robuuste feature-extractoren een vereiste zijn voor effectieve LAM's.

De auteurs concluderen dat hoewel hun theoretische bewijzen vertrouwen op lineaire aannames, de empirische validatie op niet-lineaire modellen suggereert dat deze principes uitbreiden naar praktische, real-world scenario's voor het leren van latente acties.