💻 computer science

Why Latent Actions Fail, and How to Prevent It

Dieses Papier zeigt analytisch, dass Standard-Latenz-Aktionsmodelle versagen, weil sie unbeabsichtigt exogene Hintergrundveränderungen kodieren, und beweist, dass die Fokussierung auf endogene Komponenten oder die Verwendung zusätzlicher Zielsetzungen wie der Aktionsüberwachung diesen Interferenzeffekt wirksam abschwächt.

Ursprüngliche Autoren: Jung Min Lee, Taehyun Cho, Li Zhao, Jungwoo Lee

Veröffentlicht 2026-05-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jung Min Lee, Taehyun Cho, Li Zhao, Jungwoo Lee

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Einem Roboter beibringen, „Aktionen" zu „sehen"

Stellen Sie sich vor, Sie möchten einem Roboter das Kochen beibringen, indem Sie ihm Tausende von Videos von Menschen beim Kochen zeigen. Allerdings haben Sie keine Beschriftungen, die dem Roboter sagen, was die Person tut (z. B. „schneiden", „rühren"). Sie haben nur das rohe Video.

Um dies zu lösen, verwenden Wissenschaftler Latente Aktionsmodelle (LAMs). Stellen Sie sich ein LAM wie einen Schüler vor, der versucht, die „Aktion" nur durch den Blick auf den Unterschied zwischen zwei Videobildern zu erraten. Wenn das Video eine Hand zeigt, die einen Löffel von einer Schüssel in einen Topf bewegt, sollte das Modell lernen, dass diese Bewegung „Rühren" bedeutet.

Das Problem: Der „abgelenkte Schüler"

Das Papier argumentiert, dass diese Modelle beim Lernen aus realen Videos („in-the-wild") oft versagen. Warum? Weil reale Videos chaotisch sind.

Stellen Sie sich vor, Sie versuchen, Jonglieren zu lernen, indem Sie ein Video ansehen.

Das Gute (Endogen): Die Hände des Jongleurs, die die Bälle bewegen. Dies ist die Aktion, die Sie lernen wollen.
Das Schlechte (Exogen): Die jubelnde Menge im Hintergrund, eine wackelnde Kamera oder ein vorbeifliegender Vogel. Dies ist „Rauschen".

Das Papier zeigt, dass Standard-LAMs wie abgelenkte Schüler sind. Statt sich auf die Hände des Jongleurs zu konzentrieren, merken sie sich versehentlich das Hintergrundrauschen. Wenn die Kamera im Video wackelt, denkt das Modell: „Ah, das 'Wackeln' ist die Aktion!" Es lernt das Falsche.

Warum passiert das? (Der „Zukunftsleck"-Effekt")

Die Autoren erklären dies mit einem cleveren Trick namens Zukunftsleck (Future Leakage).

Stellen Sie sich vor, das Modell versucht, das nächste Videobild basierend auf dem aktuellen Bild und einer geratenen „Aktion" vorherzusagen.

Der Abkürzungsweg: Es ist schwer vorherzusagen, wie sich der Hintergrund genau verändern wird. Aber es ist einfach, den Hintergrund aus dem nächsten Bild einfach zu kopieren, wenn man Zugriff darauf hat.
Der Fehler: Das Modell erkennt: „Hey, wenn ich die Hintergrundinformationen in meine 'Aktion'-Vermutung verstecke, kann ich sie einfach in das nächste Bild kopieren und bekomme eine perfekte Punktzahl!"

Also füllt das Modell das „Aktion"-Label mit Informationen über den Hintergrund (wie den Kamerawinkel oder die Menge) auf, weil es ihm hilft, beim Test zu schummeln. Es hört auf, die tatsächliche Roboterbewegung zu lernen, und beginnt stattdessen, die Kamerabewegung zu lernen.

Die Lösung: Zwei Wege, den Schüler zu reparieren

Das Papier schlägt zwei Hauptmethoden vor, um das Modell vom Schummeln abzuhalten und es zu zwingen, sich auf die echte Aktion zu konzentrieren.

1. Der „Multi-View"-Trick (Kreuz-exogene Rekonstruktion)

Stellen Sie sich vor, Sie beobachten den Jongleur gleichzeitig aus zwei verschiedenen Kameras.

Kamera A sieht den Jongleur mit einem roten Hintergrund.
Kamera B sieht den Jongleur mit einem blauen Hintergrund.
Die Aktion: Der Jongleur wirft einen Ball. Diese Aktion ist in beiden Videos gleich.

Das Papier schlägt vor, das Modell zu trainieren, beide Videos zu betrachten. Wenn das Modell versucht, die Aktion basierend auf dem roten Hintergrund zu erraten, wird es scheitern, wenn es den blauen Hintergrund betrachtet. Das Einzige, was in beiden Ansichten konsistent bleibt, ist die Handbewegung des Jongleurs.

Indem das Modell gezwungen wird, den „kleinsten gemeinsamen Nenner" zwischen verschiedenen Ansichten (oder verschiedenen Hintergründen) zu finden, lernt es, das Hintergrundrauschen zu ignorieren und sich nur auf die Aktion zu konzentrieren.

2. Der „Antwortbogen des Lehrers" (Exogen-robuste Überwachung)

Manchmal kann man keine zwei Kameras bekommen, aber man hat vielleicht ein wenig Hilfe. Vielleicht kennen Sie die Art der Bewegung (wie „optischer Fluss" oder einige beschriftete Aktionen), aber nicht die ganze Geschichte.

Das Papier schlägt vor, dem Modell ein „Ziel" zu geben, das immun gegen den Hintergrund ist.

Wenn Sie das Modell bitten vorherzusagen, „wie stark sich der Hintergrund verändert hat", wird es scheitern.
Wenn Sie das Modell bitten vorherzusagen, „wie stark sich die Hand bewegt hat", wird es erfolgreich sein, denn die Handbewegung ist dieselbe, egal ob der Hintergrund rot oder blau ist.

Indem Sie das Modell trainieren, diese „hintergrundfesten" Ziele vorherzusagen, zwingen Sie das Modell, seine „Aktion"-Vermutungen mit der tatsächlichen physikalischen Bewegung abzugleichen und das Rauschen zu ignorieren.

Der Beweis: Es funktioniert in Theorie und Praxis

Die Autoren haben nicht nur geraten; sie haben zwei Dinge getan:

Mathematik: Sie bauten eine vereinfachte, mathematische Version des Problems (wie eine Cartoon-Version eines Roboters) und bewiesen, dass das Modell ohne diese Korrekturen den Hintergrund lernen wird. Sie bewiesen auch, dass die beiden oben genannten Korrekturen das Modell mathematisch zwingen, den Hintergrund zu ignorieren.
Experimente: Sie testeten dies sowohl an einfachen mathematischen Modellen als auch an komplexen, realweltähnlichen KI-Modellen (unter Verwendung neuronaler Netze).
- Ergebnis: Als sie den „Multi-View"-Trick oder den „Antwortbogen des Lehrers" verwendeten, hörten die Modelle auf, das Hintergrundrauschen zu lernen. Sie wurden viel besser darin, die tatsächlichen Aktionen zu identifizieren, selbst wenn die Videos voller Ablenkungen waren.

Zusammenfassung

Das Problem: KI-Modelle, die versuchen, Aktionen aus Videos zu lernen, lassen sich vom Hintergrundrauschen (Kamerawackeln, sich bewegende Menschenmengen) ablenken und lernen das Falsche.
Die Ursache: Die Modelle schummeln, indem sie Hintergrunddetails in ihre „Aktion"-Vermutungen verstecken, um Vorhersagen zu erleichtern.
Die Lösung: Zwingen Sie das Modell, das zu finden, was über verschiedene Hintergründe hinweg gleich bleibt (Multi-View), oder trainieren Sie es, Dinge vorherzusagen, die sich mit dem Hintergrund nicht ändern (Robuste Ziele).
Das Ergebnis: Die Modelle hören auf zu schummeln, ignorieren das Rauschen und lernen tatsächlich die Bewegungen des Roboters.

Technische Zusammenfassung: Warum latente Aktionen versagen und wie man dies verhindert

Problemstellung

Latente Aktionsmodelle (LAMs) zielen darauf ab, aus ungelabelten Videos handlungsrelevante Repräsentationen zu erlernen, indem sie frame-zu-frame-Änderungen komprimieren. Dies bietet eine Lösung für die Knappheit von datensätzen mit Aktions-Labels in der realen Robotik. In „in-the-wild"-Videos enthalten Beobachtungen jedoch nicht nur den endogenen Zustand des Agenten, sondern auch exogene Zustände (z. B. Hintergrundunordnung, Kamerabewegung, Lichtänderungen). Diese exogenen Faktoren führen zu Frame-Übergängen, die nichts mit den Aktionen des Agenten zu tun haben.

Frühere Arbeiten haben beobachtet, dass LAMs, die mit Standard-Rekonstruktionszielen trainiert werden, in solchen Umgebungen oft versagen, sich mit den Ground-Truth-Aktionen abzugleichen. Anstatt Aktionsdynamiken zu erlernen, kodieren latente Aktionen fälschlicherweise exogenes Rauschen. Zwar existieren empirische Abhilfemaßnahmen (z. B. zusätzliche Überwachung, Multi-View-Daten), doch es fehlt eine einheitliche theoretische Analyse, die erklärt, warum Standardziele bei Vorhandensein exogenen Rauschens versagen oder warum spezifische zusätzliche Ziele dieses Versagen mildern.

Methodik

Die Autoren schlagen einen einheitlichen theoretischen Rahmen vor, der auf dem Exogenen Block-Markov-Entscheidungsprozess (Ex-BMDP) basiert, um das Lernen latenter Aktionen zu analysieren.

1. Theoretischer Rahmen: Ex-BMDP

Die Autoren erweitern den Standard-Block-MDP (BMDP), um exogenes Rauschen explizit zu modellieren. In dieser Formulierung:

Der latente Zustand $x$ wird in einen endogenen Zustand $s$ (vom Agenten steuerbar) und einen exogenen Zustand $\xi$ (unabhängig von den Aktionen des Agenten) zerlegt.
Die Übergangsfunktionen und Anfangsverteilungen sind entkoppelt: $T(x'|x, a) = T_s(s'|s, a)T_\xi(\xi'|\xi)$ .
Beobachtungen werden über eine deterministische Emissionsabbildung $o = h(s, \xi)$ generiert, die einen Vision-Encoder $f$ einschließt.

2. Analyse linearer LAMs

Um die theoretische Handhabbarkeit sicherzustellen, analysieren die Autoren zunächst ein Lineares LAM-Setting, bei dem:

Beobachtungsübergänge additiv sind: $o' = o + \phi_\xi(a) + \epsilon$ , wobei $\phi_\xi(a)$ der Aktionseffekt und $\epsilon$ exogenes Rauschen ist, das aus Zustandsänderungen ( $\xi \to \xi'$ ) resultiert.
Das Inverse-Dynamik-Modell ( $\psi_{IDM}$ ) und das Vorwärts-Dynamik-Modell ( $\psi_{FDM}$ ) lineare Abbildungen sind.
Das Standardziel darin besteht, den Rekonstruktionsfehler zu minimieren: $L_{LAM} = \mathbb{E}[\|o' - \hat{o}'\|_2^2]$ .

3. Zusätzliche Ziele

Die Autoren reformulieren zwei Familien bestehender zusätzlicher Ziele innerhalb des Ex-BMDP-Rahmens:

Cross-Exogene Rekonstruktion ( $L_{X-exo}$ ): Verwendet gepaarte Beobachtungen aus verschiedenen exogenen Zuständen ( $\xi, \tilde{\xi}$ ), die denselben endogenen Zustand teilen, um Konsistenz zu erzwingen.
Exogen-robuste Zielvorhersage ( $L_{\xi-robust}$ ): Überwacht die latente Aktion mit einem Ziel $y$ (z. B. Ground-Truth-Aktionen oder optischer Fluss), das gegenüber exogenen Variationen robust ist (d. h. $y$ bleibt unabhängig von $\xi$ ähnlich).

Hauptbeiträge

1. Identifizierung von „Zukunftsleckage"

Die Autoren beweisen, dass die Minimierung des Standard-Rekonstruktionsziels $L_{LAM}$ bei Vorhandensein exogenen Rauschens zu Zukunftsleckage führt.

Mechanismus: Da das Vorwärtsmodell $\psi_{FDM}$ die zukünftige Beobachtung $o'$ rekonstruieren muss (die den zukünftigen exogenen Zustand $\xi'$ enthält) und $\xi'$ nicht als Eingabe verfügbar ist, wird die latente Aktion $z$ gezwungen, Informationen über $\xi'$ zu kodieren.
Ergebnis: Proposition 4.2 zeigt, dass kein globaler Minimierer von $L_{LAM}$ eine latente Aktion zulässt, die unabhängig von $\xi'$ ist. Folglich absorbiert $z$ exogene Informationen aus dem zukünftigen Frame, was die Kapazität zur Kodierung der tatsächlichen Aktionsdynamiken reduziert.

2. Rolle der Empfindlichkeit des Vision-Encoders

Die Analyse zeigt, dass die Energie des exogenen Rauschens im latenten Raum durch die Empfindlichkeit des Vision-Encoders gegenüber exogenen Änderungen bestimmt wird.

Die Rauschenergie ist proportional zur Häufigkeit von exogenen Zustandswechseln und der Empfindlichkeit der Emissionsfunktion $h$ gegenüber $\xi$ .
Empirische Ergebnisse zeigen, dass Encoder wie DINOv2, die objektszentriert und robust gegenüber Hintergrundvariationen sind, diese Empfindlichkeit im Vergleich zu rohen Pixeleingaben signifikant reduzieren, was zu einer besseren Ausrichtung der Aktionen führt.

3. Theoretische Begründung zusätzlicher Ziele

Die Arbeit liefert Beweise, die zeigen, wie zusätzliche Ziele exogene Interferenzen durch Erzwingen von Konsistenz über exogene Zustände hinweg mildern:

Cross-Exogene Rekonstruktion: Unter linearen Annahmen ist die Minimierung von $L_{X-exo}$ äquivalent zur Kanonischen Korrelationsanalyse (CCA). Dies unterdrückt Übergangskomponenten, die mit spezifischen exogenen Zuständen variieren, während Komponenten erhalten bleiben, die über diese hinweg bestehen (d. h. durch Aktionen getriebene Änderungen).
Exogen-robuste Vorhersage: Proposition 4.8 zeigt, dass die Vorhersage eines Ziels $y$ , das $\eta$ -robust gegenüber exogenen Zuständen ist, eine explizite Schranke für die Diskrepanz latenter Aktionen über verschiedene exogene Zustände hinweg liefert. Die Minimierung dieses Verlusts zwingt die latente Aktion dazu, unabhängig vom Hintergrund konsistent zu sein.

Experimentelle Ergebnisse

Experimente mit linearen LAMs

Unter Verwendung synthetischer Daten mit kontrollierten Wahrscheinlichkeiten für exogene Wechsel ( $p_{switch}$ ):

Validierung der Zukunftsleckage: Experimente bestätigten, dass latente Aktionen zukünftige exogene Zustände kodieren. Wenn der exogene Zustand des nächsten Frames während der Inferenz ausgetauscht wurde, verschob sich die Rekonstruktionsausgabe, um dem ausgetauschten Frame zu entsprechen, was das „Shortcut"-Verhalten bestätigte.
Rauschempfindlichkeit: Mit zunehmender Empfindlichkeit der Beobachtung gegenüber exogenen Änderungen ( $\alpha$ ) verschlechterte sich der Normalisierte Mittlere Quadratische Fehler (NMSE) für die Aktionsvorhersage, was den theoretischen Zusammenhang zwischen Encoder-Empfindlichkeit und Versagen validiert.
Wirksamkeit zusätzlicher Ziele: Das Hinzufügen von $L_{X-exo}$ oder $L_{\xi-robust}$ zum Standardverlust verbesserte die Ausrichtung der Aktionen konsistent und reduzierte die Varianz latenter Aktionen über exogene Zustände hinweg.

Experimente mit nichtlinearen (praktischen) LAMs

Um die Generalisierbarkeit zu testen, trainierten die Autoren einen nichtlinearen LAM (VQ-VAE mit CNN/UNet) auf einem Grid-World-Datensatz mit multiplikativem exogenem Rauschen (was die linearen Annahmen verletzt):

Vanilla LAM: Mit zunehmender Rauschintensität kodiert das Modell exogene Regionen, was zu einem hohen Konsistenzverlust und einem niedrigen MSE für exogene Regionen führt (was bedeutet, dass es das Rauschen vorhersagt).
Augmentierter LAM: Modelle, die mit $L_{X-exo}$ oder $L_{\xi-robust}$ trainiert wurden, behielten einen hohen MSE für exogene Regionen bei (Ignorieren des Rauschens) und einen niedrigen Konsistenzverlust über alle Rauschpegel hinweg.
Fazit: Die theoretischen Erkenntnisse bezüglich Zukunftsleckage und der Vorteile konsistenzfördernder Ziele gelten auch dann, wenn die Linearitäts- und Additivitätsannahmen verletzt sind.

Bedeutung und Behauptungen

Die Arbeit behauptet, eine einheitliche theoretische Analyse von Versagensmoden beim Lernen latenter Aktionen bei Vorhandensein exogenen Rauschens zu liefern. Ihre primäre Bedeutung liegt in:

Erklärung von Versagensmodi: Sie identifiziert „Zukunftsleckage" formal als den Mechanismus, durch den Standard-Rekonstruktionsziele das Aktionslernen verschlechtern, anstatt das Phänomen nur empirisch zu beobachten.
Vereinheitlichung von Abhilfemaßnahmen: Sie zeigt, dass diverse zusätzliche Ziele (Multi-View, Aktionsüberwachung, optischer Fluss) einen gemeinsamen theoretischen Mechanismus teilen: Sie erzwingen die Konsistenz latenter Aktionen über exogene Zustände hinweg.
Leitung des Designs: Sie unterstreicht die kritische Bedeutung der Empfindlichkeit des Vision-Encoders gegenüber exogenen Faktoren und legt nahe, dass robuste Merkmalsextraktoren eine Voraussetzung für effektive LAMs sind.

Die Autoren schließen, dass ihre theoretischen Beweise zwar auf linearen Annahmen beruhen, die empirische Validierung an nichtlinearen Modellen jedoch darauf hindeutet, dass diese Prinzipien auf praktische, reale Szenarien des Lernens latenter Aktionen übertragbar sind.