💻 computer science

Latent Actions from Factorized Transition Effects under Agent Ambiguity

Dieses Paper führt die Observed Transition Factorization (OTF) und deren Varianten, OTF-LAM und OTF-LAM-Dino, ein, welche ambivalente Beobachtungstransitionen in wiederverwendbare Primitive zerlegen, um robuste, aktionsähnliche latente Repräsentationen zu erlernen, die Baselines in komplexen, von Distraktoren geprägten Umgebungen ohne Überwachung übertreffen.

Ursprüngliche Autoren: Heejeong Nam, Chandradithya S Jonnalagadda, Harshit Aggarwal, Eric Xu, Randall Balestriero

Veröffentlicht 2026-06-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Heejeong Nam, Chandradithya S Jonnalagadda, Harshit Aggarwal, Eric Xu, Randall Balestriero

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „unordentliche Küche“

Stellen Sie sich vor, Sie versuchen zu lernen, wie man kocht, indem Sie ein Video eines Kochs beobachten. Das Video ist jedoch unordentlich. Während der Koch Zwiebeln schneidet (die Aktion, um die es Ihnen geht), wackelt die Kamera, ein Hund rennt durch das Zimmer und der Wind lässt die Vorhänge wehen.

In der Welt der KI nennt man das Agent Ambiguity (Agenten-Ambiguität).

Der Agent: Der Koch (das Ding, das man steuern möchte).
Die Aktion: Zwiebeln schneiden.
Die Ambiguität: Das Video zeigt alle Veränderungen gleichzeitig (die Zwiebeln bewegen sich, der Hund bewegt sich, die Vorhänge wehen).

Ältere KI-Modelle versuchten, die „Schneide“-Aktion zu erraten, indem sie das gesamte unordentliche Video betrachteten. Dabei wurden sie oft verwirrt und dachten, dass das Rennen des Hundes Teil des Kochrezepts sei, oder sie konnten nicht zwischen der Bewegung des Kochs und dem Wackeln der Kamera unterscheiden.

Die Lösung: Das Video in „Lego-Steine“ zerlegen

Die Autoren schlagen eine neue Methode namens OTF-LAM vor. Anstatt zu versuchen, die gesamte Aktion auf einmal zu erraten, zerlegen sie die Veränderungen im Video in kleine, wiederverwendbare Teile, so als würde man einen Haufen gemischter Lego-Steine sortieren.

Sie nennen diese Teile Observed Transition Primitives (Beobachtete Übergalls-Primitive).

Anstatt „Koch schneidet“ zu sehen, sieht die KI: „Ein kleiner Pixelbereich bewegt sich nach links“, „Eine Kante verschiebt sich nach unten“ und „Eine Hintergrundunschärfe“.
Dies sind die Lego-Steine. Es sind einfache, wiederverwendbare Bewegungsmuster, die überall auftreten können, unabhängig davon, ob es sich um einen Koch, einen Roboter oder eine Zeichentrickfigur handelt.

Wie es funktioniert: Der Zwei-Schritte-Prozess

Schritt 1: Der „Stein-Sortierer“ (OTF)
Zuerst schaut sich die KI tausende Videos an und lernt, jede winzige Veränderung im Bild in einen bestimmten „Stein“ aus ihrem Vokabular zu sortieren.

Analogie: Stellen Sie sich einen Bibliothekar vor, dem es egal ist, worum es in einem Buch geht, sondern der nur darauf achtet, wie die Seiten umblättern. Er sortiert jedes Umblättern in eine Kategorie: „Schnelles Blättern“, „Langsames Gleiten“ oder „Zerreißen“.
Die KI lernt, dass ein „Schnelles Blättern“ genauso aussieht, egal ob eine menschliche Hand eine Seite umblättert oder ein Roboterarm einen Regler dreht. Dies macht die „Steine“ wiederverwendbar.

Schritt 2: Der „Assistent des Kochs“ (OTF-LAM)
Sobiel die Steine sortiert sind, muss die KI herausfinden, welche Steine vom Koch (dem Agenten) verursacht wurden und welche durch den Hund oder den Wind.

Analogie: Die KI betrachtet die aktuelle Szene (die Küche) und fragt: „Angesichts der Tatsache, dass der Koch ein Messer hält, welche dieser ‚bewegten Steine‘ stammen wahrscheinlich vom Koch?“
Sie wählt die relevanten Steine aus, ignoriert das Rauschen (den Hund) und kombiniert sie zu einem einzigen „Aktionssignal“. Dieses Signal sagt der KI: „Der Koch schneidet.“

Der „Frozen DINO“-Trick (OTF-LAM-Dino)

Das Paper stellt auch eine intelligentere Version namens OTF-LAM-Dino vor.

Analogie: Stellen Sie sich vor, Sie versuchen, den nächsten Frame eines Videos vorherzusagen. Normalerweise versucht die KI, jeden einzelnen Pixel neu zu zeichnen (die Farbe der Zwiebel, die Textur des Tisches). Das ist schwierig, da sich die Beleuchtung ändern kann oder der Tisch anders aussehen könnte.
Der Trick: Anstatt die Pixel neu zu zeichnen, nutzt diese Version einen „eingefrorenen“ Experten (DINOv2), der bereits die Form und Struktur von Dingen versteht. Die KI muss nur vorhersagen, wie sich die Struktur verändert, nicht die exakten Farben.
Das ist so, als würde man den nächsten Zug in einem Schachspiel vorhersagen, indem man auf die Positionen der Figuren (Struktur) achtet, anstatt zu versuchen, die Holzfiguren neu zu malen (Pixel). Das macht die KI viel besser darin, Ablenkungen zu ignorieren.

Was haben sie bewiesen?

Die Autoren testeten dies an zwei Hauptaspekten:

Moving MNIST (Der „Ziffern“-Test): Sie zeigten der KI Videos von bewegten Zahlen. Sie trainierten sie auf die Zahlen 0–4 und testeten sie dann an den Zahlen 5–9 (die sie noch nie gesehen hatte).
- Ergebnis: Da die KI die Bewegungsmuster (die Steine) gelernt hatte und nicht das spezifische Aussehen der Zahlen, funktionierte sie bei den neuen Zahlen perfekt. Dies bewies, dass die „Steine“ wiederverwendbar sind.
DCS (Der „Roboter“-Test): Sie verwendeten eine komplexe Robotersimulation, in der ein Roboter laufen oder gehen muss, während sich ein ablenkender Hintergrund bewegt.
- Ergebnis: Die neue Methode (OTF-LAM) war besser darin, die Steuerung des Roboters zu lernen als ältere Methoden. Sie konnte den ablenkenden Hintergrund erfolgreich ignorieren und sich auf die Bewegung des Roboters konzentrieren.

Das Fazit

Dieses Paper sagt: „Versuchen Sie nicht, die gesamte Aktion aus einem unordentlichen Video zu erraten. Zerlegen Sie statlich die Veränderungen im Video in kleine, wiederverwendbare ‚Bewegungssteine‘. Sortieren Sie diese Steine zuerst und finden Sie dann heraus, welche zu dem Agenten gehören, den Sie steuern wollen.“

Dad-urch wird die KI wesentlich besser darin, in unordentlichen, realen Umgebungen zu handeln, in denen es viele Ablenkungen gibt.

Technisches Resümee: Latente Aktionen aus faktorisierten Übergangseffekten unter Agenten-Ambiguität

1. Problemstellung

Latente Aktionsmodelle (Latent Action Models, LAMs) zielen darauf ab, aktionsähnliche Proxys direkt aus Beobachtungstransitionen (z. B. Videoframes $x_t$ zu $x_{t+1}$ ) zu lernen, ohne explizite Aktionslabels zu verwenden. Während LAMs in kontrollierten Umgebungen, in denen der Agent die dominante Quelle der Veränderung ist, effektiv sind, stehen sie in komplexen Szenen vor einer erheblichen Agenten-Ambiguität (Agenten-Mehrdeutigkeit). In Umgebungen mit Distraktoren, bewegten Hintergründen, Kameradynamiken oder artikulierten Objekten ist der visuelle Übergang $\Delta x_t$ eine Mischung aus der vom Agenten gesteuerten Bewegung und unkontrollierten exogenen Faktoren.

Standardmäßige LAMs komprimieren diesen gesamten Übergang in einen monolithischen latenten Vektor. Ohne Überwachung fehlt dem Modell die Basis, um zu unterscheiden, welche beobachteten Veränderungen auf den Agenten versus Distraktoren zurückzuführen sind. Diese Ambiguität führt zu latenten Räumen, in denen steuerbare Bewegung mit umgebungsspezifischem Rauschen verflochten ist, was die Übertragbarkeit und das nachgeschaltete Lernen von Policies erschwert. Bestehende Ansätze verlassen sich oft auf objektzentrierte Priors oder Segmentierung, was starre Annahmen erzwingt und die Skalierbarkeit einschränkt.

2. Methodik

Die Autoren schlagen die Observed Transition Factorization (OTF) vor, einen Bottom-up-Ansatz, der den visuellen Übergang nicht als ein einzelnes Ereignis betrachtet, das komprimiert werden muss, sondern als eine spärliche Komposition aus wiederverwendbaren beobachteten Übergangsprimitiven. Das Framework besteht aus zwei Hauptphasen:

2.1. Observed Transition Factorization (OTF)

Die erste Phase lernt ein gemeinsames Vokabular lokaler Bewegungs-Effekte.

Konstruktion des Inputs: Eine Bewegungsbeobachtung $o_t$ wird konstruiert, indem eine Gradiententransformation (oder Sobel-Operator) auf aufeinanderfolgende Frames angewendet und die Differenz berechnet wird. Dies betont beobachtbare Veränderungen und reduziert die Abhängigkeit von statischer Erscheinung und Objektidentität.
Patchweise Vektorkvantisierung: Die Bewegungsaufnahme wird in räumliche Patches unterteilt. Jeder Patch wird kodiert und unter Verwendung eines VQ-VAE-ähnlichen Ziels in ein diskretes Codebuch der Größe $K$ quantisiert.
Primitive: Das Codebuch lernt wiederverwendbare beobachtete Übergangsprimitives (z. B. lokale Verschiebung, Kantenverschiebungen, rotationsähnliche Residuen, Kontaktdeformationen). Entscheidend ist, dass diese Primitive visuelle Effekte repräsentieren und keine reinen physikalischen Bewegungen oder Objektidentitäten.
Faktor-Repräsentation: Für jeden Übergang liefert das Modell eine strukturierte Menge an Faktoren $E_t = \{e_{t,k}\}_{k=1}^K$ , wobei jeder Faktor $e_{t,k}$ den Codebuch-Eintrag, eine Occupancy-Map (räumliche Unterstützung) und eine Aktivierungsstärke umfasst.
Trainingsziel: Der Faktorisierer wird darauf trainiert, die Bewegungsbeobachtung $o_t$ unter Verwendung der ausgewählten Primitive und des aktuellen Frames $x_t$ als Referenz für die Erscheinung zu rekonstruieren, wobei der Rekonstruktionsverlust zusammen mit Standard-VQ-Verlusten und einem Orthogonalitätsregulator minimiert wird, um die Codebuch-Diversität sicherzustellen.

2.2. OTF-LAM: Aktionsabstraktion

Sob sobald das OTF-Modul vortrainiert wurde, wird es eingefroren, und ein Latent Action Model wird auf den extrahierten Faktoren trainiert.

Zustandsbewusste Abstraktion: Das Modell nimmt die Faktoren $E_t$ und den aktuellen Zustand $x_t$ , um eine kompakte latente Aktion $z_t^{act}$ zu bilden.
Gating-Mechanismus: Ein „Action Abstraction Module“ wandelt jeden Faktor in einen zustandsbewussten Token um. Ein Gating-Netzwerk weist jedem Faktor basierend auf dem aktuellen Kontext ein Relevanzgewicht $\alpha_{t,k}$ zu, wodurch effektiv ausgewählt wird, welche beobachteten Übergangsprimitives für die Aktion des Agenten relevant sind.
Vorhersage: Der aggregierte latente Wert $z_t^{act}$ wird in einem Standard-Inverse-Forward-Dynamics-Framework verwendet, um die nächste Beobachtung (oder ein Residual-Update) vorherzusagen.

2.3. OTF-LAM-Dino

Eine Decoder-freie Variante wird eingeführt, um wiederverwendbare Komponenten weiter von umgebungsspezifischen Details zu trennen.

Gefrorene Repräsentation: Anstatt den Pixelraum vorherzusagen, sagt das Modell zukünftige Zustände in einem eingefrorenen DINOv2-Repräsentationsraum voraus.
Architektur: Sowohl der visuelle Encoder (DINOv2) als auch der OTF-Bewegungsprimitiv-Extraktor sind eingefroren. Die lernbaren Komponenten beschränken sich auf den Aktions-Aggregator und den Forward-Dynamics-Prädiktor innerhalb des DINO-Feature-Raums. Dies zwingt das Modell, sich auf die Abstraktion der Übergangsstruktur zu konzentrieren, die für die Steuerung relevant ist, anstatt die Pixel-Texturen zu rekonstruieren.

2.4. Policy-Lernen

Um den gelernten latenten Raum mit der realen Steuerung zu verbinden, wird eine geringe Menge an Aktionsüberwachung verwendet. Eine Behavioral Cloning Policy bildet die latente Aktion $z_t^{act}$ auf wahre Aktionen ab, und ein Aktions-Decoder wird trainiert, um die vorhergesagte latente Aktion unter Nutzung der aktuellen Beobachtung auf die Ground-Truth-Aktionen abzubilden, um die Ambiguität bezüglich der Anwendung der Bewegung auf ein bestimmtes Objekt aufzulösen.

3. Kernbeiträge

Observed Transition Factorization (OTF): Eine neuartige Methode, um komplexe visuelle Übergänge in eine spärliche Menge wiederverwendbarer, lokalisierter Primitive zu zerlegen, bevor versucht wird, latente Aktionen zu inferieren. Dies verschiebt das Lernziel von der „Wiederherstellung der wahren Aktion“ hin zur „Strukturierung der beobachteten Übergangseffekte“.
OTF-LAM und OTF-LAM-Dino: Zwei Architekturen, die die faktorisierte Übergangsschnittstelle nutzen. OTF-LAM-Dino zeigt speziell, dass die Kombination aus wiederverwendbaren Übergangsvokabularien mit eingefrorenen visuellen Zustandsrepräsentationen (DINOv2) die Leistung in nachgeschalteten Aufgaben verbessern kann, indem sie als Regularisator gegen Pixel-Ebene-Störfaktoren wirkt.
Zero-Shot-Übertragbarkeit: Empirische Belege zeigen, dass das gelernte Bewegungs-Vokabular Zero-Shot über verschiedene visuelle Träger (z. B. verschiedene Zifferklassen in Moving MNIST) und eingebettete Morphologien (z. B. von Walker zu Cheetah in der Distracting Control Suite) transferierbar ist, was darauf hindeutet, dass das Codebuch allgemeine Übergangsstrukturen statt umgebungsspezifischer Templates erfasst.
Robustheit gegenüber Ambiguität: Die Methode zeigt, dass die Faktorisierung von Übergängen ein robusteres Lernen latenter Aktionen in Gegenwart von Distraktoren ermöglicht und in komplexen Settings monolithische LAM-Baselines übertrifft oder mit ihnen gleichzieht.

4. Experimentelle Ergebnisse

Die Arbeit evaluiert die Methode auf der Distracting Control Suite (DCS) (Cheetah-Run und Walker-Run) und Moving MNIST.

Wiederverwendbarkeit: In Cross-Morphology- und Cross-Carrier-Transfer-Experimenten zeigte das OTF-Vokabular eine signifikant geringere Leistungsdegradation im Vergleich zu monolithischen VQ-VAE-Baselines. Beispielsweise behielt das in DCS auf Walker-Run trainierte OTF-Vokabular eine hohe Rekonstruktionsqualität bei, wenn es Zero-Shot auf Cheetah-Run angewendet wurde, während monolithische Baselines große Fehlersteigerungen erlitten (bis zu 71 % Degradation gegenüber ~20 % bei OTF).
Nachgeschaltetes Policy-Lernen:
- Auf DCS erreichten OTF-LAM und OTF-LAM-Dino kompetitive oder überlegene Erträge im Vergleich zu Baselines wie LAPO, FLAM und HiLAM.
- OTF-LAM-Dino schnitt konsistent besser ab als der Decoder-basierte OTF-LAM, was darauf hindeutet, dass die Vorhersage in einem eingefrorenen Repräsentationsraum effektiver für Steuerungsaufgaben ist als die Pixel-Rekonstruktion.
- Die Methode konnte latente Aktionen erfolgreich in Policies destillieren, die Baselines entsprachen oder diese übertrafen, selbst wenn der visuelle Übergang signifikantes Distraktor-Rauschen enthielt.
Ablation: Die Untersuchung zur Codebuchgröße ( $K$ ) ergab, dass größere Vokabulare in komplexen Umgebungen (Cheetah-Run) zwar generell halfen, die Leistung jedoch nicht streng monoton war, was auf eine optimale Kapazität hindeutet, die von der Umgebung und Architektur abhängt.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass faktorisierte beobachtete Effekte eine überlegene Zwischenrepräsentation für das beobachtungsbasierte Lernen latenter Aktionen unter Agenten-Ambiguität darstellen.

Perspektivwechsel: Die Autoren argumentieren, dass unter reinen Beobachtungsbedingungen das zuverlässigste Ziel nicht die wahre Aktion selbst ist, sondern die Struktur der beobachteten Übergangseffekte. Indem der Übergang als Komposition aus wiederverwendbaren Primitiven behandelt wird, kann das Modell steuerbare Bewegung von Distraktoren trennen, ohne auf starre objektzentrierte Priors angewiesen zu sein.
Generalisierung: Die Ergebnisse legen nahe, dass das Erlernen eines „Vokabulars“ von visuellen Übergangseffekten eine bessere Generalisierung über verschiedene Agenten und visuelle Domänen hinweg ermöglicht als das Erlernen einer einzelnen, monolithischen latenten Aktion pro Übergang.
Moderater Umfang: Die Autoren geben explizit an, dass ihre Arbeit diese Ansätze in kontrollierten Settings und DCS-Distraktor-Umgebungen evaluiert. Sie räumen ein, dass die Ausweitung auf reichere, vielfältigere Video-Game-Domänen (z. B. scrollende Kameras, diverse Nicht-Agenten-Dynamiken) zukünftige Arbeit bleibt. Sie behaupten nicht, das allgemeine inverse Problem der Aktionsrekonstruktion ohne jegliche Überwachung gelöst zu haben, sondern demonstrieren, dass eine faktorisierte Zwischenrepräsentation die Robustheit und Übertragbarkeit der gelernten latenten Aktionsschnittstelle signifikant verbessert.