🤖 machine learning

Sensorimotor World Models: Perception for Action via Inverse Dynamics

Dieses Paper führt das Sensorimotor World Model (SMWM) ein, ein latentes Weltmodell, das mittels inverser Dynamik-Regularisierung end-to-end trainiert wird, um Repräsentationskollaps zu verhindern und aktionsausgerichtete Repräsentationen zu induzieren, was ein stabiles, belohnungsfreies Lernen kompakter latenter Räume für kompetitives Planen ohne komplexe architektonische Einschränkungen ermöglicht.

Ursprüngliche Autoren: Petr Ivashkov, Randall Balestriero, Bernhard Schölkopf

Veröffentlicht 2026-06-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Petr Ivashkov, Randall Balestriero, Bernhard Schölkopf

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, sich in einem Raum zu bewegen. Sie könnten ihm Millionen von Fotos des Raums zeigen und ihn bitten, jedes noch so kleine Detail auswendig zu lernen: die Farbe des Teppichs, den Staub auf den Regalen, das Muster der Tapete. Aber hier liegt das Problem: Wenn der Roboter seine gesamte Gehirnleistung darauf verwendet, sich an den Staub zu erinnern, vergisst er vielleicht, wie er sich tatsächlich bewegt, ohne gegen Dinge zu stoßen.

Dieses Paper stellt eine neue Art vor, Roboter das „Sehen“ der Welt beizubringen, genannt Sensorimotorische Weltmodelle (SMWM). Anstatt zu versuchen, ein perfekter Fotograf zu sein, lernt der Roboter, ein perfekter Tänzer zu werden.

Hier ist die Aufschlüsselung, wie es funktioniert, unter Verwendung einfacher Analogien:

1. Das Problem: Die Falle des „perfekten Fotografen“

In der Vergangenheit versuchten KI-Modelle, durch das Vorhersagen des nächsten Bildes zu lernen. Um dies gut zu machen, wurden sie oft faul. Sie erkannten: „Hey, wenn ich einfach mein Gehirn ausschalte und jedes Mal das gleiche langweilige graue Bild rate, kann ich nicht falsch liegen!“ Dies wird als Repräsentationskollaps bezeichnet. Das Modell hört auf, etwas Nützliches über die Welt zu lernen, weil es eine Abkürzung gefunden hat, um eine gute Punktzahl zu erreichen.

Andere Methoden versuchten, dies zu beheben, indem sie Teile des Robotergehirns einfroren oder komplexe mathematische Regeln hinzufügten, um das Erinnern zu erzwingen. Diese Methoden funktionierten, waren aber kompliziert und erforderten zusätzliche Werkzeuge.

2. Die Lösung: Der „Aktions-Detektiv“

Die Autoren dieses Papers kamen auf einen viel einfacheren Trick. Sie fügten dem Roboter eine zweite Aufgabe hinzu, die er parallel zur Vorhersage der Zukunft lernen sollte.

Aufgabe A (Das Vorwärtsmodell): „Wenn ich hier bin und mich nach links bewege, wo werde ich als Nächstes sein?“
Aufgabe B (Das Invertierte Modell): „Wenn ich hier war und dann dort gelandet bin, welche Bewegung habe ich gerade gemacht?“

Denken Sie an das wie an einen Detektiv. Wenn Sie sehen, dass eine Person erst in der Küche steht und dann plötzlich im Wohnzimmer steht, können Sie erraten, dass sie durch den Flur gelaufen ist. Aber wenn Sie sehen, dass eine Person erst in der Küche steht und dann plötzlich wieder in der Küche steht, wissen Sie, dass sie sich nicht bewegt hat.

Das Geheimnis des Papers ist Aufgabe B. Indem der Roboter gezwungen wird, sich seine „Vorher“- und „Nachher“-Bilder anzusehen und genau zu bestimmen, welche Aktion die Veränderung verursacht hat, kann der Roboter nicht faul sein. Er muss den Teilen des Bildes Aufmerksamkeit schenken, die sich aufgrund seiner eigenen Bewegung tatsächlich verändert haben.

3. Was lernt der Roboter?

Weil der Roboter ständig gefragt wird: „Was hast du getan, um diese Veränderung zu verursachen?“, lernt er, alles zu ignorieren, was er nicht kontrollieren kann.

Die „Ablenkungs“-Analogie: Stellen Sie sich vor, der Roboter geht eine Straße entlang. Ein Vogel fliegt vorbei und eine Wolke verändert ihre Form. Diese Dinge bewegen sich, aber der Roboter hat sie nicht bewegt.
- Ältere Modelle würden versuchen, den Vogel und die Wolke auswendig zu lernen.
- Der SMWM-Roboter erkennt: „Ich habe den Vogel nicht bewegt, also muss ich nicht exakt wissen, wo der Vogel war, um meinen nächsten Schritt zu planen.“ Er filtert den Vogel und die Wolke heraus.
- Er erinnert sich jedoch an den Gehweg und die Tür, denn das sind die Dinge, mit denen er tatsächlich interagieren kann.

Das Ergebnis ist eine „mentale Karte“, die sehr klein, sehr sauber und nur mit den Dingen gefüllt ist, die der Roboter kontrollieren kann. Es entfernt das „Rauschen“ der Welt.

4. Die Ergebnisse: Ein besserer Navigator

Die Forscher testeten dies in verschiedenen Aufgaben, von einfachen 2D-Spielen bis hin zu komplexen 3D-Roboterarmen, die Würfel bewegen.

Effizienz: Der Roboter lernte, diese sauberen mentalen Karten zu erstellen, ohne Teile seines Gehirns einfrieren oder komplexe zusätzliche Regeln verwenden zu müssen.
Planung: Da die mentale Karte so klar war (er wusste genau, in welche Richtungen er sich bewegen konnte), war der Roboter besser darin, seinen Weg zu einem Ziel zu planen. In einer 3D-Aufgabe, bei der ein Roboterarm einen Würfel bewegt, war diese neue Methode signifikant besser als die bisherigen besten Methoden.
Verständnis: Die interne „Karte“ des Roboters sah wie die reale Welt aus. Wenn der Roboter sich nach links/rechts bewegen konnte, hatte die Karte eine links/rechts-Achse. Wenn er rotieren konnte, hatte die Karte eine Rotationsachse. Er lernte die „Form“ der Welt, indem er einfach versuchte, seine eigenen Aktionen zu verstehen.

Zusammenfassung

Kurz gesagt, dieses Paper sagt: Lehren Sie einen Roboter nicht, die ganze Welt zu erinnern; lehren Sie ihn, sich zu merken, was er selbst tut.

Indem ein einfaches „Rate die Aktion“-Spiel in das Training integriert wurde, lernt der Roboter ganz natürlich, Ablenkungen zu ignorieren und sich nur auf die Teile der Welt zu konzentrieren, die er kontrollieren kann. Dies macht ihn intelligenter, schneller und besser darin, seinen nächsten Schritt zu planen – und das alles, ohne komplexe Zusatzwerkzeuge zu benötigen. Es ist ein Wechsel von „Wahrnehmung für das Gedächtnis“ zu „Wahrnehmung für die Aktion“.

Technisches Resümee: Sensorimotorische Weltmodelle (SMWM)

Problemstellung

Die Arbeit adressiert die Herausforderung, latente Weltmodelle aus hochdimensionalen Beobachtungen (z. B. Pixeln) ohne Belohnungssignale oder Aufgabenbeschriftungen zu lernen. Während Joint Embedding Predictive Architectures (JEPAs) einen vielversprechenden Rahmen bieten, indem sie zukünftige Zustände direkt in einem Einbettungsraum vorhersagen (um die Pixelrekonstruktion zu vermeiden), leiden sie unter Repräsentationskollaps. Wenn ein Encoder und ein Vorwärtsdynamikmodell gemeinsam trainiert werden, um den Vorhersagefehler zu minimieren, kann der Encoder dazu neigen, alle Beobachtungen auf eine konstante Einbettung abzubilden. Diese triviale Lösung minimiert den Vorwärtsverlust, macht das Modell jedoch für die nachgeschaltete Steuerung oder Planung unbrauchbar.

Bestehende Lösungen zur Vermeidung von Kollaps stützen sich oft auf komplexe Mechanismen wie:

Das Einfrieren vortrainierter Encoder (z. B. DINO-WM).
Das Hinzufügen distributiver Regularisierer (z. B. Anpassung der Einbettungen an eine isotrope Gaußverteilung via SIGReg).
Die Verwendung von Exponential Moving Average (EMA) Target-Netzwerken mit Stop-Gradients.
Die Anwendung von Verlustfunktionen mit mehreren Termen, die Varianz-Kovarianz-Beschränkungen beinhalten.

Die Autoren postulieren, dass diese Ansätze die Kernfrage, was eine nützliche Repräsentation eines Weltmodells bewahren sollte, möglicherweise nicht vollständig adressieren. Unter Rückgriff auf das Konzept der „Wahrnehmung für Handlungen“ (perception for action) und der enaktiven Wahrnehmung argumentiert die Arbeit, dass Repräsentationen durch ihre Relevanz für Handlungen geformt werden sollten, indem sie Unterscheidungen bewahren, die für kontrollierbare Dynamiken wichtig sind, und unkontrollierbare Distraktoren verwerfen.

Methodik: Sensorimotorisches Weltmodell (SMWM)

Die Autoren schlagen SMWM vor, ein end-to-end trainierbares latentes Weltmodell, das aus Offline-Trajektorien $(o_t, a_t, o_{t+1})$ ohne Belohnungssignale trainiert wird. Die zentrale Innovation ist die Verwendung der Inversen Dynamik-Regularisierung als einziger Mechanismus zur Vermeidung von Repräsentationskollaps.

Architektur

Das Modell besteht aus drei gemeinsam trainierten Komponenten:

Encoder ( $f_\theta$ ): Bildet Beobachtungen $o_t$ auf eine kompakte latente Einbettung $z_t$ ab.
Vorwärtsdynamikmodell ( $g_\phi$ ): Sagt den nächsten latenten Zustand $\hat{z}_{t+1}$ basierend auf dem aktuellen Zustand $z_t$ und der Aktion $a_t$ voraus.
Inverses Dynamikmodell ( $h_\psi$ ): Sagt die Aktion $\hat{a}_t$ voraus, die zwischen zwei aufeinanderfolgenden Einbettungen $z_t$ und $z_{t+1}$ ausgeführt wurde.

Trainingsziel

Das Modell wird durch Minimierung einer gemeinsamen Verlustfunktion optimiert:
$\mathcal{L} = \mathcal{L}_{fwd} + \lambda \mathcal{L}_{inv}$

Vorwärtsverlust ( $\mathcal{L}_{fwd}$ ): Mittlerer quadratischer Fehler (MSE) zwischen der vorhergesagten nächsten Einbettung $\hat{z}_{t+1} = g_\phi(z_t, a_t)$ und der tatsächlichen kodierten nächsten Zustands-Einbettung $z_{t+1} = f_\theta(o_{t+1})$ .
Inverser Verlust ( $\mathcal{L}_{inv}$ ): Mittlerer quadratischer Fehler (MSE) zwischen der vorhergesagten Aktion $\hat{a}_t = h_\psi(z_t, z_{t+1})$ und der Ground-Truth-Aktion $a_t$ .
Regularisierungsgewicht ( $\lambda$ ): Ein einzelner Hyperparameter, der die Stärke des inversen Dynamiksignals steuert.

Wirkungsweise

Der inverse Verlust fungiert als Anti-Kollaps-Mechanismus. Wenn der Encoder zu einer konstanten Einbettung kollabiert, erhält das inverse Modell für alle Übergänge identische Eingaben und kann nur eine konstante Aktion (den Mittelwert der Aktionsverteilung) vorhersagen. Um den inversen Verlust unter das Risiko eines konstanten Prädiktors zu senken, muss der Encoder Informationen über die Aktion $a_t$ bewahren, die im Übergang $(o_t, o_{t+1})$ enthalten sind. Dies zwingt die Repräsentation dazu, aktionsrelevante Informationen (kontrollierbare Freiheitsgrade) zu bewahren und gleichzeitig unkontrollierbare Distraktoren (exogene Rauschquellen), die die Aktionswiederherstellung nicht beeinflussen, herauszufiltern.

Im Gegensatz zu distributiven Regularisierern, die die Geometrie des Einbettungsraums vorschreiben (z. B. Erzwingen einer Gaußverteilung), verankert die inverse Dynamik die Repräsentation an einer aufgabenbezogenen Größe (der Aktion), ohne spezifische geometrische Priors aufzuzwingen.

Zentrale Beiträge

SMWM-Architektur: Ein einfaches, end-to-end trainierbares sensorimotorisches Weltmodell, das die inverse Dynamik als einzigen Anti-Kollaps-Mechanismus nutzt und nur einen zusätzlichen Hyperparameter ( $\lambda$ ) benötigt.
Repräsentationseigenschaften: Empirische Belege dafür, dass die gelernten Repräsentationen nicht nur nicht-kollabiert sind, sondern spezifisch kontrollierbare Freiheitsgrade verfolgen, die räumliche Geometrie (sowohl kartesisch als auch periodisch) bewahren und unkontrollierbare Distraktoren herausfiltern.
Nachgeschaltete Performance: Demonstration einer kompetitiven Planungsleistung in 2D- und 3D-Steuerungsaufgaben, was zeigt, dass die strukturellen Vorteile der Repräsentation zu effektiver zielgerichteter Planung führen.

Experimentelle Ergebnisse

Kontrollierte Testumgebungen (Dot World & Sprite World)

Wiederherstellung der intrinsischen Dimension: In einer „Dot World“-Umgebung konnte das Modell die wahre 2D-intrinsische Dimension des Zustandsraums allein aus Pixeln erfolgreich wiederherstellen, selbst wenn es in einen 64-dimensionalen latenten Raum eingebettet war.
Distraktoren-Filterung: Als unkontrollierbare „Distraktoren“-Objekte (die sich zufällig bewegten) eingeführt wurden, ignorierte der Encoder diese. Die effektive latente Dimension entsprach den kontrollierbaren Freiheitsgraden, nicht der gesamten Beobachtungsebene.
Kontrollabhängige Wahrnehmung: In einem Sprite-World-Experiment lernte das Modell, Pose-Variablen (Position, Orientierung) nur dann zu bewahren, wenn diese kontrollierbar waren. Wenn die Orientierung unkontrolliert war, mittelte die Repräsentation diese heraus, was zu einer verschwommenen Rekonstruktion der Orientierung führte.

Planungs-Benchmarks

Die Autoren evaluierten SMWM auf vier Offline-Steuerungsaufgaben: TwoRoom (2D-Navigation), Reacher (kontinuierliche Steuerung), Push-T (2D-Manipulation) und OGBench-Cube (3D-Manipulation).

Baselines: Vergleich mit SIGReg (eine starke JEPA-Baseline mit Gaußschen Regularisierern), Forward-only (oh、ne inversen Verlust) und Random Action Sampling.
Performance:
- SMWM erreichte auf den drei 2D-Aufgaben eine vergleichbare Leistung wie SIGReg.
- SMWM übertraf SIGReg bei der 3D-Aufgabe OGBench-Cube (84 % Erfolg gegenüber 59 %).
- Beide regularisierten Methoden übertrafen die Forward-only-Ablation signifikant, was die Notwendigkeit eines Anti-Kollaps-Mechanismus bestätigt.
Latente Geometrie: Probing-Experimente zeigten, dass SMWM-Einbettungen niedrigdimensionale Subräume bilden, die die physikalische Zustandsgeometrie widerspiegeln (z. B. zylindrische Strukturen für periodische Gelenkwinkel in Reacher, kartesische Karten für Navigation).

Bedeutung und Ansprüche

Die Arbeit behauptet, dass SMWM eine prinzipielle und einfache Instanziierung von „Wahrnehmung für Handlungen“ beim Lernen latenter Weltmodelle darstellt. Indem das Modell die latenten Zustände dazu zwingt, Informationen zu bewahren, die ausreichend sind, um die Aktionen des Agenten wiederherzustellen, wird die Repräsentation natürlich in Richtung der kontrollierbaren Freiheitsgrade der Umgebung verzerrt.

Zentrale Erkenntnisse sind:

Einfachheit: Die inverse Dynamik allein reicht aus, um das End-to-End-Training von JEPAs ohne Rekonstruktion, Belohnungssignale, eingefrorene Encoder oder komplexe distributive Priors zu stabilisieren.
Struktureller Bias: Die Methode induziert Repräsentationen, die interpretierbar sind und mit der kausalen Struktur der Umgebung (Aktionen und deren Auswirkungen) übereinstimmen, statt nur mit prädiktiven Korrelationen.
Praktischer Nutzen: Die gelernten Repräsentationen unterstützen eine effektive latente Planung, insbesondere in komplexen 3D-Umgebungen, in denen andere regularisierte Baselines Schwierigkeiten haben.

Die Autoren räumen Einschränkungen ein, wie etwa die Annahme, dass Aktionen aus aufeinanderfolgenden Beobachtungen wiederherstellbar sind, sowie die derzeitige Unfähigkeit, Größen zu erfassen, die nicht aus einzelnen Frames identifizierbar sind (z. B. Geschwindigkeit), ohne Beobachtungshistorien zu nutzen. Sie positionieren SMWM jedoch als einen robusten, belohnungsfreien Ansatz zum Lernen handlungsfähiger Weltmodelle aus Offline-Daten.