🤖 machine learning

Beyond the Next Step: Variable-Length Latent World Models for Long-Horizon Planning

Dieses Paper führt Variable-length Latent World Models (VLWMs) ein, ein Framework, das durch Curriculum-Training lernt, zukünftige latente Zustände über variable Aktionshorizonte hinweg vorherzusagen, wodurch es die kumulativen Fehler traditioneller Einzelschritt-Modelle überwindet und die Performance bei der Langzeitplanung signifikant verbessert.

Ursprüngliche Autoren: Tianqi Du, Qi Zhang, Yifei Wang, Yisen Wang

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tianqi Du, Qi Zhang, Yifei Wang, Yisen Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, wie er durch ein Labyrinth navigiert oder einen Block an eine bestimmte Stelle schiebt. Um dies zu tun, benötigt der Roboter eine „mentale Karte“ oder ein Weltmodell. Dieses Modell fungiert wie ein Simulator in seinem Gehirn und ermöglicht es ihm, sich vorzustellen: „Was passiert, wenn ich meinen Arm auf diese Weise bewege?“, noch bevor er es tatsächlich tut.

Lange Zeit hatten diese mentalen Simulatoren einen entscheidenden Fehler: Sie funktionierten wie eine Person, die einen einzelnen Schritt macht, schaut, wo sie gelandet ist, dann noch einen einzelnen Schritt macht, wieder schaut und so weiter. Wenn der Roboter einen winzigen Fehler beim ersten Schritt machte, wurde dieser Fehler mit jedem weiteren Schritt immer größer. Bis der Roboter versuchte, eine lange Reise zu planen, war seine mentale Karte völlig falsch. Dies nennt man kumulierte Fehler (Compounding Error).

Das von Ihnen bereitgestellte Paper stellt ein neues System namens VLWM (Variable-length Latent World Models) vor. So funktioniert es, einfach erklärt:

1. Die alte Art: Das Problem der „Babyschritte“

Denken Sie an die alten Modelle (wie das, das sie LeWM nennen) als einen Schüler, der das Laufen lernt, indem er nur einen Schritt nach dem anderen übt.

Das Training: Der Lehrer fragt nur: „Wenn du einen Schritt machst, wo wirst du sein?“
Das Problem: Wenn der Schüler versucht, eine 100-Schritte-Reise zu planen, muss er sich vorstellen, 100 einzelne Schritte hintereinander zu machen. Wenn er beim 1. Schritt stolpert, ist seine Vorhersage für den 100. Schritt völlig daneben. Er ist gut in kurzen Strecken, aber schlecht in langen.

2. Die neue Art: Die „Leapfrog“-Methode (VLWM)

Die Autoren schlagen einen klügeren Weg vor, um das Gehirn des Roboters zu trainieren. Anstatt nur einen Schritt zu üben, bringen sie dem Roboter bei, die Zukunft in jeder beliebigen Entfernung vorherzusagen.

Variable-Längen-Trainings: Stellen Sie sich vor, ein Lehrer fragt den Schüler: „Wenn du 3 Schritte machst, wo wirst du sein?“ Dann: „Wenn du 5 Schritte machst, wo wirst du sein?“ Dann: „Wenn du 10 Schritte machst?“
Das Ergebnis: Der Roboter lernt, über den Mittelgrund zu „hüpfen“ (Leapfrog). Er muss nicht jede winzige Bewegung berechnen, um ans Ziel zu kommen; er kann direkt zum Ziel einer 5- oder 10-Schritte-Sequenz springen. Dies verhindert, dass sich kleine Fehler aufhäufen.

3. Der „Action-as-Token“-Trick

In den alten Modellen waren die Aktionen des Roboters (wie „nach links bewegen“ oder „vorwärts drücken“) auf eine starre Weise in der Mathematik verborgen. Es war, als würde man versuchen, ein Buch zu lesen, in dem die Wörter zusammengeklebt sind.

Der neue Trick: Die Autoren behandeln jede Aktion als ein separates Token (wie ein Wort in einem Satz). Sie mischen den „Zustand“ (wo der Roboter ist) und die „Aktionen“ (was er tut) zu einer langen Sequenz, genau wie einen Satz.
Warum das hilft: Dies ermöglicht es dem Roboter, einen Satz aus 3 Aktionen oder einen Satz aus 10 Aktionen zu „lesen“, ohne seine Gehirnstruktur zu ändern. Es ist flexibel und natürlich.

4. Die „Bergsteig-Strategie“ (Curriculum Learning)

Man kann einem Baby nicht beibringen, am ersten Tag einen Marathon zu laufen. Wenn man versucht, den Roboter sofort 100 Schritte vorauszuahnen, wird er verwirrt und scheitert.

Die Lösung: Sie verwenden ein Curriculum (einen Lehrplan).
- Stufe 1: Der Roboter lernt nur, 1 Schritt vorherzusagen.
- Stufe 2: Er lernt, 1 oder 2 Schritte vorherzusagen.
- Stufe 3: Er lernt, 1, 2, 3 oder 4 Schritte vorherzusagen.
- Endstufe: Er kann jede Distanz bis zum Maximum vorhersagen.
Dies baut ein starkes Fundament aus kurzfristigen Fähigkeiten auf, bevor die Komplexität der langfristigen Planung hinzugefügt wird.

5. Planung: Die „Chunking“-Strategie

Wenn der Roboter tatsächlich ein Problem lösen muss (wie das Navigieren durch ein Labyrinth), nutzt er nicht nur eine Methode. Er hat einen Werkzeugkasten an Strategien:

Fester Sprung: Er entscheidet sich, immer 5 Schritte auf einmal zu springen.
Zufällige Sprünge: Er springt 2 Schritte, dann 7, dann 3, ganz zufällig.
Von Lang zu Kurz: Er beginnt mit großen Sprüngen, um eine allgemeine Vorstellung des Pfades zu bekommen, und wechselt dann zu winzigen, präzisen Sprüngen, wenn er dem Ziel näher kommt.
Der Vorteil: Da der Roboter darauf trainiert wurde, jede Sprunggröße zu bewältigen, kann er diese Strategien im Flug kombinieren und anpassen, um nicht stecken zu bleiben.

Die Ergebnisse: Was haben sie herausgefunden?

Die Autoren testeten dies bei drei verschiedenen Aufgaben:

PushT: Das Schieben eines T-förmigen Blocks.
OGBench-Cube: Ein Roboterarm, der ein Würfel aufhebt.
TwoRoom: Ein Roboter, der von einem Raum in einen anderen durch eine Tür navigiert.

Die Erkenntnisse:

Kurze Strecken: Das neue System war genauso gut wie die alten Modelle.
Lange Strecken: Das neue System war signifikant besser. In der Aufgabe „TwoRoom“, als das Ziel weit entfernt war, war das alte System nur 36 % der Zeit erfolgreich, während das neue System zu 68 % erfolgreich war.
Warum? Das alte System verirrte sich aufgrund der „kumulierten Fehler“, die durch das ständige einzelne Schritt-für-Schritt-Vorgehen entstanden. Das neue System blieb auf Kurs, weil es gelernt hat, das große Ganze zu sehen.

Zusammenfassung

Das Paper argumentiert, dass wir Roboter nicht nur lehren sollten, einen Schritt nach dem anderen zu machen, wenn sie gut in der langfristigen Planung werden sollen. Stattdessen sollten wir sie lehren, die Zukunft in Blöcken (Chunks) unterschiedlicher Größe vorherzusagen, wobei sie klein anfangen und immer größer werden. Diese einfache Änderung ermöglicht es ihnen, viel weiter vorauszuplanen, ohne den Weg zu verlieren.

Technisches Resümee: Variable-Length Latent World Models für die Langzeitplanung

1. Problemstellung

Weltmodelle (World Models) haben sich als Paradigma für den Aufbau intelligenter Agenten etabliert, indem sie prädiktive Modelle der Umweltdynamik lernen. Während aktuelle latente Weltmodelle (z. B. JEPA-artige Architekturen) effiziente Alternativen zur Vorhersage im Pixelraum bieten, indem sie in kompakten Repräsentationsräumen operieren, stehen sie vor erheblichen Einschränkungen bei der Langzeitplanung (Long-Horizon Planning).

Die primären Probleme sind:

Kumulative Fehler: Bestehende Modelle verlassen sich typischerweise auf Eins-Schritt-Vorhersagen ( $t \to t+1$ ). Für Aufgaben mit langem Zeithorizont müssen diese Modelle rekursiv durchlaufen werden, was dazu führt, dass Vorhersagefehler schnell akkumulieren, was zu zeitlichem Drift und einer degradierten Trajektorienqualität führt.
Diskrepanz zwischen Training und Planung: Die meisten Modelle werden mit einem Fixed-Step-Vorhersageziel trainiert. Dies bietet Supervision nur auf einer lokalen temporalen Skala und versäumt es, explizit auf eine langfristige Konsistenz zu optimieren. Folglich stimmt das Trainingssignal nicht mit der Natur von Langzeitplanungsaufgaben überein.
Architektonische Starrheit: Aktuelle latente Weltmodelle integrieren Aktionen oft über dedizierte Konditionierungsmechanismen (z. B. FiLM-Layer oder Cross-Attention), die Aktionen in verborgene Zustände einspeisen. Dieses Design koppelt das Modell eng an ein festes Aktionslayout (normalerweise eine Aktion pro Schritt), was es schwierig macht, die Beiträge mehrerer Aktionen zu entkoppeln oder variabel lange Aktionssequenzen natürlich zu handhaben.

2. Methodik: Variable-Length Latent World Models (VLWM)

Die Autoren schlagen VLWM vor, ein Framework, das darauf ausgelegt ist, die Dynamik der Umgebung über mehrere Vorhersagehorizonte hinweg innerhalb eines einzigen Modells zu lernen.

2.1 Variable-Längen-Supervision

Anstatt die Supervision auf den unmittelbaren nächsten Schritt zu beschränken, trainiert VLWM einen einzelnen Prädiktor $g_\phi$ , um den latenten Zustand bei einem beliebigen zukünftigen Offset $k \ge 1$ vorherzusagen. Das Trainingsziel ist:
$\mathcal{L}_{VLWM} = \mathbb{E}_{t, k \sim p(k)} \left[ \| g_\phi(s_t, a_{t:t+k-1}) - \bar{g}(\bar{f}_{\bar{\theta}}(o_{t+k})) \|_2^2 \right]$
wobei $s_t$ der aktuelle latente Zustand ist, $a_{t:t+k-1}$ ein variabel langer Aktionssegment der Länge $k$ ist und das Ziel der latente Zustand zum Zeitpunkt $t+k$ ist. Dies vereinigt kurzfristige Dynamik und langfristige semantische Konsistenz unter einem einzigen Ziel.

2.2 Action-as-Token Formulierung

Um variablelange Aktionssequenzen nativ zu unterstützen, weicht VLWM von der internen Schichtkonditionierung ab. Stattdessen behandelt es Aktions-Embeddings als First-Class Transformer Tokens.

Input-Sequenz: Das Modell erhält eine Sequenz $X$ , die eine Historie von Zustands-Tokens gefolgt von einer variablen Anzahl von Aktions-Tokens ( $e_t, \dots, e_{t+k-1}$ ) enthält.
Mechanismus: Zustands- und Aktions-Tokens werden durch additive Typ-Embeddings unterschieden. Der Transformer ist kausal, und der vorhergesagte latente Zustand $\hat{s}_{t+k}$ wird direkt aus dem Output des letzten Tokens der Sequenz gelesen.
Vorteil: Dies eliminiert die Notwendigkeit für vordefinierte Aktionskonditionierungs-Schnittstellen und ermöglicht es dem Modell, auf eine beliebige Anzahl vergangener Aktionen zu konditionieren, ohne die Architektur zu ändern.

2.3 Curriculum-Trainingsstrategie

Das direkte Training mit großen Vorhersagehorizonte ab Beginn ist aufgrund verrauschter Gradienten und Optimierungsschwierigkeiten instabil. VLWM verwendet eine Curriculum-Lernstrategie:

Das Training ist in Phasen unterteilt. In Phase $j$ wird der Horizont $k$ gleichverteilt aus $\{1, 2, \dots, j\}$ gezogen.
Das Modell beginnt mit $k=1$ und erweitert progressiv den Bereich der gesampelten Horizonte bis zu einem maximalen $K_{max}$ .
Dies stellt sicher, dass langfristige Semantik auf gut gelernten kurzfristigen Dynamiken aufgebaut wird, was die Optimierung stabilisiert.

2.4 Planung mit variablen Sprüngen (Variable-Length Jumps)

Während der Inferenz wird der Planungshorizont $H$ in zusammenhängende Chunks partitioniert: $H = k_1 + k_2 + \dots + k_M$ . Der Planer evaluiert den Rollout als eine Sequenz von variablen latenten Sprüngen statt als rekursive Eins-Schritt-Vorhersagen. Das Paper schlägt drei Planungsstrategien vor:

P1 (Fest, aber aufgabe-adaptiv): Verwendet eine konstante Chunk-Größe $k^*$ , die pro Aufgabe ausgewählt wird (klein für feingranulare Steuerung, groß für langfristige Ziele).
P2 (Random-Horizon Sampling): Samplet Chunk-Größen gleichverteilt aus $\{1, \dots, K_{max}\}$ an jeder Grenze.
P3 (Long-to-Short): Beginnt mit großen Chunks, um die langfristige Struktur abzudecken, und verkleinert die Chunk-Größen progressiv gegen Ende, um die feingranulare Dynamik zu verfeinern (eine Coarse-to-Fine-Suche).

3. Kernbeiträge

Vereinheitlichtes Framework: Einführung von VLWM, einem Framework, das latente Dynamiken über mehrere Horizonte lernt und durch eine „Action-as-Token“-Formulierung nativ variablelange Aktionssequenzen unterstützt.
Stabiles Training & Planung: Vorschlag einer skalierbaren Curriculum-Lernstrategie für stabiles Variable-Length-Training sowie einer Suite von Planungsalgorithmen, die unterschiedliche Vorhersagehorizonte innerhalb eines einzigen Modells adaptiv nutzen können.
Empirische Validierung: Demonstration, dass VLWM konsequent bestehende Fixed-Horizon-Weltmodelle (speziell LeWM) in Langzeitplanungs-Benchmarks übertrifft, inklusive Analysen, die eine verbesserte langfristige Vorhersagbarkeit und nachgelagerte Kontrollierbarkeit zeigen.

4. Experimentelle Ergebnisse

Die Autoren evaluierten VLWM in drei zielgerichteten Planungsumgebungen: PushT (2D-Manipulation), OGBench-Cube (3D-Robotermanipulation) und TwoRoom (2D-Navigation).

Leistungssteigerung: VLWM erzielte eine durchschnittliche Verbesserung von 13 % gegenüber dem State-of-the-Art LeWM über die Datensätze hinweg. Die Gewinne waren in Langzeitregimen am signifikantesten (z. B. bei TwoRoom mit einem Horizont von 100 Schritten verbesserte sich die Erfolgsrate von 36 % mit LeWM auf 6en 68 % mit VLWM).
Fehlerreduktion: Visualisierungen zeigten, dass während die rekursiven Rollouts von LeWM drifteten und keine Umweltgrenzen (z. B. Türen) überqueren konnten, die chunkbasierten variablen Sprünge von VLWM nahe an den Ground-Truth-Trajektorien blieben.
Repräsentationsqualität: Linear-Probe-Evaluierungen auf eingefrorenen Encodern zeigten, dass VLWM latente Zustände mit einer höheren Pearson-Korrelation für physikalische Eigenschaften (z. B. Blockwinkel) produzierte als LeWM, was auf eine bessere Erfassung langsamer semantischer Zustandsänderungen hindeutet.
Notwendigkeit des Curriculums: Ablationsstudien bestätigten, dass die Curriculum-Trainingsstrategie essenziell für ein stabiles Variable-Length-Training ist, insbesondere bei Aufgaben, die erweiterte Planung erfordern.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass VLWM einen einfachen, aber effektiven Paradigmenwechsel darstellt, um die langfristige Vorhersage und Planung in latenten Weltmodellen zu verbessern.

Über Engineering hinaus: Die Autoren argumentieren, dass der Kampf mit der Langzeitplanung nicht bloß ein Engineering-Problem ist, sondern eine Folge der Trainingsziele. Durch den Wechsel von Fixed-Step zu Variable-Length-Supervision richtet VLWM das Trainingssignal an den Anforderungen der Langzeit-Argumentation aus.
Vereinheitlichte Schnittstelle: Das Framework subsumiert eine Reihe von Fixed- und Hierarchical-Horizon-Strategien innerhalb eines einzigen trainierten Modells und elimt die Notwendigkeit für separate High-Level- und Low-Level-Policies oder Hilfsmodule.
Zukünftige Richtung: Die Ergebnisse legen nahe, dass Variable-Length-Supervision ein grundlegender Schritt hin zu robusteren Planungsalgorithmen ist und eine flexible Schnittstelle bietet, in der Planer die Vorhersage-Granularität an die spezifischen Bedürfnisse der Aufgabe anpassen können.