🤖 AI

Internalizing the Future: A Unified Agentic Training Paradigm for World Model Planning

Dieses Paper schlägt ein einheitliches dreistufiges Trainingsparadigma vor, das zukunftsorientierte Planung in LLM-Agenten internalisiert, indem es zunächst latente prädiktive Fähigkeiten injiziert, diese anschließend durch format-induzierende Supervision strukturiert und schließlich deren Kalibrierung mittels vorausschauungsbedingter Reinforcement Learning verfeinert, wodurch die Einschränkungen reaktiver Agenten überwunden und eine fundierte, langfristige Entscheidungsfindung erreicht wird.

Ursprüngliche Autoren: Xuan Zhang, Zhijian Zhou, Lingfeng Qiao, Yulei Qin, Ke Li, Xing Sun, Xiaoyu Tan, Chao Qu, Yuan Qi

Veröffentlicht 2026-06-29

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xuan Zhang, Zhijian Zhou, Lingfeng Qiao, Yulei Qin, Ke Li, Xing Sun, Xiaoyu Tan, Chao Qu, Yuan Qi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem sehr intelligenten Roboter bei, komplexe Rätsel zu lösen, wie zum Beispiel das Finden einer spezifischen Information im Internet oder das Lösen einer kniffligen Matheaufgabe.

Derzeit arbeiten die meisten dieser Roboter wie ein reaktiver Fahrer. Sie sehen, dass eine Ampel auf Rot springt, und treten auf die Bremse. Sie sehen eine Frage und tippen sofort eine Antwort ein. Sie sind schnell, aber sie „denken nicht voraus“. Wenn sie eine falsche Abbiegung nehmen, merken sie es oft erst, wenn sie bereits einen Unfall gebaut haben.

Die Forscher in dieser Arbeit wollten diesen Robotern beibringen, eher wie menschliche Fahrer zu agieren. Menschen reagieren nicht nur; wir führen eine „mentale Simulation“ durch. Bevor wir das Lenkrad drehen, fragen wir uns: „Wenn ich hier nach links abbiege, werde ich dann diesen LKW rammen? Wenn ich geradeaus fahre, gerate ich dann in den Stau?“ Wir probieren verschiedene Wege in unserem Kopf aus, bevor wir uns tatsächlich bewegen.

Das Paper argumentiert, dass aktuelle KI-Agenten diese „mentale Simulation“ oder ein internes Weltmodell vermissen lassen. Sie können sich die zukünftigen Konsequenzen ihrer Handlungen nicht wirklich vorstellen.

Das Problem: Die „Fake It Till You Make It“-Falle

Die Forscher versuchten zuerst eine einfache Lösung: Sie sagten der KI einfach: „Schreibe, bevor du antwortest, einen Plan dafür, was als Nächstes passieren wird.“

Dabei stießen sie auf ein Problem, das sie die „Format-Kapazitäts-Lücke“ (Format-Capability Gap) nennen.

Stellen Sie sich vor, Sie bringen einem Schüler bei, ein Drehbuch zu schreiben. Wenn Sie ihm nur sagen: „Schreibe ein Skript mit einem Helden, einem Bösewicht und einer Wendung“, schreibt er vielleicht ein Skript, das auf dem Papier perfekt aussieht. Aber wenn Sie ihn bitten, die Szene tatsächlich nachzuspielen, stolpert er vielleicht, weil er nicht wirklich versteht, wie sich die Charaktere bewegen oder sprechen. Er ahmt nur das Format eines Plans nach, ohne die tatsächliche Fähigkeit zu besitzen, die Zukunft vorherzusagen.

Im Fall der KI begann sie, „Pläne“ zu schreiben, die gut aussahhen, aber voller Unsinn (Halluzinationen) waren. Sie sagte zum Beispiel: „Ich werde nach X suchen, dann Y finden“, aber sie wusste gar nicht, ob die Suche nach X tatsächlich zu Y führen würde. Sie hat nur geraten.

Die Lösung: Ein Drei-Stufen-Trainingslager

Um dies zu beheben, entwickelten die Forscher ein spezielles dreistufiges Trainingsprogramm, um der KI beizubringen, wie man vorausdenkt und dann auf diesen Gedanken auch handelt. Sie nennen dies World Model Agentic Training.

Stufe 1: Das „Mentale Fitnessstudio“ (World Model Agentic Mid-Training)

Bevor die KI lernt, über ihre Pläne zu sprechen, muss sie lernen, diese Pläne auch zu haben.

Die Analogie: Stellen Sie sich einen Piloten vor, der in einem Flugsimulator trainiert. Er liest nicht nur das Handbuch; er verbringt tausende Stunden damit, virtuelle Flugzeuge zu fliegen und zu sehen, was passiert, wenn er den Steuerknüppel zu stark zieht oder in einen Sturm fliegt.
Was das Paper gemacht hat: Sie fütterten die KI mit massiven Mengen an Daten, in denen die „Zukunft“ bereits bekannt war. Sie zwangen die KI, eine aktuelle Situation zu betrachten und eine Zusammenfassung dessen zu schreiben, was als Nächstes in der realen Welt tatsächlich geschah, zusammen mit einem Konfidenzwert (z. B. „Ich bin mir zu 85 % sicher, dass diese Suche die Antwort finden wird“).
Das Ergebnis: Die KI hörte auf zu raten und begann, ein echtes internes Verständnis von Ursache und Wirkung aufzubauen. Sie lernte die „Physik“ der Aufgabe.

Stufe 2: Der „Drehbuchautor“ (Format-Eliciting SFT)

Jetzt, da die KI die Fähigkeit hat, die Zukunft vorherzusagen, muss sie lernen, dies auch zu zeigen.

Die Analogie: Der Pilot weiß nun, wie man fliegt, aber er muss lernen, einen Flugplan in dem korrekten Format einzureichen, damit die Flugsicherung ihn versteht.
Was das Paper gemacht hat: Sie brachten der KI eine spezifische Struktur bei, der sie folgen muss. Bevor sie eine Aktion ausführt, muss sie einen „World Model Block“ ausgeben, der besagt: „Hier ist mein vorhergesagter Pfad, hier sind die Keywords, nach denen ich suche, und hier ist mein Konfidenzniveau.“
Das Ergebnis: Die KI lernte, ihre internen Gedanken klar zu verbalisieren und dabei ihre „Vorstellungskraft“ von ihrer „Aktion“ zu trennen.

Stufe 3: Der „Coach mit der Stoppuhr“ (Foresight-Conditioned RL)

Schließlich mussten sie sicherstellen, dass die Vorhersagen der KI ehrlich und nützlich waren.

Die Analogie: Stellen Sie sich einen Coach vor, der den Piloten beobachtet. Wenn der Pilot sagt: „Ich bin mir zu 100 % sicher, dass ich in einem Hurrikan landen kann“, aber er abstürzt, gibt der Coach ihm einen Punktabzug. Wenn der Pilot sagt: „Ich bin mir zu 50 % sicher, aber ich versuche es“, und er landet sicher, erhält er eine Belohnung.
Was das Paper gemacht hat: Sie nutzten ein Belohnungssystem, das zwei Dinge prüfte:
1. Verankerung (Grounding): Sind die Dinge, die die KI vorhergesagt hat, tatsächlich eingetreten? (Wenn sie die Vorhersage traf, einen bestimmten Namen zu finden, hat sie ihn tatsächlich gefunden?)
2. Kalibrierung (Calibration): War der Konfidenzwert der KI genau? (Wenn sie sagte „90 % sicher“ und falsch lag, wurde sie bestraft. Wenn sie sagte „50 % sicher“ und recht hatte, wurde sie belohnt.)
Das Ergebnis: Die KI lernte, bescheiden zu sein, wenn sie unsicher war, und selbstbewusst, wenn sie im Recht war. Sie hörte auf, wilde Vermutungen anzustellen.

Die Ergebnisse: Intelligentere, sicherere Agenten

Die Forscher testeten diese neue Trainingsmethode an zwei Arten von Aufgaben:

Suche: Das Finden von Antworten auf komplexe Fragen, die das Nachschlagen mehrerer Informationen erfordern.
Mathematik: Das Lösen schwieriger mathematischer Probleme.

Die Ergebnisse waren eindeutig:

Die KI, die mit dieser dreistufigen Methode trainiert wurde, war deutlich besser darin, diese Probleme zu lösen, als eine KI, die mit Standardmethoden trainiert wurde.
Sie war besonders gut im mehrstufigen Denken (Aufgaben, die viele Schritte erfordern). Sie verlor sich nicht mitten im Prozess.
Am wichtigsten war: Die Konfidenzwerte der KI wurden vertrauenswürdig. Wenn die KI sagte: „Ich bin mir zu 90 % sicher“, lag sie meistens richtig. Wenn sie sagte: „Ich bin mir nur zu 10 % sicher“, hatte sie meistens Schwierigkeiten oder stand kurz davor, einen Fehler zu machen.

Zusammenfassung

Das Paper zeigt, dass man einer KI nicht einfach nur sagen kann, sie solle „vorausdenken“, und erwarten darf, dass es funktioniert. Man muss ihr zuerst beibringen, wie sie die Zukunft simuliert (Stufe 1), dann lehren, wie sie diese Gedanken aufschreibt (Stufe 2) und sie schließlich darauf trainieren, ehrlich darüber zu sein, wie sicher sie sich ist (Stufe 3). Durch dies gelang es ihnen, einen KI-Agenten zu erschaffen, der nicht nur auf die Welt reagiert, sondern sie plant, genau wie ein Mensch.

Technisches Resümee: World Model Agentic Training

Problemstellung

Large Language Model (LLM) Agents haben eine Kompetenz in der sequentiellen Entscheidungsfindung demonstriert, bleiben jedoch in langfristigen Aufgaben (long-horizon tasks) fundamental reaktiv. Im Gegensatz zu menschlichen Planern, die „Was-wäre-wenn“-Schlussfolgerungen nutzen, um zukünftige Ergebnisse zu simulieren und Pläne vor der Ausführung zu bewerten, fehlt Standard-Agenten ein interner Mechanismus zur Antizipation von Konsequenzen. Während Methoden wie Chain-of-Thought (CoT) die Dekomposition von Problemen verbessern, besitzen sie nicht inhärent ein internes Weltmodell (World Model), um zukünftige Zustände zu simulieren.

Die Autoren identifizieren eine kritische Format-Kapazitäts-Lücke (format-capability gap) in aktuellen Post-Training-Ansätzen. Einfaches Fine-Tuning von Agenten auf Look-Ahead-Trajektorien (z. B. die Anweisung, einen „Zukunftsplan“-Block auszugeben) lehrt das Modell lediglich die Struktur der Vorausschau, ohne die zugrunde liegende prädiktive Kompetenz zu erwerben. Infolgedessen produzieren Agenten plausibel erscheinende, aber halluzinierte, unbegründete oder falsch kalibrierte Simulationen, die eher Rauschen als nützliche Orientierung einführen.

Methodik

Um die Format-Kapazitäts-Lücke zu schließen, schlägt das Paper das World Model Agentic Training vor, ein einheitliches dreistufiges Trainingsparadigma, das zukunftsorientierte Planung innerhalb eines einzelnen autoregressiven Policies verinnerlicht. Der Ansatz vermeidet externe Simulatoren oder dedizierte Value-Heads und trainiert stattdessen das Modell darauf, sowohl einen prospektiven Zustands-Rollout als auch eine plan-konditionierte Erfolgsabschätzung (ein textuelles Analogon zum Q-Wert) zu verbalisieren.

Die drei Stufen sind:

1. World Model Agentic Mid-Training (WM-AMT)

Diese Stufe injiziert latente prädiktive Fähigkeiten in die Policy vor dem Standard-Post-Training.

Mechanismus: Groß angelegte agentische Trajektoriendaten werden mit strukturierten „World Model Blöcken“ ( $z_t$ ) angereichert, die an zufälligen Schritten eingefügt werden.
Inhalt: Jeder Block $z_t$ $z_{t}$ enthält:
- $z^{(traj)}_t$ : Eine abstrahierte Roadmap der simulierten Zukunft (eine kondensierte Erfahrungssummary).
- $z^{(eval)}_t$ : Eine semantische Lückenanalyse und einen Konfidenzwert ( $q \in [0, 100]\%$ ), der die Erfolgswahrscheinlichkeit schätzt.
Ziel: Das Modell wird mittels Standard-Autoregressiver Negative Log-Likelihood trainiert, um diese Blöcke unter strikter Bedingung des historischen Kontextes zu rekonstruieren. Dies zwingt das Modell dazu, kausale Vorhersage und Wertbewertung als Teil seines Policy-Priors zu lernen, anstatt als oberflächliche Formatierungsübung.

2. Format-Eliciting Supervised Fine-Tuning (FE-SFT)

Während WM-AMT die Kapazität etabliert, fehlt dem Modell möglicherweise das strukturelle Schema, um diese zuverlässig während der Inferenz abzurufen.

Mechanismus: Das Modell wird auf einem kuratierten Datensatz feinjustiert, bei dem das interne Weltmodell explizit in ein strukturiertes Format (z. B. <imaginary>, <keyword>, <analysis>, <confidence>) externalisiert wird.
Ziel: Diese Stufe lehrt den Agenten, wann und wie er seine latente Vorausschau artikuliert, um sicherzustellen, dass die generierten Blöcke kohärent und strukturell konsistent sind, ohne die typischen Halluzinationen beim Training von Grund auf zu triggern.

3. Foresight-Conditioned Reinforcement Learning (FC-RL)

Diese Stufe optimiert das interne Weltmodell und die Policy gemeinsam, um Fundamentierung und Kalibrierung zu gewährleisten.

Optimierung des Weltmodells:
- Grounding Reward ( $R_{ground}$ ): Überprüft, ob die vorhergesagten Keywords (Meilensteine) tatsächlich in der realen Ausführungstrajektorie auftreten.
- Kalibrierungs-Reward ( $R_{calib}$ ): Wendet eine Brier-Score-Strafe auf die Konfidenzschätzung ( $q_t$ ) basierend auf dem terminalen Ergebnis (Erfolg/Misserfolg) an, um den Agenten zu zwingen, seine selbst eingeschätzte Konfidenz mit den empirischen Erfolgsraten in Einklang zu bringen.
Policy-Optimierung:
- Die Policy wird mittels eines gruppenbasierten RL-Algorithmus (GRPO) aktualisiert.
- Die Advantage-Funktion kombiniert den globalen Task-Reward mit einem lokalen Schritt-Level-Advantage, der aus den kalibrierten Konfidenzwerten ( $q_t$ ) abgeleitet wird, um zwischen Task-Erfolg und der Qualität der Vorausschau abzuwägen.

Zentrale Beiträge

Identifikation der Format-Kapazitäts-Lücke: Das Paper zeigt, dass das Post-Training auf Look-Ahead-Formaten allein zu einer oberflächlichen Mimikry der Vorausschau führt und keine fundierte zukünftige Vorhersage ermöglicht.
Einheitliches dreistufiges Paradigma: Die Autoren schlagen eine Kapazitäts-zentrierte Pipeline vor (WM-AMT $\to$ FE-SFT $\to$ FC-RL), die das Weltmodell-Planning innerhalb eines einzigen autoregressiven Modells verinnerlicht und sowohl zukünftige Rollouts als auch Q-Wert-Schätzungen ohne externe Module verbalisiert.
Empirische Validierung: Der Ansatz wird bei Suchaufgaben (Multi-Hop QA) und mathematischem Denken validiert und zeigt, dass internes Weltmodell-Planning eine spezifische Trainingskurve erfordert, um kalibrierte Vorausschau zu erreichen.

Experimentelle Ergebnisse

Die Methode wurde an einem 2B-Parameter-Modell (Youtu-LLM-2B) in zwei Domänen evaluiert:

Suchaufgaben (7 QA-Datensätze):
- Die vollständige Pipeline (WM-AMT + FE-SFT + FC-RL) erreichte einen Durchschnittswert von 50,6 und übertraf damit die beste Baseline (State-Only Prediction mit Mid-Training + RL), die 48,7 erreichte.
- Die Verbesserungen waren besonders ausgeprägt bei Multi-Hop-Reasoning-Aufgaben (z. B. HotpotQA, MuSiQue), bei denen langfristige Planung entscheidend ist.
Mathematisches Denken (AIME 2024/2025/2026):
- Die vorgeschlagene Methode erreichte einen pass@30 von 60,0 und einen mean@30 von 29,5, was die Baselines (z. B. State-Only Prediction + RL mit einem pass@30 von 56,7) signifikant übertrifft.
Ablationsstudien:
- Das Entfernen einer der drei Stufen verschlechterte die Leistung, was die Notwendigkeit der vollständigen Pipeline bestätigt.
- Modelle, die nur mit Post-Training (SFT/RL) auf Look-Ahead-Formaten ohne WM-AMT trainiert wurden, konnten keine kohärenten Pläne generieren und zeigten die Format-Kapazitäts-Lücke.
- Die vom Modell generierten Konfidenzwerte zeigten eine starke Korrelation mit dem tatsächlichen Aufgabenerfolg (hohe Konfidenz für korrekte Antworten, niedrige Konfidenz für falsche oder komplexe Pfade), was die Kalibrierung der verbalisierten Q-Werte validiert.

Bedeutung und Ansprüche

Das Paper argumentiert, dass effektive interne Weltmodellierung in LLM-Agenten nicht allein durch Format-Supervision erreicht werden kann. Stattdessen erfordert es eine kapazitäts-zentrierte Trainingspipeline, die:

Prädiktive Priors via Mid-Training injiziert (WM-AMT).
Die strukturierte Artikulation dieser Priors via Supervised Fine-Tuning erfordert (FE-SFT).
Die Kalibrierung und Nützlichkeit dieser Simulationen via Reward-Aligned Optimization verfeinert (FC-RL).

Die Autoren behaupten, dass dieser Ansatz es Agenten ermöglicht, eine „plan-konditionierte Zukunftssimulation“ und eine „mentale Bewertung“ ähnlich dem menschlichen Denken durchzuführen, wodurch sie in der Lage sind, suboptimalen Pfaden auszuweichen und langfristige Aufgaben robuster zu bewältigen als reaktive Agenten. Die Arbeit unterstreicht, dass das Erreichen einer fundierten und kalibrierten Vorausschau eine eigenständige Trainingsherausforderung ist, die adressiert werden muss, bevor der Agent Look-Ahead-Reasoning effektiv nutzen kann.