🤖 machine learning

PriorZero: Bridging Language Priors and World Models for Decision Making

PriorZero ist ein einheitliches Framework, das die Lücke zwischen statischen Large-Language-Model-Priors und dynamischen Weltmodellen schließt, indem es LLM-Leitlinien ausschließlich an der Wurzel des Monte-Carlo-Baumsuchverfahrens injiziert, um eine fokussierte Exploration zu ermöglichen, und die Schulung des Weltmodells von der Anpassung des LLM entkoppelt, um eine stabile, feinabgestufte Kreditvergabe zu gewährleisten, wodurch die Entscheidungsfindungseffizienz und -leistung bei Aufgaben mit langem Zeithorizont erheblich verbessert werden.

Ursprüngliche Autoren: Junyu Xiong, Yuan Pu, Jia Tang, Yazhe Niu

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Junyu Xiong, Yuan Pu, Jia Tang, Yazhe Niu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einer sehr intelligenten, gut belesenen Bibliothekarin (dem LLM) beizubringen, ein komplexes, textbasiertes Abenteuerspiel wie Zork oder Detective zu spielen. Die Bibliothekarin weiß viel über die Welt, Geschichten und Logik, hat das Spiel aber noch nie tatsächlich gespielt. Sie kennt die spezifischen Regeln nicht, die versteckten Fallen nicht und weiß nicht, wie die Spielwelt auf jeden einzelnen Zug reagiert.

Die Arbeit PriorZero ist eine neue Methode, um diese Bibliothekarin beizubringen, das Spiel zu spielen, ohne sie wahnsinnig zu machen oder dazu zu bringen, das zu vergessen, was sie bereits weiß.

Hier ist die Aufschlüsselung des Problems und der Lösung, unter Verwendung einfacher Analogien:

Das Problem: Die Lücke zwischen „Wissen" und „Tun"

Die Autoren stellten fest, dass bestehende Methoden, das Wissen der Bibliothekarin mit dem Spielen zu kombinieren, auf zwei Hauptweisen versagen:

Das Problem des „statischen Leitfadens": Wenn Sie die Bibliothekarin einfach bitten, Ihnen basierend auf ihrem allgemeinen Wissen zu sagen, was zu tun ist, könnte sie eine logisch fundierte Antwort geben, die im Spiel tatsächlich eine Falle ist. Sie weiß, was eine Tür normalerweise tut, aber sie weiß nicht, dass diese spezifische Tür im Spiel zu einem abgrundtiefen Abgrund führt. Sie ist gegenüber den spezifischen Regeln des Spiels „blind".
Das Problem des „endlosen Versuch-und-Irrtum": Wenn Sie versuchen, die Bibliothekarin beizubringen, indem Sie sie das Spiel Tausende Male spielen lassen und sie jedes Mal korrigieren, wenn sie verliert (eine Methode namens „Fine-Tuning"), ist dies eine Katastrophe. Das Spiel gibt sehr wenige Belohnungen (wie das Finden einer Schatzkiste), sodass die Bibliothekarin verwirrt wird. Sie könnte beginnen, zufällig zu raten, oder sie könnte ihr gutes allgemeines Wissen „verlernen", weil die spezifischen Regeln des Spiels so seltsam sind.

Die Lösung: PriorZero

PriorZero fungiert als Brücke zwischen der allgemeinen Weisheit der Bibliothekarin und einem spezialisierten „Spiel-Simulator" (einem Weltmodell). Es verwendet eine zweigeteilte Strategie:

1. Die „Root-Prior-Injektion" (Der intelligente Start)

Stellen Sie sich vor, die Bibliothekarin und der Spiel-Simulator planen gemeinsam ihren nächsten Zug unter Verwendung eines riesigen Entscheidungsbaums (genannt MCTS).

Der alte Weg: Die Bibliothekarin versucht, jeden einzelnen Schritt des zukünftigen Pfades zu erraten. Dies ist langsam und oft falsch, weil die Bibliothekarin die Physik des Spiels nicht kennt.
Der PriorZero-Weg: Die Bibliothekarin gibt nur beim ersten Schritt (der Wurzel des Baums) Ratschläge. Sie sagt: „Basierend auf meinem Wissen scheint es eine gute Idee zu sein, nach Norden zu gehen."
Die Aufgabe des Simulators: Sobald die Bibliothekarin „Norden" vorschlägt, übernimmt der Spiel-Simulator. Er simuliert Tausende möglicher Zukünfte, die nur von diesem Vorschlag ausgehen, um zu sehen, ob sie tatsächlich zu einer Schatzkiste oder einer Falle führen. Die Bibliothekarin greift nicht in die tiefe Simulation ein; sie hilft lediglich, die Suche in die richtige Richtung zu lenken, damit der Simulator keine Zeit damit verschwendet, offensichtlich schlechte Pfade zu untersuchen.

Analogie: Denken Sie an die Bibliothekarin als Reiseführer, der die Geschichte der Stadt kennt. Sie weist Sie auf das „Historische Viertel" hin (die Wurzel). Sobald Sie dort sind, übernimmt ein GPS (das Weltmodell), um die genaueste und schnellste Route durch die Straßen zu berechnen und Staus zu vermeiden, von denen der Führer nichts weiß.

2. Das „alternierende Training" (Die sichere Lektion)

So wird die Bibliothekarin verbessert, ohne ihr Gehirn zu brechen.

Phase A (Der Simulator lernt): Zuerst spielt der Spiel-Simulator das Spiel und lernt die Regeln, die Belohnungen und die Konsequenzen jeder Aktion. Er wird sehr gut darin, die Zukunft vorherzusagen.
Phase B (Die Bibliothekarin lernt): Sobald der Simulator intelligent ist, fungiert er als strenger, aber fairer Lehrer. Er sagt der Bibliothekarin: „Sie haben ‚Norden' vorgeschlagen, und hier ist genau, wie viel Belohnung dies gebracht hat." Da der Simulator bereits die schwierige Mathematik durchgeführt hat, ist das Feedback klar und nicht verwirrend. Die Bibliothekarin lernt aus diesem spezifischen Feedback.
Der Zyklus: Sie wechseln sich ab. Der Simulator wird intelligenter, lehrt dann die Bibliothekarin, dann wird die Bibliothekarin intelligenter, was dem Simulator hilft, besser zu explorieren, und so weiter.

Analogie: Stellen Sie sich einen Schachtrainer (den Simulator) vor, der Millionen von Spielen gespielt hat. Anstatt einen Schüler (die Bibliothekarin) zufällig spielen zu lassen und frustriert zu werden, simuliert der Trainer das Spiel für den Schüler. Der Trainer sagt: „Wenn Sie hierher ziehen, werden Sie in 5 Zügen gewinnen." Der Schüler lernt den Wert des Zuges, ohne den Stress haben zu müssen, das gesamte Spiel selbst zu spielen.

Die Ergebnisse

Die Autoren testeten dies an zwei Arten von Spielen:

Text-Abenteuer (Jericho): Spiele, bei denen Sie Befehle eingeben, um eine Welt zu erkunden.
Gitterwelten (BabyAI): Spiele, bei denen Sie ein Gitter navigieren, um Objekte zu finden.

Was passierte?

PriorZero lernte schneller als Methoden, die nur die Bibliothekarin oder nur den Simulator verwendeten.
Es erzielte langfristig höhere Punktzahlen (fand mehr Schätze).
Es löste die „toten Schleifen", in denen Agenten stecken bleiben und im selben Raum hin und her gehen. Der anfängliche Hinweis der Bibliothekarin half dem Simulator, aus diesen Schleifen auszubrechen.

Zusammenfassung

PriorZero ist eine Team-Up-Strategie. Es lässt das LLM (die Bibliothekarin) das tun, was es am besten kann: gesunden Menschenverstand nutzen, um einen guten Startpunkt vorzuschlagen. Es lässt das Weltmodell (den Simulator) das tun, was es am besten kann: die komplexen, langfristigen Konsequenzen dieser Züge zu berechnen. Indem sie sie getrennt, aber verbunden halten, vermeiden sie die Fehler, die Bibliothekarin zu einer Spielmaschine zu zwingen oder die Spielmaschine zu einem Philosophen zu machen.

Technische Zusammenfassung: PriorZero

Problemstellung

Die Integration von Large Language Models (LLMs) in Reinforcement-Learning-(RL-)Agenten bietet einen vielversprechenden Weg, um reichhaltiges Weltwissen für die Lösung von Entscheidungsproblemen mit langem Zeithorizont und spärlichen Belohnungen zu nutzen. Herkömmliche Ansätze werden jedoch durch ein fundamentales Prior-Dynamik-Mismatch behindert.

Bestehende Paradigmen stoßen auf spezifische strukturelle Engpässe:

Naive Policy (P1): Die Verwendung von LLMs als Zero-Shot-Policies führt zu kurzsichtigen Entscheidungen, da linguistische Wahrscheinlichkeit nicht mit der Umgebungsrendite gleichzusetzen ist, was eine „Lücke zwischen Wissen und Handeln" erzeugt.
Naives RL-Fine-Tuning (P2): Das End-to-End-Fine-Tuning von LLMs mittels RL leidet unter einer hohen Varianz bei der Kreditvergabe und Optimierungsinstabilität, insbesondere in Umgebungen mit spärlichen Belohnungen.
Dynamikmodellierung (P3): Der Einsatz von LLMs zur Vorhersage von Zustandsübergängen scheitert an einem Granularitätsmismatch; LLMs sind auf die Textgenerierung auf Token-Ebene vortrainiert, während latente Dynamikmodelle Vorhersagen auf der Ebene von Zustands-Aktions-Übergängen erfordern.
Text-Encoder (P4): Die Verwendung eingefrorener LLM-Features als statische Repräsentationen begrenzt die aufgaben spezifische Anpassung und setzt eine Leistungsobergrenze.

Die Kernherausforderung besteht darin, die Lücke zwischen den statischen, semantischen Priors von LLMs und den dynamischen, umgebungsspezifischen Übergangsmodellen zu schließen, die für eine effektive Planung erforderlich sind.

Methodik: PriorZero-Framework

PriorZero schlägt ein einheitliches Framework vor, das das LLM vom Weltmodell entkoppelt und sie durch ein entkoppeltes Rollout-Training-Design integriert. Das System platziert ein lernbares Weltmodell zwischen das LLM und die Umgebung, sodass das LLM semantische Führung liefert, während das Weltmodell die Übergangsmodellierung, die Werteschätzung und die Mehrschrittplanung übernimmt.

1. Root-Prior-Injektion (Rollout-Phase)

Während der Rollout-Phase nutzt PriorZero ein Latentes Weltmodell (basierend auf UniZero), um eine Monte-Carlo-Baumsuche (MCTS) im latenten Raum durchzuführen.

Mechanismus: Ein neuartiger Root-Prior-Injektions-Mechanismus fusioniert den semantischen Aktionsprior des LLM ausschließlich am Wurzelknoten der MCTS.
Implementierung: Das LLM generiert eine Situationsanalyse (Chain-of-Thought) und eine Aktionsverteilung ( $\pi_{LLM}$ ) basierend auf dem aktuellen textuellen Kontext. Diese wird am Wurzelknoten mit der Policy des Weltmodells ( $\pi_{WM}$ ) fusioniert:
$P_{root}(a | z_t) = (1 - \alpha) \pi_{WM}(a | z_t) + \alpha \pi_{LLM}(a | C_t)$
Einschränkung: Nicht-Wurzelknoten im Suchbaum verlassen sich vollständig auf die latenten Dynamiken des Weltmodells. Dies verhindert das „Granularitätsmismatch" des Paradigmas P3, da das LLM niemals gezwungen wird, Zustandsübergänge für imaginierte latente Zustände vorherzusagen.
Vorteil: Dies lenkt die Suche in Richtung semantisch vielversprechender Aktionen, verhindert, dass die MCTS in bedeutungslose Trajektorien (z. B. Belohnungsschleifen) gerät, und bewahrt gleichzeitig die tiefe Voraussichtsfähigkeit des Weltmodells.

2. Alternierendes Reinforcement Fine-Tuning (Trainingsphase)

Um das Versagen der Kreditvergabe des Paradigmas P2 zu adressieren, setzt PriorZero eine alternierende Fine-Tuning-Strategie ein, die das Lernen des Weltmodells von der Anpassung des LLM entkoppelt.

Zeitplan: Das Training folgt einem asymmetrischen Zeitplan (z. B. 10 Aktualisierungen des Weltmodells für jede 1 Aktualisierung des LLM).
Lernen des Weltmodells: Das Weltmodell wird auf Interaktionsdaten aktualisiert, um seine Dynamik-, Wert- und Policy-Vorhersagen zu verfeinern.
Anpassung des LLM: Anstatt hochvarianter On-Policy-Renditen zu verwenden, wird das LLM mittels niedrigvarianter Advantage-Signale feinabgestimmt, die aus den Wertschätzungen des Weltmodells abgeleitet werden.
- Der Advantage wird unter Verwendung eines $n$ -Schritt-bootstrappeden TD-Ziels berechnet: $A(z_t, a_t) = Q_n(z_t, a_t) - v_\theta(z_t)$ .
- Das LLM wird über ein abgeschnittenes PPO-Ziel aktualisiert, mit einem spezifischen Gewichtungsschema, das volle Gewichtung auf Aktions-Token und reduzierte Gewichtung ( $w_{cot}=0.1$ ) auf Chain-of-Thought-Reasoning-Token anwendet, um Stabilität zu gewährleisten.
Vorteil: Dies schafft einen geschlossenen Regelkreis, in dem das Weltmodell dem LLM stabile, feinabgestufte Supervision bietet, sodass die Priors des LLM mit den Umgebungs dynamiken ko-evolvieren können, ohne die Instabilität einer End-to-End-Optimierung.

Hauptbeiträge

Analyse der Paradigmen: Die Arbeit identifiziert das Prior-Dynamik-Mismatch als das zentrale Hindernis bei der Übertragung von LLM-Wissen auf langfristiges RL, kategorisiert bestehende Ansätze (P1–P4) und ihre spezifischen Fehlermodi.
PriorZero-Framework: Eine neuartige Architektur, die LLM-Priors mit der Weltmodell-Planung durch zwei Kernmechanismen synergistisch verbindet:
- Root-Prior-Injektion: Injektion semantischer Führung am MCTS-Wurzelknoten zur Förderung der Exploration ohne Kontamination der latenten Dynamiken.
- Alternierendes Reinforcement Fine-Tuning: Nutzung von Wertschätzungen des Weltmodells zur Konstruktion stabiler, niedrigvarianter Kreditvergabe-Signale für die Anpassung des LLM.
Empirische Validierung: Umfassende Experimente auf Jericho (textbasierte Abenteuerspiele) und BabyAI (Rasterwelt-Instruktionsbefolgung) zeigen, dass PriorZero im Vergleich zu Baselines konsistent die Explorationseffizienz und die asymptotische Leistung verbessert.

Experimentelle Ergebnisse

Jericho-Benchmarks: PriorZero übertrifft UniZero (ein starkes Weltmodell-Baseline ohne LLM-Priors) bei vier verschiedenen Spielen (Detective, Acorncourt, Zork1, Omniquest).
- In Zork1 (langfristiger Zeithorizont, spärliche Belohnungen) erzielt PriorZero höhere asymptotische Renditen und eine schnellere Konvergenz.
- In Detective übertrifft PriorZero UniZero nach anfänglichen Gewinnen, was den Wert der Anpassung von Priors an aufgabenspezifische Dynamiken demonstriert.
BabyAI-Benchmarks: Auf 18 Levels der BabyAI-Rasterwelt erreicht PriorZero höhere Rendite-Plateaus (0,82 vs. 0,79 für UniZero) und zeigt signifikante Gewinne bei kompositorischen Aufgaben (z. B. SynthLoc), wobei der LLM-Prior hilft, Ziele in Teilaufgaben zu zerlegen.
Ablationsstudien:
- Alternierender Zeitplan: Entscheidend für die Stabilität; nicht-alternierende Varianten leiden unter „Wissenskorruption" aufgrund verrauschter Wertsignale.
- Nur-Wurzel-Injektion: Wesentlich, um zu verhindern, dass das LLM die Dynamiken des Weltmodells während der Vorausschau überschreibt.
- CoT-Verlustgewichtung: Eine ausgewogene Gewichtung ( $w_{cot}=0.1$ ) ist erforderlich; das Entfernen von CoT führt zu numerischer Instabilität, während eine volle Gewichtung zu volatiler Lernweise führt.
- MCTS: Das Deaktivieren der MCTS führt zum Leistungsabfall und bestätigt die Notwendigkeit von planungsverbesserten Zielen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass PriorZero ein vielversprechendes Framework für LLM-gestützte Entscheidungsfindung etabliert, indem es die strukturellen Engpässe der Prior-Übertragung löst. Ihre Bedeutung liegt in:

Entkopplung: Erfolgreiche Trennung der Rolle des LLM (Bereitstellung semantischer Priors) von der Rolle des Weltmodells (Lernen von Dynamiken und Planung), wodurch das Granularitätsmismatch und die Fehler der Kreditvergabe früherer Methoden vermieden werden.
Stabilität: Ermöglichung eines stabilen Fine-Tunings von LLMs in Umgebungen mit langem Zeithorizont und spärlichen Belohnungen durch die Nutzung des Weltmodells als niedrigvarianter Kritiker.
Skalierbarkeit: Demonstration, dass das Framework mit der LLM-Kapazität skaliert (Leistungsverbesserung bei 7B-Modellen in komplexen Aufgaben), während es durch den alternierenden Trainingszeitplan Robustheit bewahrt.

Die Autoren positionieren PriorZero nicht als Ersatz für Weltmodelle oder LLMs, sondern als synergistische Integration, bei der das LLM die Suche fokussiert und das Weltmodell die Priors des LLM durch kontinuierliche Interaktion verfeinert.