🤖 machine learning

Textual Belief States for World Models: Identifiable Representation Learning Under Strict Mediation

Diese Arbeit adressiert die Herausforderung nicht identifizierbarer latenter Zustände in textbasierten Weltmodellen, die durch History Bypass verursacht werden, indem sie diskrete textuelle latente Zustände und eine faktorisierte GRPO-Trainingsmethode einführt, die eine strikte Mediation erzwingt, was zu signifikanten Verbesserungen der Repräsentationsqualität und der Long-Horizon-Rollout-Leistung führt.

Ursprüngliche Autoren: Xiang Gao, Kaiwen Dong, Yuguang Yao, Padmaja Jonnalagedda, Kamalika Das

Veröffentlicht 2026-06-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xiang Gao, Kaiwen Dong, Yuguang Yao, Padmaja Jonnalagedda, Kamalika Das

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, ein textbasiertes Abenteuerspiel zu spielen (wie ein altes „Choose Your Own Adventure“-Buch). Der Roboter kann nicht die ganze Welt sehen; er sieht nur die Textbeschreibung des Raumes, in dem er sich gerade befindet. Um gut zu spielen, muss er sich daran erinnern, was zuvor passiert ist: Wohin bin ich gegangen? Habe ich den Schlüssel aufgehoben? Ist die Tür verschlossen?

In der Welt der KI wird dieses Gedächtnis als „latenter Zustand“ (latent state) bezeichnet.

Dieses Paper befasst sich mit einem spezifischen Problem: Wie stellen wir sicher, dass der Roboter tatsächlich ein gutes Gedächtnis lernt, anstatt zu schummeln?

Das Problem: Die „Spickzettel“-Lücke

Die meisten modernen KI-Modelle sind wie Schüler, denen erlaubt ist, ihr gesamtes Lehrbuch zur Prüfung mitzubringen.

Das Setup: Die KI sieht die Historie des Spiels (das Lehrbuch) und den aktuellen Raum.
Der Betrug: Obwohl die KI eigentlich dazu gedacht ist, die Historie in eine winzige „Gedächtnisnotiz“ (den latenten Zustand) zusammenzufassen, ist sie schlau genug, diese Notiz zu ignorieren. Sie schaut einfach in das vollständige Lehrbuch (die Historie), um die Frage zu beantworten.
Das Ergebnis: Die KI erzielt eine perfekte Punktzahl (sie sagt den nächsten Raum korrekt voraus), aber ihre „Gedächtnisnotiz“ ist leer oder nutzlos. Es ist wie ein Schüler, der die Antworten auswendig gelernt hat, aber die Konzepte dahinter nicht wirklich verstanden hat. Man kann nicht sagen, ob das Gedächtnis gut ist, weil die KI einfach durch den Blick in die Vergangenheit schummelt.

Die Autoren nennen dies das „Identifizierbarkeitsproblem“ (Identifiability Problem). Wenn die KI ihr Gedächtnis umgehen kann, kann man nicht feststellen, ob das Gedächtnis tatsächlich funktioniert.

Die Lösung: Der „strenge Vermittler“

Die Autoren schlagen eine Regel vor, die „Strict Mediation“ (Strikte Vermittlung) genannt wird. Stellen Sie sich das wie einen strengen Spielleiter mit einer goldenen Regel vor:

„Sobald du deine Gedächtnisnotiz geschrieben hast, musst du das Lehrbuch wegwerfen. Du darfst nur noch deine Gedächtnisnotiz und deinen nächsten Zug verwenden, um vorherzusagen, was als Nächstes passiert.“

Wenn die KI dieser Regel folgt:

Muss sie alle wichtigen Informationen in die Gedächtnisnotiz schreiben, sonst wird sie den Test nicht bestehen.
Wenn sie den Test besteht, wissen Sie mit Sicherheit, dass die Gedächtnisnotiz perfekt ist.
Wenn sie den Test nicht besteht, wissen Sie, dass in der Gedächtnisnotiz etwas fehlt.

Dies macht die Qualität des Gedächtnisses testbar.

Die Herausforderung: Text ist knifflig

Normalerweise besteht das KI-Gedächtnis aus Zahlen (Vektoren), die mathematisch leicht anzupassen sind. Aber dieses Paper möchte, dass das Gedächtnis aus Text besteht (wie eine Liste von Fakten: „Ich habe einen Schlüssel“, „Die Tür ist verschlossen“).

Warum Text? Er ist lesbar. Menschen können auf das Gedächtnis schauen und es verstehen.
Das Problem: Man kann nicht einfach Mathematik auf Text anwenden, um ihn zu „verändern“. Es ist, als würde man versuchen, einen Satz zu korrigieren, indem man Kalkül auf die Buchstaben anwendet. Außerdem wird eine KI mit einem leistungsstarken Gehirn (einem Large Language Model) versuchen, die Gedächtnisnotiz zu ignorieren und stattdessen die Historie zu betrachten.

Die Lösung: Der „Baum der Möglichkeiten“ (fGRPO)

Um die KI dazu zu bringen, textbasiertes Gedächtnis zu lernen, ohne zu schummeln, haben die Autoren eine neue Trainingsmethre erfunden, die factorized GRPO (fGRPO) genannt wird.

Stellen Sie sich vor, Sie trainieren einen Hund darauf, einen Ball zu apportieren, aber Sie können keine Leckerlis verwenden (weil Sie Text nicht mit Mathematik „anpassen“ können). Stattdessen nutzen Sie ein Spiel nach dem Motto „Was wäre wenn?“:

Der verzweigte Baum: Anstatt nur eine einzige Zukunft zu erraten, generiert die KI einen ganzen Baum von Möglichkeiten.
- Zweig 1: „Was wäre, wenn mein Gedächtnis sagt, dass ich einen Schlüssel habe?“ -> Ergebnis: Sagt voraus, dass sich die Tür öffnet.
- Zweig 2: „Was wäre, wenn mein Gedächtnis sagt, dass ich keinen Schlüssel habe?“ -> Ergebnis: Sagt voraus, dass die Tür geschlossen bleibt.
Die Bewertung: Die KI erhält nur dann Punkte, wenn die Vorhersage mit der Realität übereinstimmt.
Die Lektion: Wenn die KI versucht, das Gedächtnis zu ignorieren und einfach basierend auf der Historie zu raten, bricht der „Baum“ zusammen, da sie die Zukunft ohne das Gedächtnis nicht korrekt vorhersagen kann. Die KI lernt, dass sie, um das Spiel zu gewinnen, die richtigen Fakten in ihr textbasiertes Gedächtnis schreiben muss.

Die Ergebnisse: Besseres Gedächtnis, längere Abenteuer

Die Autoren haben dies in zwei Textspiel-Umgebungen (TextWorld und ScienceWorld) getestet.

Genauigkeit: Die KI sagte den nächsten Raum genauso gut voraus wie die „schummelnden“ Modelle.
Gedächtnisqualität: Die „strikten“ Modelle hatten viel bessere Gedächtnisnotizen. Sie waren genauer und enthielten die richtigen Fakten.
Langfristige Stabilität: Das ist der große Gewinn. In langen Spielen (viele Schritte) wurden die „schummelnden“ Modelle verwirrt und scheiterten, weil sie sich auf eine Historie verlassen mussten, die während des Spiels nicht verfügbar war. Die „strikten“ Modelle, die sich nur auf ihr kompaktes Gedächtnis verließen, blieben selbst nach 9 Schritten präzise, während die anderen Modelle versagten.

Zusammenfassung der Analogie

Der alte Weg (Undicht): Ein Schüler nimmt einen Test mit einem Spickzettel. Er erreicht 100 %, aber man weiß nicht, ob er etwas gelernt hat.
Der neue Weg (Streng): Der Schüler ist in einem Raum eingesperrt und hat nur eine einzige Karteikarte. Er muss alles, was er wissen muss, auf diese Karte schreiben, bevor der Test beginnt. Wenn er den Test besteht, wissen Sie, dass die Karte perfekt war.
Die Trainingsmethode: Anstatt den Schüler nur einmal zu bewerten, lässt der Lehrer ihn 10 verschiedene Szenarien basierend auf seiner Karte vorstellen. Wenn die Karte falsch ist, fällt der Schüler in den meisten Szenarien durch. Dies zwingt den Schüler, eine perfekte Karte zu schreiben.

Warum das wichtig ist

Dieses Paper beweist, dass man eine KI dazu bringen kann, in lesbarem Text zu „denken“ und sie dazu zu bringen, tatsächlich eine komprimierte Zusammenfassung der Welt zu lernen, anstatt nur die Vergangenheit auswendig zu lernen. Dies ist ein entscheidender Schritt hin zu einer KI, die über lange Zeiträume planen und schlussfolgern kann, ohne verwirrt zu werden.

Technisches Resümee: Textuelle Belief-Zustände für Weltmodelle

Problemstellung

In teilweise beobachtbaren Umgebungen müssen Weltmodelle eine latente Repräsentation aufrechterhalten, die die Interaktionshistorie zusammenfasst, um Vorhersage, Planung und Schlussfolgerung zu ermöglichen. Eine kritische Herausforderung moderner Architekturen auf Basis von Large Language Models (LLMs) ist das Identifizierbarkeitsproblem. In vielen bestehenden Designs koexistiert der latente Zustand mit anderen Informationsquellen (wie der vollständigen Beobachtungshistorie), die als Ersatz dienen können. Folglich kann ein Modell eine hohe Vorhersagegenauigkeit erzielen, indem es den latenten Zustand „umgeht“ und sich stattdessen direkt auf die Historie stützt. Dies macht den latenten Zustand unidentifizierbar; die Vorhersageleistung ist nicht länger ein Maßstab für die Qualität der gelernten Repräsentation.

Während klassische Weltmodelle eine strikte latente Zustandsvermittlung (strict latent state mediation) erzwingen – was voraussetet, dass alle Vorhersagen nur vom latenten Zustand und der aktuellen Aktion abhängen –, ist die Anwendung dieses Prinzips auf textbasierte Settings schwierig. Textuelle latente Zustände sind diskret und nicht differenzierbar, was die Verwendung standardmäßiger variabler Optimierung (z. B. ELBO) verhindert. Zudem neigen expressive LLM-Decoder, die mit solchen Zielen trainiert werden, dazu, den Engpass (Bottleneck) zu ignorieren, was zu Posterior Collapse führt. Die vorliegende Arbeit adressiert die Herausforderung, eine strikte Vermittlung im Textbereich zu erzwingen, um sicherzustellen, dass die Qualität der Repräsentation empirisch testbar ist und der latente Zustand als hinreichende Statistik der Historie fungiert.

Methodik

1. Textuelle latente Zustände

Die Autoren schlagen vor, latente Zustände als diskrete, interpretierbare, variabel lange Textzeichenfolgen (speziell JSON-Prädikat-Argument-Listen) darzustellen, anstatt als kontinuierliche Vektoren. Dieser Ansatz bietet vier Vorteile:

Ausrichtung (Alignment): Er passt zum LLM-Backbone und vermeidet verlustbehaftete Modalkonvertierungen.
Adaptiver Engpass (Adaptive Bottleneck): Die Kapazität skaliert mit dem Inhalt statt mit festen Dimensionen.
Interpretierbarkeit: Zustände sind direkt inspizierbar und können gegen die Ground-Truth-Fakten evaluiert werden.
Modale Übereinstimmung: Da Beobachtungen semantischer Text sind, bewahren textuelle Zustände die strukturelle Integrität.

2. Modellarchitektur

Das System nutzt ein einzelnes vortrainiertes autoregressives Sprachmodell mit geteilten Parametern $\theta$ , das in drei distinkten, durch Prompts definierten Stadien operiert:

Kodierung (Encoding): $\hat{s}_t \sim p_\theta(\cdot | h_t)$ , generiert einen latenten Zustand aus der Historie $h_t$ .
Übergang (Transition/Dynamics): $\hat{s}_{t+1} \sim p_\theta(\cdot | \hat{s}_t, a_t)$ , sagt den nächsten Zustand basierend nur auf dem aktuellen latenten Zustand und der Aktion voraus.
Dekodierung (Decoding): $\hat{o}_{t+1} \sim p_\theta(\cdot | \hat{s}_{t+1}, a_t)$ , generiert die nächste Beobachtung aus dem neuen latenten Zustand.

Entscheidend ist, dass die Übergangs- und Dekodierungsstadien nach der Generierung von $\hat{s}_t$ keinen Zugriff mehr auf die ursprüngliche Historie $h_t$ haben. Dies erzwingt die strikte Vermittlung.

3. Training via faktorisierter GRPO (fGRPO)

Da textuelle Zustände nicht differenzierbar sind, ist eine gradientenbasierte Optimierung durch den latenten Raum unmöglich. Die Autoren behandeln jede Generationsstufe als stochastische Policy und optimieren mittels Reinforcement Learning (RL).

Limitierung von Standard-GRPO: Standardmäßiges Group Relative Policy Optimization (GRPO) operiert auf einer einzelnen autoregressiven Fortsetzung, was es dem Modell erlauben würde, über den gemeinsamen Prompt-Kontext auf die Historie zuzugreifen, wodurch die strikte Vermittlung verletzt würde.
fGRPO-Lösung: Die Autoren führen faktorisierte GRPO ein, eine baumstrukturierte Erweiterung. Für eine gegebene Historie sampelt das Modell $A$ Kandidaten für latente Zustände, dann $B$ Kandidaten für den nächsten Zustand pro Kodierung und $C$ Kandidaten für die nächste Beobachtung pro Übergang. Dies bildet einen Baum, bei dem Belohnungen (Rewards) an den Blättern berechnet (Vergleich zwischen vorhergesagter und tatsächlicher Beobachtung) und aufwärts propagiert werden. Diese Struktur stellt sicher, dass die Übergangs- und Dekodierungsschritte strikt auf die gesampelten latenten Zustände konditioniert sind und nicht auf die ursprüngliche Historie.

4. Reward-Design

Das Belohnungssignal komb Wort-Genauigkeit mit struktureller Regularisierung kombiniert, um kompakte, hinreichende Zustände zu fördern:

Beobachtungsgenauigkeit ( $R_{obs}$ ): Faktorebene F1-Score zwischen den extrahierten Fakten der vorhergesagten und der tatsächlichen Beobachtung.
Formatgültigkeit ( $R_{fmt}$ ): Eine binäre Prüfung, ob der latente Zustand eine gültige JSON-Struktur ist.
Auxiliary Rewards (Hilfsbelohnungen):
- Support ( $R_{sup}$ ): Fördert die Konsistenz zwischen der vorhergesagten Beobachtung und den zugrunde liegenden Zustandsfakten.
- Deduplikation ( $R_{dedup}$ ): Bestraft semantisch redundante Fakten.
- Ablation ( $R_{abl}$ ): Misst den Anteil der Fakten, deren Entfernung die Vorhersage verschlechtert, um die Beibehaltung nur notwendiger Informationen zu fördern.

Zentrale Beiträge

Formalisierung der strikten Vermittlung: Das Paper beweist, dass unter strikter Vermittlung die optimale Vorhersagegenauigkeit impliziert, dass der latente Zustand eine hinreichende Statistik der Historie ist (Proposition 1). Umgekehrt kann in „undichten“ (leaky) Architekturen, in denen ein Bypass der Historie erlaubt ist, eine optimale Genauigkeit auch mit einem uninformativen latenten Zustand erreicht werden (Proposition 2).
Theoretische Garantien für Rollouts: Strikte Vermittlung richtet die Trainings- und Inferenzbedingungen strukturell aufeinander aus. Die Autoren zeigen, dass dies das geometrische Fehlerwachstum verhindert, das bei historienbasierten oder undichten Rollouts auftritt, und ermöglicht eine begrenzte Fehlerfortpflanzung unter Kontraktionsannahmen (Proposition 3).
fGRPO-Algorithmus: Die Einführung von faktisierter GRPO, die das Training diskreter, nicht differenzierbarer textueller latenter Zustände unter strikten Vermittlungsbedingungen ohne variationale Zielsetzungen ermöglicht.
Empirische Validierung: Experimente auf TextWorld und ScienceWorld demonstrieren, dass strikte Vermittlung Repräsentationen hervorbringt, die sowohl prädiktiv als auch identifizierbar sind.

Experimentelle Ergebnisse

Die Autoren evaluierten ihren Ansatz gegen drei Baselines:

Stateless (Zustandslos): Sagt direkt aus der Historie voraus (obere Grenze der Genauigkeit, keine explizite Repräsentation).
LeakyState (Undicht): Verwendet einen textuellen latenten Zustand, erlaubt aber einen Historien-Bypass während der Vorhersage.
StrictState-Emb: Verwendet strikte Vermittlung, jedoch mit kontinuierlichen Embeddings (variationales Training).

Wichtigste Erkenntnisse:

Vorhersagegenauigkeit: StrictState-Text erreicht die Genauigkeit der Einschritt-Vorhersage (obs.F1) der LeakyState- und Stateless-Baselines, was bestätigt, dass strikte Vermittlung die Leistung nicht beeinträchtigt.
Qualität der Repräsentation: Bei gleicher Vorhersagegenauigkeit erreicht StrictState-Text eine signifikant höhere State-Level F1 (Steigerungen von bis zu 57 % in ScienceWorld und 30 % in TextWorld für komplexe Aufgaben) im Vergleich zu LeakyState. Dies bestätigt, dass undichte Modelle uninformative Zustände lernen, die auf einen Historien-Bypass angewiesen sind.
Rollout-Stabilität: Strikte Vermittlung verbessert die Multi-Step-Rollout-Performance erheblich. Die Gewinne bei der State-Level F1 steigen mit dem Vorhersagehorizont an und erreichen bei einem Horizont von 9 in TextWorld eine Verbesserung von 98 %. Dies validiert die theoretische Behauptung, dass strikte Vermittlung die kumulative Fehlerfortpflanzung mildert.
Ablation: Das Entfernen der Hilfsbelohnungen (Deduplikation, Ablation, Support) verschlechtert die Langzeit-Rollout-Performance, was darauf hindeutet, dass diese Komponenten entscheidend für das Lernen kompakter, hinreichender Zustände sind.

Bedeutung und Ansprüche

Das Paper behauptet, dass strikte latente Zustandsvermittlung eine notwendige Bedingung ist, um die Qualität einer Repräsentation in Weltmodellen empirisch testbar zu machen. Oh-ne sie ist die Vorhersagegenauigkeit ein schlechter Stellvertreter für die Repräsentationsqualität, da das Modell „schummeln“ kann, indem es direkt auf die Historie zugreift.

Durch die erfolgreiche Durchsetzung strikter Vermittlung im Textbereich mittels fGRPO demonstrieren die Autoren:

Identifizierbarkeit ist erreichbar: Es ist möglich, diskrete, interpretierbare latente Zustände zu lernen, deren Qualität direkt aus der Vorhersageleistung diagnostizierbar ist.
Textuelle Zustände sind effektiv: Variabel lange textuelle Zustände bieten einen flexibleren und interpretierbareren Engpass als festdimensionierte Embeddings für diskrete, kompositionelle Fakten.
Stabilität wird verbessert: Strikte Vermittlung richtet Training und Inferenz aufeinander aus und verhindert die Fehlerakkumulation, die in undichten oder zustandslosen Architekturen bei langfristigen Rollouts auftritt.

Die Autoren merken an, dass sich ihre Evaluierung auf die Repräsentationsqualität konzentriert und nicht auf die nachgelagerte Kontrolle oder Planung, und dass die Experimente auf synthetischen, instrumentierten Umgebungen (TextWorld und ScienceWorld) beschränkt sind. Sie räumen strukturelle Einschränkungen ein, wie etwa die Last der Kompression, die vollständig auf einen Single-Shot-Encoder fällt, sowie die Abhängigkeit von strukturierter Faktenextraktion für die Hilfsbelohnungen. Dennoch etabliert die Arbeit eine methodische Grundlage für den Bau zuverlässiger, interpretierbarer Weltmodelle in textbasierten Settings.