🤖 machine learning

Learning POMDP World Models from Observations with Language-Model Priors

Dieser Beitrag stellt Pinductor vor, eine Methode, die Sprachmodell-Priors nutzt, um effizient Partially-Observable Markov Decision Process (POMDP)-Weltmodelle aus begrenzten Beobachtungs-Aktions-Trajektorien zu erlernen und dabei eine Leistung zu erzielen, die mit privilegierten-Zustands-Methoden vergleichbar ist, während sie traditionelle Baselines in Bezug auf die Stichprobeneffizienz deutlich übertrifft.

Ursprüngliche Autoren: Valentin Six, Frederik Panse, Mathis Fajeau, Lancelot Da Costa, Mridul Sharma, Alfonso Amayuelas, Tim Z. Xiao, David Hyland, Philipp Hennig, Bernhard Schölkopf

Veröffentlicht 2026-05-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Valentin Six, Frederik Panse, Mathis Fajeau, Lancelot Da Costa, Mridul Sharma, Alfonso Amayuelas, Tim Z. Xiao, David Hyland, Philipp Hennig, Bernhard Schölkopf

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie werden in ein brandneues, pitchschwarzes Labyrinth geworfen. Sie können die Wände, die Sackgassen oder den Ausgang nicht sehen. Alles, was Sie wissen, ist, dass Sie beim Vorwärtsschreiten möglicherweise gegen etwas stoßen, einen Sound hören oder eine Belohnung spüren, wenn Sie den Schatz finden. Sie müssen herausfinden, wie dieses Labyrinth funktioniert, indem Sie sich einfach tastend fortbewegen, ohne jemals die vollständige Karte zu sehen.

Dies ist die Herausforderung von POMDPs (Partially Observable Markov Decision Processes – teilweise beobachtbare Markov-Entscheidungsprozesse). Es ist die Mathematik dahinter, zu lernen, wie die Welt funktioniert, wenn man nicht das gesamte Bild sehen kann.

Die Arbeit stellt eine neue Methode namens Pinductor (Kurzform für „POMDP-inductor") vor, die ein Large Language Model (LLM) – wie die KI, mit der Sie vielleicht chatten – verwendet, um dieses Problem zu lösen. Hier ist die Funktionsweise, dargestellt durch einfache Analogien:

Das Problem: Lernen im Dunkeln

Normalerweise geben Sie einer KI, um ihr das Navigieren durch ein Labyrinth beizubringen, einen „Spickzettel". Sie zeigen ihr nach jedem Zug die verborgene Karte (den wahren Zustand), damit sie aus ihren Fehlern lernen kann. Aber in der realen Welt erhalten Roboter und Agenten selten Spickzettel. Sie sehen nur, was direkt vor ihnen liegt.

Frühere Methoden versuchten, KI zu nutzen, um die Karte zu erraten, verließen sich dabei aber heimlich immer noch darauf, die verborgene Karte zu sehen, um zu lernen. Wenn man Ihnen den Spickzettel nimmt, versagen diese Methoden.

Die Lösung: Pinductor (Der „Detektiv"-KI)

Pinductor ist wie ein Detektiv, der ein Verbrechen aufklären muss, ohne den Verdächtigen jemals zu sehen. Stattdessen nutzt der Detektiv einen super-intelligenten KI-Assistenten (das LLM), der viel darüber weiß, wie die Welt normalerweise funktioniert.

Hier ist der schrittweise Prozess:

Die Vermutung (Die Hypothese):
Der KI-Assistent betrachtet ein paar kurze Videoclips von jemandem, der durch das Labyrinth navigiert (Beobachtungs- und Aktionsdaten). Basierend auf seinem riesigen Wissen darüber, wie Labyrinthe, Schlüssel und Türen normalerweise funktionieren, schreibt der Assistent ein Computerprogramm, das versucht zu erklären, wie sich das Labyrinth verhält.
- Analogie: Stellen Sie sich vor, die KI schreibt ein Regelbuch: „Wenn Sie vorwärts gehen und gegen eine Wand stoßen, bleiben Sie stehen. Wenn Sie einen Schlüssel aufheben, können Sie die rote Tür öffnen."
Der Test (Die Simulation):
Das System nimmt dieses Regelbuch und führt eine Simulation durch. Es tut so, als wäre es der Agent im Labyrinth, und folgt den Regeln, die die KI geschrieben hat. Es fragt: „Wenn ich diesen Regeln folge, würde ich dann dieselben Dinge sehen, die der echte Agent gesehen hat?"
- Die Wendung: Da das System den wahren verborgenen Zustand nicht kennt, verwendet es ein „Glaubenssystem". Es hält eine Wolke möglicher Orte (wie einen Bienenschwarm) und aktualisiert diese basierend auf dem, was der Agent sieht. Wenn der Bienenschwarm die Beobachtungen erklären kann, ist das Regelbuch gut. Wenn die Bienen verwirrt sind und das Gesehene nicht erklären können, ist das Regelbuch schlecht.
Die Korrektur (Die Verfeinerung):
Das System vergleicht das Regelbuch der KI mit den echten Videoclips. Es findet die Fehler.
- Beispiel: „Hey, dein Regelbuch sagt, dass Lava sicher zum Betreten ist, aber das Video zeigt, dass der Agent stirbt, wenn er sie berührt."
  Das System sendet dieses Feedback dann an den KI-Assistenten zurück: „Du hast den Lavateil falsch verstanden. Korrigiere deinen Code."
  Die KI schreibt den Code neu, und der Zyklus wiederholt sich, bis das Regelbuch vorhersagt, was im Labyrinth passiert, perfekt.

Warum dies eine große Sache ist

Keine Spickzettel erforderlich: Im Gegensatz zu früheren Methoden lernt Pinductor strikt aus dem, was der Agent sieht und tut. Es darf niemals einen Blick auf die verborgene Karte werfen.
Es ist effizient: Es lernt sehr schnell. Die Arbeit zeigt, dass die KI mit nur einer Handvoll Videoclips (wie 10 kurzen Durchläufen) ein Modell erstellen kann, das fast so gut funktioniert wie Methoden, die tatsächlich Spickzettel haben.
Es nutzt „gesunden Menschenverstand": Die Magie kommt vom Vorwissen des LLM. Die KI weiß bereits, dass „Lava heiß ist" oder „Türen Schlüssel benötigen". Sie nutzt diesen gesunden Menschenverstand, um eine fundierte Vermutung anzustellen, und verwendet dann die Daten, um diese Vermutung zu verfeinern.

Die Ergebnisse

Die Forscher testeten dies in „MiniGrid"-Umgebungen (einfache Gitterwelt-Spiele).

Leistung: Pinductor schnitt genauso gut ab wie die „Spickzettel"-Methoden und viel besser als traditionelle Methoden, die keine KI verwenden.
Genauigkeit des Glaubens: Während sich der Agent durch das Labyrinth bewegt, wird sein interner „Glaube" darüber, wo er sich befindet, schärfer und genauer und lokalisiert schließlich den wahren Ort, obwohl er die Karte nie gesehen hat.
Abhängigkeit: Die Methode hängt stark von der Intelligenz der KI ab. Wenn Sie eine „dumme" KI verwenden oder die Textbeschreibungen der Umgebung entfernen, sinkt die Leistung. Dies beweist, dass die KI ihr Sprachwissen nutzt, um die Lücken zu füllen.

Zusammenfassung

Kurz gesagt lehrt Pinductor einer KI, eine mentale Karte eines dunklen Raums zu erstellen, indem es einem super-intelligenten Sprachmodell erlaubt, die Regeln des Raums zu erraten, und diese Vermutungen dann basierend auf dem, was der Agent tatsächlich sieht, korrigiert. Es ist eine Möglichkeit zu lernen, wie die Welt funktioniert, ohne einen Spickzettel zu benötigen, und stellt einen wichtigen Schritt dar, um Roboter zu schaffen, die in der Lage sind, echte, chaotische und unvorhersehbare Umgebungen eigenständig zu navigieren.

Technische Zusammenfassung: Erlernen von POMDP-Weltmodellen aus Beobachtungen mit Sprachmodell-Priors

Problemstellung

Effektive Agenten in teilweise beobachtbaren Umgebungen müssen ein internes Modell lernen, wie die Welt auf ihre Aktionen reagiert. Obwohl Partielle Observable Markov-Entscheidungsprozesse (POMDPs) ein flexibles Formalismus für solche Weltmodelle bieten, ist deren Lernen allein aus Beobachtungs-Aktions-Trajektorien berüchtigt schwierig. Klassische Ansätze (tabellarische Schätzer, spektrale Methoden, tiefe latente Modelle) erfordern typischerweise umfangreiche Interaktionen mit der Umgebung, starke strukturelle Annahmen oder Zugriff auf wahre verborgene Zustände.

Bestehende Methoden, die Large Language Models (LLMs) nutzen, um Weltmodelle zu induzieren, beruhen oft auf einer kritischen vereinfachenden Annahme: Zugriff auf privilegierte verborgene Zustände während des Trainings. Selbst der engste Vorläufer, POMDP Coder, nimmt einen nachträglichen Zugriff auf wahre Zustände nach jedem Episodenverlauf an. Diese Einschränkung macht solche Methoden in realen Szenarien unanwendbar, in denen keine Zustandsüberwachung verfügbar ist, wie etwa bei Robotern, die in überfüllten Räumen operieren, oder bei Agenten in Spielen mit unvollständiger Information. Die zentrale Frage, die von dieser Arbeit adressiert wird, lautet, ob LLM-Priors ausreichend leistungsfähig sind, um ausführbare POMDP-Modelle ausschließlich unter Verwendung von Beobachtungs-Aktions-Belohnungs-Trajektorien zu induzieren, ohne jeglichen Zugriff auf Zustandslabels.

Methodik: Pinductor

Die Autoren stellen Pinductor (POMDP-inductor) vor, ein Framework, das ausführbare POMDP-Weltmodelle allein aus Beobachtungs-Aktions-Belohnungs-Trajektorien induziert. Die Methode arbeitet in einer Schleife aus Generieren, Bewerten, Verfeinern und Planen und vermeidet den direkten Vergleich zwischen vorhergesagten Zuständen und wahren verborgenen Zuständen.

1. Modellvorschlag

Ein LLM wird mit einer natürlichen Sprachbeschreibung der Umgebung, einem kleinen Offline-Datensatz von Trajektorien und einer Code-API, die die Zustands-, Aktions- und Beobachtungsräume definiert, promptet. Das LLM generiert ein kandidiertes ausführbares Modell $m = (\rho_0^m, T^m, O^m, R^m)$ , das die anfängliche Zustandsverteilung, die Übergangsdynamik, das Beobachtungsmodell und die Belohnungsfunktion definiert.

2. Glaubensbasierte Modellbewertung

Da verborgene Zustände nicht beobachtet werden, bewertet Pinductor Kandidaten mithilfe eines glaubensbasierten Likelihood-Scores.

Partikelfilterung: Für ein Kandidatenmodell wird eine Menge von Partikeln aus der vorgeschlagenen anfänglichen Zustandsverteilung gesampelt und unter Verwendung der beobachteten Aktionen durch das Übergangsmodell $T^m$ propagiert.
Weiche Beobachtungs-Likelihood: Das vom LLM generierte Beobachtungsmodell $O_{LLM}^m$ ist oft deterministisch. Um Diskrepanzen zu handhaben und ein gradientenähnliches Signal bereitzustellen, verwendet die Methode einen Distanzkernel. Der Abstand $d_{obs}$ zwischen einer vorhergesagten Beobachtung und der realisierten Beobachtung wird in eine weiche Likelihood umgewandelt:
$O^m(o_{t+1} | s_{t+1}, a_t) \propto \exp(-d_{obs}(o_{t+1}^{pred}, o_{t+1}^{real}) / \kappa)$
Bewertung: Das Modell wird durch die erwartete Log-Likelihood der beobachteten Trajektorie unter der durch den Partikelfilter induzierten Glaubensverteilung bewertet:
$L(P^m; \mathcal{D}) = \sum_{\tau \in \mathcal{D}} \sum_{t=0}^{H-1} \mathbb{E}_{s_{t+1} \sim Q_{t+1}^m} [\log O^m(o_{t+1} | s_{t+1}, a_t)]$
Dieser Score bewertet, wie gut die eigenen Filterungsdynamiken des Modells den Beobachtungsstrom erklären können, ohne privilegierten Zustandszugriff.

3. Feedback und Verfeinerung

Die Methode verfeinert Modelle iterativ unter Verwendung von strukturiertem Debugging-Feedback:

Globaler Score: Der skalare Likelihood-Score gibt den Gesamtfitt an.
Lokale Diagnostik: Das System identifiziert spezifische Fehlermodi, wie Ausführungsfehler, Trajektoriensegmente mit hoher Beobachtungsdistanz oder Belohnungsabweichungen.
Divergenzsignale: Ein „Ausschuss" zuvor generierter Übergangsmodelle wird verwendet, um die Entropie der Stimmen zu berechnen. Kontexte mit hoher Entropie (in denen Kandidatenmodelle bezüglich des nächsten Zustands uneinig sind) werden dem LLM hervorgehoben, um es bei der Auflösung von Mehrdeutigkeiten in der Dynamik zu leiten.
Verfeinerungsstrategie: Pinductor verwendet einen baumstrukturierten Verfeinerungsprozess (UCB1-Auswahl) anstelle einer einzelnen Kette von Bearbeitungen und erkundet mehrere Kandidatenfamilien, bevor ein nahezu bestes Modell ausgewählt wird.

4. Planung

Das ausgewählte Modell wird während der Online-Interaktion für die Planung im Glaubensraum verwendet (z. B. durch A*-artige Planer). Neue Trajektorien werden an den Datensatz angehängt und lösen weitere Verfeinerungsrunden aus.

Hauptbeiträge

Beobachtungs-only POMDP-Induktion: Die Arbeit zeigt, dass LLM-Priors ausreichen, um ausführbare POMDP-Weltmodelle allein aus Beobachtungs-Aktions-Belohnungs-Trajektorien zu induzieren, wodurch die Notwendigkeit einer Überwachung durch wahre latente Zustände sowohl während des Trainings als auch während der Inferenz entfällt.
Glaubensbasierte Modellbewertung: Die Autoren führen ein kernelbasiertes Likelihood-Zielfunktion ein, die Kandidatenprogramme unter ihren gefilterten Glaubensverteilungen bewertet. Dies liefert ein pro-Schritt-Reparatursignal, das ausschließlich aus partiellen Beobachtungen berechenbar ist.
End-to-End-Validierung: Die Methode wird über fünf teilweise beobachtbare MiniGrid-Aufgaben hinweg validiert. Pinductor erreicht die Leistung und Probeneffizienz eines privilegierten-Zustands-LLM-Baselines (POMDP Coder) und übertrifft dabei nicht-LLM-Baselines (einschließlich tabellarischer POMDPs mit privilegiertem Zustandszugriff) signifikant.

Ergebnisse

Leistung: In MiniGrid-Umgebungen (Empty, Corners, Lava, Unlock, Four Rooms) erreicht Pinductor mittlere Episodenbelohnungen und Gewinnraten, die mit dem privilegierten-Zustands-Baseline vergleichbar sind, trotz der Verwendung strikt weniger Informationen.
Probeneffizienz: Pinductor erreicht mit sehr wenigen Offline-Trajektorien (so wenig wie 2–10) eine starke Leistung und entspricht dabei der Probeneffizienz von Methoden mit Zustandszugriff.
Glaubensqualität: Während der Planung konzentrieren sich die Glaubenszustände von Pinductor mit zunehmenden Beobachtungen zunehmend auf den wahren verborgenen Zustand, was zeigt, dass die gelernten Modelle informative Posterior-Aktualisierungen unterstützen.
Ablationsstudien:
- LLM-Fähigkeit: Die Leistung skaliert mit der Fähigkeit des LLM; schwächere Modelle scheitern daran, brauchbare Weltmodelle zu synthetisieren, während stärkere Modelle (Qwen 3.6 Plus, Claude Opus 4.7) hohe Leistung erzielen.
- Semantische Information: Das Zurückhalten semantischer Umgebungsbeschreibungen verschlechtert die Leistung, was darauf hindeutet, dass die Methode auf LLM-Priors angewiesen ist, die in textuellen Informationen verankert sind.
- Stochastizität: Die Methode bleibt in stochastischen Varianten der Umgebungen effektiv, obwohl die Leistung im Vergleich zu deterministischen Einstellungen abfällt.

Bedeutung und Einschränkungen

Die Arbeit positioniert Sprachmodell-Priors als praktisches Werkzeug für das probeneffiziente Lernen von Weltmodellen unter partieller Beobachtbarkeit. Durch die Beseitigung der Anforderung nach privilegiertem Zustandszugriff erweitert Pinductor den Anwendungsbereich der LLM-gesteuerten Modellinduktion auf Szenarien, die für reale Bereitstellungen charakteristisch sind (z. B. Robotik, Spiele mit unvollständiger Information).

Die Autoren vermerken bescheiden mehrere Einschränkungen:

Umfang: Die Evaluation ist auf MiniGrid-Umgebungen beschränkt; die Übertragung auf andere Domänen oder komplexe reale Szenarien bleibt ungetestet.
Feste Komponenten: Die Beobachtungsdistanzfunktion, der Planer und der Demonstrationspuffer sind derzeit festgelegt und werden nicht vom LLM optimiert.
Varianz: Die Abhängigkeit von LLM-API-Aufrufen führt zu einer hohen Varianz in der Ausführungszeit und den Ergebnissen.
Datensammlung: Offline-Datensätze werden manuell gesammelt; der Einfluss automatisierter Datensammlungsstrategien wird nicht untersucht.

Die Arbeit stellt einen Schritt hin zu generalistischen Agenten dar, die in der Lage sind, interne Weltmodelle aus der ersten-Person-Erfahrung in teilweise beobachtbaren Umgebungen zu lernen.