From Next Token Prediction to (STRIPS) World Models

Diese Studie zeigt, dass sowohl ein symbolisch ausgerichteter STRIPS-Transformer als auch ein Standard-Transformer mit Stick-Breaking-Aufmerksamkeit aus reinen Aktionsverläufen STRIPS-World-Modelle lernen können, die eine zuverlässige Planung über exponentiell viele ungesehene Zustände und Ziele hinweg ermöglichen, wobei der Standard-Transformer dabei eine bessere Generalisierungsfähigkeit aufweist.

Das Wesentliche

Von der nächsten Vorhersage zum Welt-Modell: Eine Reise in die Welt der KI-Planung

Stellen Sie sich vor, Sie lernen eine neue Sprache, indem Sie nur Sätze hören und versuchen, das nächste Wort vorherzusagen. Ein normales KI-Modell (wie ein großer Chatbot) macht das sehr gut: Es sagt „Der Himmel ist..." und dann kommt wahrscheinlich „blau". Aber versteht es wirklich, was ein Himmel ist? Weiß es, dass Wolken den Himmel verdecken können oder dass es nachts dunkel wird? Oder hat es sich nur gemerkt, dass „blau" oft nach „Himmel" kommt?

Diese Frage steht im Mittelpunkt einer neuen Studie von Forschern der RWTH Aachen und der Universitat Pompeu Fabra. Sie wollten herausfinden: Kann eine KI, die einfach nur das nächste Wort (oder hier: die nächste Aktion) vorhersagt, tatsächlich ein echtes „Welt-Modell" lernen? Ein Modell, das ihr erlaubt, Pläne zu schmieden und Probleme zu lösen, wie ein Mensch es tut?

Um das zu testen, haben sie eine Art „Spielwiese" gebaut, die auf einer alten, aber sehr strengen Logik namens STRIPS basiert. Stellen Sie sich STRIPS wie ein riesiges, logisches Puzzle vor, bei dem jede Aktion (z. B. „Block A auf Block B legen") klare Regeln hat: Was muss vorher passieren, und was ändert sich danach?

Die beiden Helden des Experiments

Die Forscher haben zwei verschiedene Arten von KI-Architekturen (den „Gehirnen" der Modelle) getestet, um zu sehen, wer am besten lernt, wie diese Welt funktioniert.

1. Der „STRIPS-Transformer" (Der strukturierte Architekt)

Stellen Sie sich diesen wie einen Bauarbeiter mit einem perfekten Bauplan vor.

• Wie er funktioniert: Ihm wurde von Anfang an gesagt: „Hey, du musst genau so denken wie ein STRIPS-Modell. Jede Aktion hat eine Checkliste (Voraussetzungen) und eine Liste der Veränderungen."
• Das Problem: Obwohl er theoretisch der klügste sein sollte, war er schwer zu trainieren. Es war, als würde man versuchen, einem Bauarbeiter einen extrem komplexen Plan zu geben, den er nur mit Mühe versteht. Er brauchte riesige Mengen an Daten, um nicht zu verwirrt zu sein, und machte oft Fehler, wenn die Aufgaben zu lang wurden. Er war zu starr.

2. Der „Stick-Breaking Transformer" (Der flexible Entdecker)

Dieser ist wie ein neugieriger Abenteurer, der keine Baupläne hat, sondern einfach nur beobachtet.

• Wie er funktioniert: Er hat keine vorgefertigten Regeln. Er schaut sich nur an, welche Aktionen in welcher Reihenfolge funktionieren und welche nicht. Der Trick hier ist eine spezielle Technik namens „Stick-Breaking Attention".
• Die Metapher: Stellen Sie sich vor, Sie haben einen Stock (einen „Stick"). Wenn Sie eine neue Information bekommen, brechen Sie ein Stück vom Stock ab, das der aktuellen Situation entspricht, und werfen den Rest weg. So konzentriert sich die KI immer genau auf das wichtigste, letzte Ereignis, das eine Regel verändert hat.
• Das Ergebnis: Dieser „Abenteurer" war viel besser! Er lernte schneller, machte weniger Fehler und konnte sich auf sehr lange, komplexe Szenarien einstellen, ohne den Faden zu verlieren.

Das große Geheimnis: Wie wird aus Vorhersage ein Plan?

Das Spannendste an der Studie ist, was die Forscher mit diesen trainierten Modellen gemacht haben.

Normalerweise sagen KIs nur: „Das nächste Wort ist X." Aber hier haben die Forscher die KI dazu gebracht, nicht nur das nächste Wort zu sagen, sondern die Regeln der Welt zu extrahieren.

Stellen Sie sich vor, die KI hat tausende von Videos von einem Roboter gesehen, der Blöcke stapelt. Sie hat gelernt, welche Bewegungen funktionieren und welche nicht.

1. Die Extraktion: Die Forscher haben die KI gefragt: „Okay, du hast das alles gesehen. Kannst du mir jetzt die Regeln aufschreiben?"
2. Das Ergebnis: Die KI hat tatsächlich eine saubere, symbolische Liste von Regeln erstellt (z. B. „Man kann Block A nur auf B legen, wenn B frei ist").
3. Die Prüfung: Diese Regeln gaben sie dann einem klassischen Planungs-Programm (einem „Super-Logiker"), das noch nie diese Blöcke gesehen hatte. Und guess what? Der Super-Logiker konnte damit perfekte Pläne für völlig neue Situationen erstellen!

Warum ist das wichtig?

Stellen Sie sich vor, Sie lernen Autofahren, indem Sie nur Videos von anderen Fahrern ansehen.

• Ein schlechtes Modell würde sich merken: „Wenn ich das Lenkrad links drehe, passiert oft etwas." Aber wenn die Straße nass ist oder ein neues Auto da steht, versagt es.
• Ein gutes Welt-Modell (wie das in dieser Studie) versteht: „Das Auto rutscht auf nasser Straße, weil die Reibung fehlt."

Die Studie zeigt, dass moderne KI-Architekturen (Transformers) tatsächlich in der Lage sind, diese tiefen, logischen Zusammenhänge zu lernen, wenn man sie richtig trainiert. Besonders der „Stick-Breaking"-Ansatz hat gezeigt, dass man nicht unbedingt starre, symbolische Regeln in die KI einbauen muss, damit sie sie lernt. Sie kann sie sich selbst „herausfinden", indem sie einfach nur die Konsequenzen von Aktionen beobachtet.

Fazit in einem Satz

Die Forscher haben bewiesen, dass KI-Modelle, die nur das nächste Wort vorhersagen, tatsächlich ein tiefes Verständnis der Welt entwickeln können – ähnlich wie ein Kind, das durch Beobachten lernt, wie die Welt funktioniert, und nicht nur durch Auswendiglernen von Regeln. Und das Beste: Dieses Verständnis reicht aus, um komplexe Pläne für Situationen zu erstellen, die die KI noch nie gesehen hat.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „From Next Token Prediction to (STRIPS) World Models" auf Deutsch:

1. Problemstellung

Die Arbeit untersucht die Hypothese, ob Transformer-Architekturen, die durch autoregressives Next-Token-Prediction trainiert werden, echte Weltmodelle erlernen können, die für die Planung nutzbar sind.

• Herausforderung: Bisherige Studien zeigten, dass Transformer zwar latente Zustandsrepräsentationen lernen, diese jedoch oft nicht ausreichen, um komplexe Planungsprobleme zu lösen oder über lange Zeithorizonte zu generalisieren.
• Ziel: Es soll in einer kontrollierten, symbolischen Umgebung (propositionale STRIPS-Domänen) gezeigt werden, ob aus reinen Aktions-Traces (Folgen von Aktionen) ein exaktes symbolisches Modell gelernt werden kann, das von klassischen Planern verwendet werden kann.
• Kontext: STRIPS-Modelle definieren deterministische MDPs, bei denen Zustände durch Mengen von Atomen (Boolesche Variablen) gegeben sind und Aktionen Atome hinzufügen oder löschen, sofern ihre Voraussetzungen erfüllt sind.

2. Methodik

Die Autoren stellen zwei spezialisierte Transformer-Architekturen vor, die beide darauf trainiert werden, zu klassifizieren, ob eine gegebene Aktionssequenz (Trace) konsistent (positiv) oder inkonsistent (negativ) mit einem zugrunde liegenden STRIPS-Modell ist.

A. STRIPS Transformer

• Konzept: Eine Architektur, die explizit an die symbolische Struktur von STRIPS angepasst ist. Sie basiert auf theoretischen Ergebnissen, die Hard-Attention-Transformer mit der formalen Sprache B-RASP und sternfreien Sprachen verbinden.
• Mechanismus:
  • Jeder Attention-Head entspricht einem Atom im STRIPS-Modell.
  • Die Parameter kodieren direkt die Präkonditionen, Add- und Delete-Effekte der Aktionen.
  • Die Aufmerksamkeit nutzt Stick-Breaking Attention (eine differenzierbare Approximation von Hard Attention), um das rechtseitigste (rekurrente) vorherige Ereignis zu finden, das einen Atom-Wert ändert. Dies modelliert exakt die Abhängigkeit des aktuellen Wahrheitswerts eines Atoms von der letzten relevanten Aktion.
• Vorteil: Theoretische Exaktheit und direkte Abbildung der STRIPS-Logik.
• Nachteil: Schwieriger zu optimieren und benötigt große Datensätze für eine zuverlässige Generalisierung.

B. Stick-Breaking (SB) Transformer

• Konzept: Ein Standard-Decoder-Transformer ohne eingebaute symbolische Struktur, der jedoch Stick-Breaking Attention anstelle von Softmax und ohne Positional Encodings verwendet.
• Mechanismus:
  • Lernt die Transitionsdynamik rein aus Daten durch Gradientenabstieg.
  • Nutzt Stick-Breaking, um den „Recency Bias" (Fokus auf die jüngste relevante Information) zu erhalten, was für das Verstehen langer Sequenzen entscheidend ist.
• Extraktion: Das STRIPS-Modell wird nach dem Training durch ein computergestütztes „State Probing" extrahiert, indem die Anwendbarkeit von Test-Aktionen für jeden Zustand in den Traces vorhergesagt wird.

C. Trainings-Setup und Setup-Aktionen

Da die Trainingsdaten nur Aktionen enthalten, aber keine expliziten Zustandsbeobachtungen, führen die Autoren spezielle Setup-Aktionen ein:

• Init-Aktionen: Kodieren den Anfangszustand (z. B. init-p fügt ein Atom hinzu).
• Test-Aktionen: Kodieren den Endzustand (z. B. test-p prüft, ob ein Atom wahr ist).
• Dies ermöglicht es dem Modell, die Wahrheit der Atome über die Zeit zu verfolgen und ein vollständiges STRIPS-Modell zu extrahieren.

3. Wichtige Beiträge

1. Brückenschlag zwischen Deep Learning und Symbolischer KI: Demonstration, dass Next-Token-Prediction in kontrollierten Umgebungen zu exakten symbolischen Weltmodellen führt, die von klassischen Planern (wie Mimir) genutzt werden können.
2. Architekturentwurf: Einführung des STRIPS Transformers (stark induktiv biasiert) und des SB Transformers (flexibler, datengetrieben).
3. Generalisierung: Nachweis, dass beide Modelle auf exponentiell viele ungesehene Anfangszustände und Ziele generalisieren können, obwohl sie nur auf Traces trainiert wurden.
4. Rolle der Attention-Mechanismen: Beleg, dass Standard-Softmax-Attention nicht auf lange Sequenzen generalisiert, während Stick-Breaking Attention dies ermöglicht.

4. Ergebnisse

Die Modelle wurden in fünf klassischen Planungsdomänen (Blocksworld, Ferry, N-Puzzle, Maze, Logistics) evaluiert.

• Vergleich mit Baselines:
  • Standard-Transformer (mit Softmax und sinusoidalen oder RoPE-Positional Encodings) erreichen hohe Trainingsgenauigkeit, scheitern aber bei der Generalisierung auf längere Test-Traces (Test-Genauigkeit bricht ein).
  • Interessanterweise können auch aus diesen Baselines (bei kurzen Traces) symbolische Modelle extrahiert werden, die perfekt planen, aber sie versagen bei langen Traces.
• STRIPS vs. SB Transformer:
  • Der SB Transformer übertrifft den STRIPS Transformer konsistent in Trainingsgenauigkeit, Test-Genauigkeit und Planungsleistung.
  • Der STRIPS Transformer ist schwieriger zu optimieren (neigt zu lokalen Optima) und benötigt mehr Daten, um die gleiche Leistung zu erzielen, trotz seiner starken symbolischen Struktur.
• Planungsleistung:
  • Beide vorgeschlagenen Modelle extrahieren STRIPS-Modelle, die mit off-the-shelf Planern (Mimir mit FF-Heuristik) fast perfekte Planungsqualität (nahe 100% korrekte Pläne) über exponentiell viele ungesehene Probleme erzielen.
  • Die extrahierten Modelle sind effizient und führen zu geringen Planungszeiten und wenig generierten Zuständen.

5. Bedeutung und Fazit

Die Arbeit zeigt, dass Next-Token-Prediction in Kombination mit geeigneten Architekturen (insbesondere Stick-Breaking Attention) ausreicht, um exakte Weltmodelle zu lernen, die für das Planen geeignet sind.

• Paradigmenwechsel: Es wird gezeigt, dass man nicht zwingend komplexe, manuell entworfene Architekturen oder Reinforcement Learning benötigt, um Weltmodelle zu lernen; reines Supervised Learning auf Aktionssequenzen reicht aus.
• Robustheit: Die Fähigkeit, von kurzen Trainings-Traces auf lange, komplexe Planungsprobleme zu generalisieren, ist ein entscheidender Durchbruch für die Anwendung von LLMs in der symbolischen KI.
• Zukunft: Die Autoren planen, diesen Ansatz auf „Lifted" STRIPS-Modelle (mit Variablen statt konkreten Objekten) zu erweitern, um die Skalierbarkeit weiter zu erhöhen.

Zusammenfassend beweist das Paper, dass Transformer, wenn sie richtig strukturiert sind (Stick-Breaking), nicht nur statistische Muster erkennen, sondern die zugrundeliegende kausale Dynamik der Welt modellieren können, was sie zu mächtigen Werkzeugen für die symbolische Planung macht.