🤖 machine learning

Next-Latent Prediction Transformers Learn Compact World Models

Das Papier stellt Next-Latent Prediction (NextLat) vor, ein einfaches auxiliares Trainingsziel, das Transformer dazu zwingt, kompakte, prädiktive latente Weltmodelle zu erlernen, indem es selbstüberwachte Vorhersagen im latenten Raum erzwingt, wodurch Generalisierung, Kompression der Repräsentation und Inferenzgeschwindigkeit verbessert werden, ohne die Modellarchitektur zu verändern.

Ursprüngliche Autoren: Jayden Teoh, Manan Tomar, Kwangjun Ahn, Edward S. Hu, Tim Pearce, Pratyusha Sharma, Akshay Krishnamurthy, Riashat Islam, Alex Lamb, John Langford

Veröffentlicht 2026-05-25

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jayden Teoh, Manan Tomar, Kwangjun Ahn, Edward S. Hu, Tim Pearce, Pratyusha Sharma, Akshay Krishnamurthy, Riashat Islam, Alex Lamb, John Langford

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „Bibliothek" versus das „Tagebuch"

Stellen Sie sich vor, Sie versuchen, eine neue Sprache zu lernen. Sie haben zwei Möglichkeiten zu lernen:

Der Bibliotheks-Ansatz (Standard-Transformer): Sie führen eine riesige Bibliothek mit jedem einzelnen Buch, das Sie je gelesen haben. Wenn Sie den nächsten Satz schreiben müssen, durchsuchen Sie Ihre gesamte Bibliothek mit einer Suchmaschine, um das perfekte Wort basierend auf den letzten paar Wörtern zu finden, die Sie geschrieben haben. Es ist mächtig, aber Ihre Bibliothek wächst mit jedem gelesenen Buch unendlich groß. Sie fassen das Gelernte nie wirklich zusammen; Sie schauen es sich einfach immer wieder nach.
Der Tagebuch-Ansatz (Rekurrente Modelle): Sie führen ein kleines Tagebuch. Jeden Tag lesen Sie die Nachrichten, aktualisieren Ihr Tagebuch mit einer kurzen Zusammenfassung dessen, was passiert ist, und schreiben dann den Eintrag für den nächsten Tag basierend nur auf diesem Tagebuch. Ihre Tagebuchgröße bleibt gleich, egal wie viele Jahre Sie leben.

Das Problem: Moderne KI (Transformer) nutzt den „Bibliotheks-Ansatz". Sie ist unglaublich schnell und intelligent, aber da sie nicht alles in ein kleines Tagebuch zusammenfassen muss, lernt sie oft „Abkürzungen". Sie könnte spezifische Muster in den Trainingsdaten auswendig lernen, ohne tatsächlich die zugrunde liegenden Regeln der Welt zu verstehen. Das macht sie schlecht darin, vorauszuplanen oder neue Situationen zu bewältigen, die sie noch nicht gesehen hat.

Die Lösung: Next-Latent Prediction (NextLat)

Die Forscher haben eine neue Trainingsmethode namens Next-Latent Prediction (NextLat) eingeführt. Stellen Sie sich das vor, als würden Sie die „Bibliotheks"-KI zwingen, ein „Tagebuch" zu führen, ohne zu ändern, wie sie Bücher liest.

So funktioniert es:

Die Standardaufgabe: Die KI versucht immer noch, das nächste Wort in einem Satz zu erraten (wie gewohnt).
Der neue Trick: Die KI wird auch gezwungen zu erraten, wie ihr eigener „innerer Gedanke" (ihr verborgener Zustand) im nächsten Schritt aussehen wird, bevor sie das nächste Wort überhaupt sieht.

Die Analogie: Stellen Sie sich vor, Sie spielen ein Videospiel.

Normale KI: Sie schauen auf den Bildschirm, sehen ein Monster und drücken eine Taste zum Angreifen. Dann schauen Sie sich den Bildschirm wieder an für den nächsten Zug.
NextLat-KI: Sie schauen auf den Bildschirm und prognostizieren genau, wie sich der innere Statusbalken Ihres Charakters (Gesundheit, Energie, Position) ändern wird, bevor das Spiel tatsächlich aktualisiert wird. Sie lernen die „Physik" der Spielwelt, nicht nur, welche Taste Sie drücken müssen.

Indem die KI gezwungen wird, ihre eigenen zukünftigen „Gedanken" vorherzusagen, muss sie die gesamte Geschichte, die sie gesehen hat, in eine kompakte, konsistente Zusammenfassung komprimieren (einen Glaubenszustand). Sie lernt ein „Weltmodell" – eine mentale Karte davon, wie Dinge funktionieren – statt nur eine Liste von Wortassoziationen.

Was haben sie herausgefunden?

Das Papier behauptet, dass dieser einfache Trick die KI in vier spezifischen Bereichen viel intelligenter macht:

1. Bessere Karten (Weltmodellierung)

Der Test: Sie trainierten eine KI mit Taxifahrten in Manhattan.
Das Ergebnis: Eine normale KI konnte den nächsten Straßennamen perfekt vorhersagen, hatte aber eine „halluzinierte" Karte, auf der Straßen durch Gebäude verliefen oder Schleifen keinen Sinn ergaben. Die NextLat-KI lernte eine Karte, die tatsächlich wie Manhattan aussah. Sie verstand, dass Sie, wenn Sie links abbiegen, jetzt auf einer anderen Straße sind, und hielt ihren Standort logisch fest.

2. Bessere Mathematik und Logik (Schlussfolgern)

Der Test: Ein Rätsel namens „Countdown", bei dem Sie Mathematik verwenden müssen, um eine Zielzahl zu erreichen.
Das Ergebnis: Normale KIs bleiben oft stecken und machen am Ende einen Fehler, indem sie versuchen, eine falsche Antwort zu erzwingen, um das Ziel zu erreichen. NextLat-KIs planten besser voraus, vermieden diese „bereuenden Kompromisse" und lösten das Rätsel genauer.

3. Bessere Navigation (Planung)

Der Test: Einen Weg durch ein komplexes Labyrinth finden (Path-Star-Graph).
Das Ergebnis: Normale KIs nehmen oft Abkürzungen, die für einen Schritt gut aussehen, aber zu Sackgassen führen. NextLat-KIs schauten weiter voraus, verstanden die gesamte Struktur des Labyrinths und lösten es zu fast 100 % der Zeit.

4. Schnelleres Lesen (Sprachmodellierung)

Der Test: Text generieren.
Das Ergebnis: Da die NextLat-KI ein gutes „mentales Modell" der Zukunft hat, kann sie mehrere Wörter im Voraus mit hoher Sicherheit erraten. Dies ermöglicht es ihr, zu „spekulieren" und schneller zu lesen/schreiben. Das Papier behauptet, dies könne die KI 3,3-mal schneller beim Textgenerieren im Vergleich zu Standardmodellen machen.

Warum ist das besonders?

Normalerweise müssen Sie, um eine KI besser im Planen zu machen, ihre Architektur ändern (sie langsamer oder komplexer machen) oder sie mit massiven Datenmengen trainieren.

NextLat ist besonders, weil:

Es ein „Plug-in" ist: Sie müssen die KI nicht neu aufbauen. Sie fügen einfach eine kleine, einfache „Hilfsaufgabe" während des Trainings hinzu.
Es die Geschwindigkeit behält: Die KI trainiert und läuft immer noch so schnell wie zuvor.
Es theoretisch fundiert ist: Die Mathematik beweist, dass diese Methode die KI zwingt, eine „suffiziente Statistik" zu erstellen – eine perfekte, kompakte Zusammenfassung der Vergangenheit, die benötigt wird, um die Zukunft vorherzusagen.

Zusammenfassung

Das Papier argumentiert, dass wir, indem wir Transformer beibringen, ihre eigenen zukünftigen „Gedanken" (latente Zustände) vorherzusagen, sie zwingen, eine kompakte, logische Karte der Welt zu erstellen. Dies macht sie besser im Planen, Schlussfolgern und im Verständnis komplexer Strukturen, während sie gleichzeitig schneller ausgeführt werden können. Es ist wie ein Schüler zu lehren, nicht nur das Lehrbuch auswendig zu lernen, sondern die zugrunde liegenden Prinzipien zu verstehen, damit er Probleme lösen kann, die er noch nie gesehen hat.

Technische Zusammenfassung: Next-Latent Prediction Transformers lernen kompakte Weltmodelle

Problemstellung

Standard-Transformer-Architekturen ersetzen Rekurrenz durch Selbstattention und einen Speichermechanismus, der mit der Sequenzlänge skaliert. Obwohl dies eine außergewöhnliche Parallelisierung und Vorhersagekraft ermöglicht, entfernt es den inhärenten induktiven Bias, die Historie in kompakte latente Zustände mit konsistenten Übergangsregeln zu komprimieren. Folglich lernen Transformer oft komplexe, aufgaben spezifische Abkürzungen, die zwar gut zu den Trainingsdaten passen, aber schlecht generalisieren und keine kohärenten „Weltmodelle" oder Glaubenszustände bilden, die für die Planung und das Schlussfolgern über lange Zeithorizonte notwendig sind. Das Standardziel der nächsten-Token-Vorhersage garantiert nicht, dass sich die internen verborgenen Zustände des Modells als hinreichende Statistiken für die vergangene Historie entwickeln, noch stellt es sicher, dass diese Zustände zukünftige Beobachtungen rekursiv vorhersagen können.

Methodik: Next-Latent Prediction (NextLat)

Die Autoren führen Next-Latent Prediction (NextLat) ein, ein Framework, das das Standard-Training für den nächsten Token durch selbstüberwachte Vorhersagen im latenten Raum erweitert. Die Kernidee besteht darin, den Transformer so zu trainieren, dass er latente Repräsentationen (speziell die verborgenen Zustände der letzten Schicht $h_t$ ) lernt, die den nächsten latenten Zustand gegeben den nächsten Token vorhersagen.

Theoretische Grundlage

Die Arbeit zeigt, dass, wenn ein Modell sowohl für Next-Token-Konsistenz (Vorhersage von $X_{t+1}$ aus $h_t$ ) als auch für Übergangskonsistenz (Vorhersage von $h_{t+1}$ aus $h_t$ und $X_{t+1}$ ) optimiert, die verborgenen Zustände $h_t$ theoretisch garantiert gegen Glaubenszustände konvergieren. Ein Glaubenszustand ist definiert als eine hinreichende Statistik der Historie $X_{1:t}$ zur Vorhersage der Zukunft $X_{t+1:T}$ . Im Gegensatz zum Standard-Autoregressiven Training, das ad-hoc-Abfragen vergangener Token ohne Komprimierung von Informationen erlaubt, erzwingt NextLat einen rekurrenten induktiven Bias, bei dem der latente Zustand alle notwendigen Informationen enthalten muss, um zum nächsten Zustand zu wechseln und den nächsten Token vorherzusagen.

Implementierung

NextLat funktioniert durch Hinzufügen eines leichten Hilfsziels zum Standard-Trainingsloop des Transformers:

Latenter Dynamik-Modell ( $p_\psi$ ): Ein einfaches Multi-Layer Perceptron (MLP) wird trainiert, um den nächsten verborgenen Zustand $\hat{h}_{t+1}$ gegeben den aktuellen verborgenen Zustand $h_t$ und den nächsten Token $X_{t+1}$ vorherzusagen.
Verlustfunktion: Der Gesamtverlust kombiniert:
- Next-Token-Verlust ( $L_{next-token}$ ): Standard-Kreuzentropie für die Token-Vorhersage.
- Next-Verborgener-Zustand-Verlust ( $L_{next-h}$ ): Ein Smooth L1-Verlust, der den vorhergesagten Zustand $\hat{h}_{t+1}$ gegen den wahren nächsten Zustand $h_{t+1}$ regressiert (mit Stop-Gradient auf das Ziel angewendet, um einen Zusammenbruch der Repräsentation zu verhindern).
- KL-Divergenz-Verlust ( $L_{KL}$ ): Ein komplementäres Ziel, das sicherstellt, dass die aus dem vorhergesagten latenten Zustand vorhergesagte Token-Verteilung mit der Verteilung aus dem wahren latenten Zustand übereinstimmt und als weiches Überwachungssignal wirkt.
Mehrstufige Überwachung: Das Modell kann so trainiert werden, dass es die latente Dynamik für $d$ Schritte rekursiv abrollt, was reichhaltigere Gradientensignale für langreichweitige Abhängigkeiten liefert.

Entscheidend ist, dass NextLat die Architektur des Transformers, das Inferenzverfahren und die Effizienz des parallelen Trainings unverändert lässt. Das latente Dynamik-Modell wird nur während des Trainings verwendet, um Repräsentationen zu formen; während der Inferenz decodiert das Modell wie üblich autoregressiv.

Hauptbeiträge

Theoretische Garantie: Die Arbeit beweist, dass die Optimierung auf Next-Token- und Next-Latent-Konsistenz Transformer-Repräsentationen nachweislich in Glaubenszustände formt, eine Eigenschaft, die allein durch Next-Token-Vorhersage nicht garantiert ist.
Praktisches Framework: NextLat führt ein rechnerisch effizientes Hilfsziel ein, das einen rekurrenten induktiven Bias injiziert, ohne die parallele Trainings- oder Inferenzstruktur des Transformers zu verändern.
Variable-Länge Selbst-Spekulative Dekodierung: Durch das Erlernen kohärenter latenter Dynamiken ermöglicht NextLat eine rekursive Vorhersage im latenten Raum. Dies erlaubt eine variable-lange selbst-spekulative Dekodierung, bei der das Modell Token über den festen Trainingshorizont hinaus entwerfen kann, was die Inferenz erheblich beschleunigt.

Experimentelle Ergebnisse

Die Autoren bewerten NextLat in vier Domänen: Weltmodellierung, Schlussfolgern, Planung und Sprachmodellierung.

Weltmodellierung (Manhattan-Taxifahrten): NextLat lernt interne Karten, die im Vergleich zu Standard-GPT-, MTP- und JTP-Baselines signifikant konsistenter mit dem wahren Weltmodell (Straßentopologie) sind. Es erreicht eine höhere Sequenzkompression (0,71 vs. 0,65 für GPT) und einen deutlich niedrigeren effektiven latenten Rang (52,7 vs. 160,1 für GPT), was auf kompaktere und effizientere Repräsentationen hindeutet.
Schlussfolgern (Countdown): Bei der mathematischen Schlussfolgerungsaufgabe übertrifft NextLat die Baselines erheblich (54,8 % Genauigkeit bei $d=1$ vs. 33,1 % für GPT). Es zeigt überlegene Vorausplanung und reduziert „reuevolle Kompromisse", bei denen Modelle ungültige finale Gleichungen erzwingen, um ein Ziel zu erreichen.
Planung (Path-Star-Graphen): NextLat hält über verschiedene Graphentopologien hinweg nahezu 100 % Lösungsquoten aufrecht, während Baselines wie BST und JTP bei größeren Graphen ( $G_{7,7}$ ) versagen. Dies deutet darauf hin, dass NextLat das „Clever Hans"-Abkürzungslernen vermeidet, das bei der Vorhersage im Token-Raum üblich ist.
Sprachmodellierung (FineWeb-Edu):
- Downstream-Genauigkeit: NextLat erhält die Next-Token-Perplexität besser als MTP und JTP und erzielt gleichzeitig bescheidene Gewinne bei der downstream Zero-Shot-Genauigkeit (59,21 % im Durchschnitt vs. 58,82 % für GPT).
- Inferenzgeschwindigkeit: Durch Nutzung der variablen-langen selbst-spekulativen Dekodierung erreicht NextLat bis zu 3,3× schnellere Inferenz im Vergleich zur Standard-autoregressiven Stichprobenziehung. Diese Beschleunigung bleibt auch dann bestehen, wenn Entwürfe über den Trainingshorizont hinausgehen, eine Fähigkeit, die MTP und JTP aufgrund ihrer festen Token-Raum-Horizonte fehlt.

Bedeutung und Behauptungen

Die Arbeit positioniert NextLat als einfaches, aber effektives Paradigma zum Erlernen kompakter, vorhersagestarker und generalisierbarer Repräsentationen in Transformern. Ihre primäre Bedeutung liegt in der Vereinigung des rekurrenten induktiven Bias kompakter Weltmodelle mit der Skalierbarkeit und Parallelisierbarkeit von Transformern.

Die Autoren behaupten, dass NextLat eine Lösung für die „kurzsichtige" Natur der Next-Token-Vorhersage bietet und Modelle dazu anregt, strukturierte, vorhersagestarke interne Zustände zu bilden, anstatt sich auf oberflächliche Token-Korrelationen zu verlassen. Durch die Ermöglichung variabler-langer spekulativer Dekodierung ohne architektonische Änderungen bietet NextLat einen praktischen Weg zu schnellerer Inferenz und besserem Schlussfolgern über lange Zeithorizonte. Die Arbeit schließt, dass NextLat ein Schritt hin zu Trainingszielen ist, die autoregressive Modelle mit einfacheren, kompakteren und daher generalisierbaren Repräsentationen komplexer Systeme ausstatten.

Die Autoren bleiben bezüglich zukünftiger Richtungen bescheiden und stellen fest, dass sie keine komplexen Architekturen für latente Dynamiken untersucht haben (sie verwendeten nur einfache MLPs) und dass das optimale Design des Ziels (z. B. die Notwendigkeit des KL-Verlusts bei größeren Skalen) weiterer systematischer Studien bedarf. Sie erkennen auch an, dass, obwohl NextLat die Repräsentationen verbessert, die zugrunde liegende Schaltungskomplexität des fest-tiefen Transformers weiterhin durch die TC0-Klasse begrenzt bleibt, obwohl das mittrainierte latente Dynamik-Modell (RNN) in der Lage zu sein scheint, über diese Grenzen hinaus zu generalisieren.