💬 NLP

Latent Reasoning in TRMs is Secretly a Policy Improvement Operator

Diese Arbeit zeigt, dass latente rekursive Argumentation in kleinen Modellen als Policy-Improvement-Operator fungiert, was die Anwendung von Reinforcement-Learning- und Diffusion-Training-Schemata ermöglicht, um ineffektive Rechenschritte zu eliminieren und die Anzahl der Vorwärtsläufe unter Beibehaltung der Leistung signifikant zu reduzieren.

Ursprüngliche Autoren: Arip Asadulaev, Rayan Banerjee, Fakhri Karray, Martin Takac

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Arip Asadulaev, Rayan Banerjee, Fakhri Karray, Martin Takac

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Warum „Nachdenken“ manchmal einfach nur Zeit verschwendet

Stellen Sie sich vor, Sie versuchen, ein schwieriges Rätsel zu lösen. Sie haben einen kleinen, klugen Assistenten (das KI-Modell), der versucht, es zu lösen.

In den letzten Jahren versuchten Forscher, diesen Assistenten intelligenter zu machen, indem sie ihm sagten, er solle „in Schleifen denken“. Anstatt nur eine Antwort zu geben, schaute sich der Assistent seine vorherige Vermutung an, dachte einen Moment darüber nach und gab dann eine neue, etwas bessere Vermutung ab. Er wiederholte dies immer und immer wieder, in der Hoffnung, dass er bei der 10. oder 20. Vermutung die perfekte Lösung gefunden hätte.

Dies nennt man Latentes Denken (Latent Reasoning). Die Theorie lautete: „Wenn wir das Modell dazu bringen, in sich selbst zurückzuspringen, ist das so, als würde man ihm ein viel tieferes Gehirn geben, ohne das Gehirn tatsächlich größer zu machen.“

Das Problem: Die Autoren dieser Arbeit fanden einen Fehler in dieser Logik. Obwohl das Modell zwar in Schleifen lief, taten viele dieser Schleifen nichts Nützliches. Es war, als würde ein Schüler vor einer Matheaufgabe sitzen, immer wieder dieselbe falsche Antwort aufschreiben, sie wegradieren und sie erneut schreiben, in der Hoffnung, dass sie durch Zauberei richtig wird. Die Arbeit nennt dies „tote Rechenleistung“ (dead compute) – die Verschwendung von Energie für Schritte, die die Antwort eigentlich nicht verbessern.

Die Entdeckung: Es ist heimlich eine „Policy Improvement“-Maschine

Die Autoren stellten eine große Frage: Was passiert eigentlich im Gehirn des Modells während dieser Schleifen?

Sie entdeckten, dass das Modell nicht einfach nur „tiefer denkt“. Es agiert heimlich wie ein Reinforcement Learning Agent (ein Typ von KI, der durch Versuch und Irrtum lernt).

Hier ist die Analogie:

Der alte Weg: Das Modell rät, und rät dann erneut, in der Hoffnung, dass die zweite Vermutung besser ist. Es ist, als würde man mit verbundenen Augen Dartpfeile werfen und hoffen, dass der zweite Wurf näher an der Bullseye liegt.
Die neue Erkenntnis: Die Autoren erkannten, dass das Modell tatsächlich eine „Policy Improvement“ durchführt. Das ist eine schicke Art zu sagen: „Nimm deine aktuelle Vermutung, schaue dir den Unterschied zwischen deiner Vermutung und der Wahrheit an, und nutze diesen Unterschied, um deine nächste Vermutung näher an das Ziel zu rücken.“

Das Papier beweist, dass das Modell jedes Mal, wenn es eine Schleife durchläuft, eigentlich einen spezifischen „Advantage“ (einen Score dafür, wie viel besser die neue Vermutung im Vergleich zur alten ist) berechnen sollte. Wenn es das nicht tut, dreht es sich nur im Kreis.

Die Lösung: Deep Improvement Supervision (DIS)

Da das Modell in der „toten Rechenleistung“ verloren ging, erfanden die Autoren eine neue Trainingsmethode namens Deep Improvement Supervision (DIS).

Die Analogie: Der „Brotkrumen“-Pfad
Stellen Sie sich vor, Sie versuchen, von Ihrem Haus aus zu einem verborgenen Schatz zu wandern.

Die alte Methode (TRM): Ihnen wird gesagt: „Gehe in Kreisen, bis du den Schatz findest.“ Sie wandern vielleicht 100 Kreise, aber nur 5 davon haben Sie tatsächlich näher zum Ziel gebracht. Der Rest waren verschwendete Schritte.
Die neue Methode (DIS): Der Lehrer gibt Ihnen eine Karte mit Brotkrumen.
1. Schritt 1: Wandere zum ersten Brotkrumen (eine etwas bessere Vermutung).
2. Schritt 2: Wandere zum zweiten Brotkrumen (eine noch bessere Vermutung).
  ...und so weiter, bis du den Schatz erreichst.

Die Autoren erstellen diese „Brotkrumen“, indem sie die richtige Antwort nehmen und sie langsam „korrumpieren“ (sie leicht falsch machen), um einen Pfad aus Zwischenzielen zu schaffen. Dann trainieren sie das Modell darauf, jeden einzelnen Brotkrumen perfekt zu treffen.

Warum das funktioniert:
Anstatt darauf zu hoffen, dass das Modell von selbst herausfindet, wie es sich verbessern kann, zwingen die Lehrer das Modell dazu, dass jeder einzelne Schritt eine Verbesserung sein muss. Dies verwandelt die „tote Rechenleistung“ in „aktive Verbesserung“.

Die Ergebnisse: Schneller, kleiner und besser

Die Autoren testeten diese neue Methode (DIS) am Tiny Recursive Model (TRM), einem sehr kleinen KI-Modell.

Weniger Arbeit, gleiches Ergebnis: Sie fanden heraus, dass das Modell mit DIS viel weniger Schleifen benötigte. Sie reduzierten die Anzahl der „Denkschritte“ um das 18-fache (von 336 Schritten auf nur 18), während sie das gleiche oder sogar ein besseres Ergebnis erzielten.
Die Giganten schlagen: Sie testeten dies am ARC-AGI Benchmark (einem sehr schweren Test für allgemeine Intelligenz, vergleichbar mit einem modernen IQ-Test für KI).
- Ihr winziges Modell (mit nur 0,8 Millionen Parametern) erreichte 24 %.
- Das ist gewaltig, da die meisten anderen Open-Source-Modelle Milliarden von Parametern benötigen, um auch nur annähernd diesen Wert zu erreichen.
- Sie übertrafen das ursprüngliche TRM-Modell deutlich und bewiesen damit, dass die „Geheimzutat“ nicht die Größe des Modells war, sondern die Trainingsmethode.

Zusammenfassung in einem Satz

Das Paper enthüllt, dass rekursive KI-Modelle heimlich versuchten, ihre Vermutungen wie ein Reinforcement Learner zu verbessern, dabei aber scheiterten, weil ihnen nicht beigebracht wurde, wie man sich verbessert; indem den Autoren einen schrittweisen „Brotkrumen“-Trainingspfad gaben, machten sie die Modelle 18-mal effizienter und signifikant intelligenter, während sie nur einen winzigen Bruchteil der Rechenleistung verwendeten.

Technische Zusammenfassung: Latente Argumentation in TRMs ist im Kern ein Policy-Improvement-Operator

1. Problemstellung

Jüngste kleine Modelle, die latente Rekursion nutzen, wie etwa Tiny Recursive Models (TRMs) und Hierarchical Reasoning Models (HRMs), haben vielversprechende Ergebnisse bei komplexen Denkaufgaben wie ARC-AGI erzielt. Die vorherrschende Theorie besagt, dass diese Modelle Leistungssteigerungen durch eine Erhöhung der effektiven Netzwerk-Tiefe erreichen, wodurch sie größere Modelle mit weniger Parametern emulieren können. Empirische Beobachtungen zeigen jedoch eine Diskrepanz auf: Rekursiv hinzugefügte Schichten schneiden oft schlechter ab als One-Pass-Modelle mit äquivalenter Feed-Forward-Tiefe. Dies deutet darauf aus, dass in Loop-Architekturen nicht jeder rekursive Schritt sinnvoll zur Lösung beiträgt, was zu „Dead Compute“ (nutzloser Berechnung) führt.

Die zentralen Fragen, die diese Arbeit adressiert, sind:

Wann und warum verbessert latente Argumentation die Leistung?
Wann führt sie zu redundanter Berechnung?
Wie kann das Training dieser Modelle verbessert werden, um sicherzustellen, dass jeder Schritt effektiv ist?

Aktuelle Trainingsmethoden für TRMs wenden die Supervision primär auf den finalen Output an. Dies führt dazu, dass frühe Verfeinerungsschritte eine schwache Credit Assignment (Fehlerzuordnung) erfahren, was die Optimierung instabil macht, insbesondere in Szenarien mit geringer Datenmenge.

2. Methodik

Die Autoren schlagen eine theoretische Neuausrichtung der latenten Argumentation und eine entsprechende Trainingsmethodik vor.

Theoretische Formalisierung: Latente Argumentation als Policy Improvement
Das Paper formalisiert latente rekursive Argumentation als einen Policy-Improvement-Operator.

Referenz-Policy ( $\hat{\pi}_t$ ): Die Ausgabeverteilung des Modells vor einem latenten Argumentationsschritt (der „erste Entwurf“).
Verbesserte Policy ( $\pi^+_t$ ): Die Ausgabeverteilung nach einem einzelnen latenten Argumentationsschritt.
Advantage-Signal: Die Differenz zwischen den Log-Wahrscheinlichkeiten der verbesserten Policy und der Referenz-Policy fungiert als implizites Advantage-Signal ( $A_t(s, a) = \log \pi^+_t(a|s) - \log \hat{\pi}_t(a|s)$ ).
Mechanismus: Die Autoren zeigen, dass ein einzelner TRM-Schritt eine Policy-Aktualisierung implementiert, welche die Referenz-Policy basierend auf einer Optimalitätsbedingung umgewichtet. Speziell verhält sich der latente Argumentationsschritt wie eine Policy, die auf dem Ereignis konditioniert ist, dass die Antwort verbessert wird. Dies verbindet den Algorithmus im latenten Raum mit dem bekannten Framework der Policy Improvement in Reinforcement Learning (RL) und der Classifier-Free Guidance (CFG) in Diffusionsmodellen.

Vorgeschlagenes Trainingsschema: Deep Improvement Supervision (DIS)
Aufbauend auf der Erkenntnis der Policy Improvement führen die Autoren Deep Improvement Supervision (DIS) ein, um Dead-Compute-Schritte zu eliminieren.

Schrittweise Targets: Anstatt nur den finalen Output zu supervidieren, liefert DIS für jeden Rekursionsschritt $s$ Zwischenziele $\{y^\dagger_s\}$ . Diese Targets werden mittels eines monotonen diskreten Korruptionsschemas der Ground-Truth-Ausgabe $y^*$ generiert.
Trainingsziel: Das Modell wird darauf trainiert, das vorherige Target $y^\dagger_{s-1}$ (via die Referenz-Policy) auf das nächste, weniger korrumpierte Target $y^\dagger_s$ (via die verbesserte Policy) abzubilden.
Verlustfunktion: Das Training minimiert einen Cross-Entropy-Loss zwischen den Post-Reasoning-Logits und dem schrittspezifischen Target $y^\dagger_s$ . Dies erzwingt, dass das Log-Ratio-Advantage bei jedem Schritt für das korrekte Token positiv ist, wodurch sichergestellt wird, dass jeder Rekursionsschritt eine gerichtete Verbesserung statt redundanter Berechnung durchführt.

Architektonische Vereinfachungen
Die vorgeschlagene Methode vereinfacht die TRM-Architektur durch:

Die Entfernung der Notwendigkeit eines gelernten Halte-Mechanismus (Adaptive Computation Time).
Die Reduzierung der Anzahl der Supervisionsschritte und der latenten Argumentationsschritte.
Die Verwendung einer festen Anzahl von Rekursionsschritten ( $N_{sup}$ ), die durch das Korruptionsschema bestimmt wird.

3. Zentrale Beiträge

Theoretische Einsicht: Das Paper stellt fest, dass latente Argumentation in TRMs mathematisch äquivalent zu einem Policy-Improvement-Operator ist. Es schließt die Lücke zwischen Algorithmen der latenten Argumentation und RL-Frameworks und erklärt das Modellverhalten durch die Linse der Advantage-Maximierung.
Deep Improvement Supervision (DIS): Ein neuartiges Trainingsschema, das schrittweise Zwischenziele bereitstellt. Dies transformiert das schwierige Problem der langfristigen Credit Assignment in eine handhabbare Supervised-Learning-Aufgabe, bei der jeder Schritt explizit darauf trainiert wird, den vorherigen Zustand zu verbessern.
Effizienzgewinne: Die Methode erzielt wettbewerbsfähige Leistungen bei gleichzeitiger signifikanter Reduzierung des Rechenaufwands. Sie vermeidet das Training von Halte-Modulen und reduziert die Gesamtzahl der Forward-Passes um den Faktor 18 im Vergleich zu Standard-TRM-Setups, während sie die Genauigkeit beibehält oder verbessert.

4. Experimentelle Ergebnisse

Die Autoren evaluierten ihre Methode am N-Queens-Problem und den ARC-AGI-Benchmarks (ARC-AGI-1 und ARC-AGI-2).

N-Queens: Unter Verwendung eines kompakten Modells (0,8 Mio. Parameter) erreichte die DIS-Methode eine Genauigkeit von 0,69, was der Leistung eines Standard-TRM mit einem Halte-Kopf und 16 Supervisionsschritten entspricht, jedoch deutlich weniger Inferenzschritte nutzt ( $T=1, n=2$ vs. $T=3, n=6$ ).
ARC-AGI:
- Kompaktes Modell (0,8 Mio. Parameter): DIS erreichte 24,0 % Genauigkeit auf ARC-AGI-1, übertrifft damit das ursprüngliche TRM-compact (12,0 %) und die meisten existierenden Open-Source-LLMs ohne externes Wissen.
- Mittleres Modell (7 Mio. Parameter): DIS erreichte 41,3 % auf ARC-AGI-1 und 6,0 % auf ARC-AGI-2, übertrifft damit das Standard-TRM-medium (40,4 % / 3,3 %) und erreicht die Leistung des ursprünglichen TRM (40,4 % / 3,3 %), während es weniger latente Argumentationsschritte benötigt.
Rechenreduktion: Die Methode reduzierte die Gesamtzahl der Forward-Passes um den Faktor 18 im Vergleich zur Baseline-TRM-Konfiguration, was zeigt, dass die explizite Supervision von Zwischenschritten die Notwendigkeit übermäßiger latenter Argumentationsschleifen eliminiert.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass man durch die Betrachtung der latenten Argumentation als Policy-Improvement-Prozess erklären kann, warum Standard-Rekursionsmodelle manchmal scheitern (aufgrund von „Dead Compute“, bei dem Schritte das Advantage-Margin nicht verbessern) und wie man dies behebt.

Die primäre Bedeutung liegt im Deep Improvement Supervision-Framework, welches:

Eine konstruktive Trainingsregel bereitstellt, um sicherzustellen, dass jeder Rekursionsschritt eine nicht-triviale Verbesserung bewirkt.
Das Training rekursiver Modelle vereinfacht, indem es die Notwendigkeit komplexer Halte-Mechanismen und brüchiger Credit Assignment entfernt.
Demonstriert, dass kleine, parametereffiziente Modelle exzellente Ergebnisse bei komplexen Denkaufgaben (wie ARC-AGI) erzielen können, wenn das Trainingsziel mit dem theoretischen Mechanismus der Policy Improvement abgestimmt ist.

Die Autoren kommen zu dem Schluss, dass ihr Ansatz einen Weg zu effizienteren und effektiveren Argumentationsmodellen bietet, indem er das Trainingssignal mit der intrinsischen algorithmischen Natur der latenten Rekursion in Einklang bringt.