🤖 machine learning

LaDi-RL: Latent Diffusion Reasoning Prevents Entropy Collapse in Reinforcement Learning

Das Papier schlägt LaDi-RL vor, ein Reinforcement-Learning-Framework, das latente Diffusionsmodelle zur Generierung strukturierter Reasoning-Trajektorien nutzt und hierarchische latent-text Rollouts einsetzt, um die Qualität der latenten Planung von Text-Decodierfehlern zu entkoppeln, wodurch ein Entropie-Kollaps verhindert und traditionelles token-level RL bei Code- und Mathematik-Reasoning-Aufgaben erheblich übertroffen wird.

Ursprüngliche Autoren: Haoqiang Kang, Yizhe Zhang, Nikki Lijing Kuang, Yi-An Ma, Lianhui Qin

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Haoqiang Kang, Yizhe Zhang, Nikki Lijing Kuang, Yi-An Ma, Lianhui Qin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem sehr klugen, aber leicht störrischen Schüler (ein Large Language Model) beizubringen, komplexe Rätsel zu lösen, wie etwa das Schreiben von Computercode oder das Lösen fortgeschrittener mathematischer Probleme.

Lange Zeit war der beste Weg, diesen Schüler zu unterrichten, das Reinforcement Learning (RL). Stellen Sie sich dies wie ein Spiel vor, bei dem der Schüler versucht, ein Problem zu lösen, und wenn er es richtig macht, einen goldenen Stern erhält. Wenn er es falsch macht, erhält er einen „Versuch es erneut".

Die alte Lehrmethode hat jedoch einen großen Mangel. Sie zwingt den Schüler, ein Wort nach dem anderen zu denken. Es ist, als würde man einem Meisterkoch befehlen, ein ganzes Bankett zu planen, indem er nur die aller nächste Zutat bestimmt, die er hacken soll.

Das Problem: Der Schüler bleibt in winzigen Details stecken (wie die Verwendung des Wortes „deshalb" statt „also") und vergisst das große Ganze. Er beginnt, dieselben wenigen Strategien immer und immer wieder zu wiederholen und ignoriert andere clevere Wege, das Problem zu lösen. In der Arbeit nennen sie dies „Entropie-Kollaps". Es ist wie ein Schüler, der ein mathematisches Problem nur durch das Addieren von Zahlen zu lösen lernt, selbst wenn Subtraktion oder Multiplikation schneller wären. Schließlich hört er auf, neue Dinge auszuprobieren, und seine Kreativität stirbt.

Die neue Idee: LaDi-RL (Der „träumende" Schüler)

Die Autoren dieser Arbeit, LaDi-RL, schlagen einen anderen Weg vor, den Schüler zu unterrichten. Anstatt ihn Wort für Wort entscheiden zu lassen, lassen sie den Schüler die gesamte Lösung zuerst in einem verborgenen, abstrakten Raum „träumen" und sie dann einfach aufschreiben.

So funktioniert es, mithilfe einer einfachen Analogie:

1. Der „Bauplan" versus das „Haus"

Alte Methode (Token-Ebene): Der Schüler baut ein Haus Ziegel für Ziegel und entscheidet dabei über die Farbe jedes einzelnen Ziegels. Wenn er früh einen Fehler macht, könnte das ganze Haus schief stehen.
Neue Methode (Latente Diffusion): Der Schüler zeichnet zuerst einen Bauplan (eine „latente Trajektorie") in seinem Kopf. Dieser Bauplan repräsentiert die Logik und die Strategie der Lösung, nicht die spezifischen Wörter.
- Betrachten Sie diesen Bauplan als eine „Gedankenwolke". Es ist eine kontinuierliche, fließende Darstellung der Idee.
- Der Schüler verwendet ein spezielles Werkzeug namens Diffusionsmodell. Stellen Sie sich dieses Werkzeug als einen Bildhauer vor, der mit einem Block aus Ton (zufälliges Rauschen) beginnt und langsam das Überflüssige weghackt, bis eine perfekte Statue (die Lösungsstrategie) entsteht. Dies ermöglicht dem Schüler, viele verschiedene Arten von Strategien zu erkunden (z. B. „Lass uns Geometrie versuchen" versus „Lass uns Algebra versuchen"), bevor er sich für bestimmte Wörter festlegt.

2. Das „Übersetzer"-Problem

Es gibt einen Haken. Der „Traum" des Schülers (der Bauplan) ist in einer geheimen Sprache verfasst, die er versteht, aber die endgültige Antwort muss in klarem Englisch (oder Code) geschrieben werden.

Das Risiko: Manchmal hat der Schüler einen brillanten Bauplan, aber der „Übersetzer" (der Teil, der den Bauplan in Text umwandelt) verwurstelt die Übersetzung. Wenn der Schüler eine schlechte Note bekommt, wie können wir dann wissen, ob die Idee schlecht war oder nur die Übersetzung?
Die Lösung (Hierarchische Rollouts): Die Arbeit führt eine clevere Korrektur ein. Anstatt den Bauplan nur anhand einer einzigen Übersetzung zu bewerten, generiert der Schüler mehrere Übersetzungen für denselben Bauplan.
- Analogie: Stellen Sie sich vor, ein Koch hat ein großartiges Rezept (den Bauplan). Anstatt es nur einmal zu kochen und das Gericht zu beurteilen, kocht er es fünf Mal. Wenn vier von fünf Gerichten köstlich sind, wissen wir, dass das Rezept gut ist, selbst wenn ein Gericht versehentlich verbrannt wurde. Dies gibt dem Lehrer ein viel klareres Signal darüber, ob die Strategie des Schülers tatsächlich schlau war.

3. Die Vielfalt der Party bewahren

Um sicherzustellen, dass der Schüler nicht faul wird und nur bei einem einzigen Bauplan bleibt, fügen die Autoren eine „Abstoßungskraft" hinzu.

Analogie: Stellen Sie sich eine Gruppe von Entdeckern vor, die nach Schätzen suchen. Wenn sie alle demselben Weg folgen, könnten sie eine versteckte Höhle verpassen. Die „Abstoßungskraft" ist wie ein sanfter Stoß, der sagt: „Hey, du bist deinem Freund zu nahe! Geh einen anderen Weg erkunden!"
Dies zwingt den Schüler, Baupläne zu generieren, die sich strukturell voneinander unterscheiden, und stellt sicher, dass er eine breite Vielfalt an Lösungen erkundet.

Was haben sie herausgefunden?

Die Arbeit testete diese neue Methode an zwei schwierigen Herausforderungen: dem Schreiben von Code und dem Lösen mathematischer Probleme.

Bessere Genauigkeit: Der „träumende Schüler" (LaDi-RL) löste deutlich mehr Probleme auf Anhieb richtig im Vergleich zum alten „Ziegel-für-Ziegel"-Schüler.
- Beim Codieren verbesserte sich die Genauigkeit um 9,4 %.
- In der Mathematik verbesserte sie sich um 5,7 %.
Mehr Kreativität: Der alte Schüler hörte schließlich auf, neue Dinge auszuprobieren (Entropie-Kollaps). Der neue Schüler fand weiterhin vielfältige, kreative Lösungen. Selbst wenn er aufgefordert wurde, 100 verschiedene Antworten zu generieren, waren die Antworten des neuen Schülers alle einzigartig und korrekt, während die Antworten des alten Schülers anfingen, gleich auszusehen und schlechter zu werden.
Effizienz: Der neue Schüler musste nicht Tausende von Wörtern an „lautem Denken" schreiben, um die Antwort zu erhalten. Er komprimierte sein Denken in einen kurzen, effizienten „Bauplan" und sparte so Zeit und Rechenleistung.

Das Fazit

LaDi-RL verändert, wie KI lernt, zu schlussfolgern. Anstatt die KI zu zwingen, in winzigen, starren Schritten (Wort für Wort) zu denken, lässt es die KI zuerst die Landschaft der Ideen erkunden (unter Verwendung eines Diffusionsprozesses) und wandelt diese Ideen dann in Wörter um. Dies verhindert, dass die KI in einer Sackgasse stecken bleibt, hält ihre Lösungen vielfältig und hilft ihr, schwierigere Probleme genauer zu lösen.

Technische Zusammenfassung: LaDi-RL

Problemstellung

Reinforcement Learning (RL) hat sich zu einem dominanten Paradigma zur Verbesserung der reasoning-Fähigkeiten von Large Language Models (LLMs) entwickelt, insbesondere durch die Optimierung von Reasoning-Trajektorien. Allerdings optimieren bestehende Methoden überwiegend Policies über diskrete Token-Sequenzen. Dieser Ansatz erzeugt eine fundamentale Diskrepanz: Kritische Reasoning-Entscheidungen sind oft semantisch, global und auf der Ebene der Trajektorie, während die Optimierung auf Token-Ebene auf lokalen Perturbationen beruht.

Diese Diskrepanz führt zu einem Diversity Collapse, einem Phänomen, bei dem sich die Policy des Modells auf eine schmale Menge von Reasoning-Mustern konzentriert und alternative Strategien unterdrückt. Während die Exploration auf Token-Ebene lexikalische Varianten erzeugen kann (z. B. Ersetzen von „therefore" durch „so"), hat sie Schwierigkeiten, semantisch distinkte Strategien zu entdecken (z. B. den Wechsel von algebraischem zu geometrischem Reasoning). Folglich verbessern RL-optimierte Modelle oft pass@1 (Genauigkeit bei einer einzelnen Stichprobe), versagen aber darin, die pass@k-Leistung bei großem $k$ zu erhalten oder zu verbessern, was einen Verlust an diversen korrekten Trajektorien anzeigt.

Darüber hinaus führt die Verlagerung der Exploration in kontinuierliche latente Räume eine Herausforderung bei der Kreditvergabe (credit-assignment) mit sich. Im latenten RL agiert die Policy in einem kontinuierlichen latenten Raum, aber Belohnungen werden erst beobachtet, nachdem die latente Trajektorie in Text decodiert wurde. Eine naive Rollout-Strategie verknüpft die Qualität der latenten Reasoning mit der Qualität der textuellen Decodierung. Eine niedrige Belohnung könnte entweder auf eine fehlerhafte latente Trajektorie zurückzuführen sein oder lediglich auf eine unvollkommene textliche Realisierung eines fundierten latenten Plans, was ein verrauschtes und irreführendes Lernsignal erzeugt.

Methodik: LaDi-RL

Die Autoren schlagen Latent Diffusion Reasoning with Reinforcement Learning (LaDi-RL) vor, ein Framework, das die Exploration im kontinuierlichen latenten Raum unter Verwendung von Diffusionsmodellen neu definiert, um den Entropie-Collapse zu verhindern.

1. Latent Diffusion Policy

Anstatt Reasoning Token für Token zu generieren, kodiert LaDi-RL eine gesamte Reasoning-Trajektorie mittels eines Variational Autoencoders (VAE) in einen kompakten, kontinuierlichen latenten Block (z. B. 64 Token). Die Policy wird als Diffusionsmodell über diese Trajektorien-Repräsentationen parametrisiert.

Mechanismus: Ausgehend von Rauschen denoist die Policy iterativ in Richtung einer latenten Reasoning-Trajektorie. Dieser Prozess ermöglicht eine strukturierte Exploration und eine ausdrucksstarke Verteilungsmodellierung und unterstützt auf natürliche Weise multi-modale Reasoning-Strategien.
Diversity Guidance: Um einen Collapse weiter zu verhindern, führen die Autoren einen abstoßungsbasierten Guidance-Mechanismus ein. Während des Denoising-Prozesses wird eine abstoßende Kraft auf nahegelegene latente Trajektorien ausgeübt, um sie im latenten Raum zu trennen. Dies wirkt als lokale geometrische Regularisierung und erhält die Vielfalt explizit, ohne sich ausschließlich auf die Policy-Entropie zu verlassen.

2. Hierarchische Latent-Text-Rollouts

Um die Herausforderung bei der Kreditvergabe zu adressieren, setzt LaDi-RL eine hierarchische $N \times M$ Rollout-Strategie ein:

Latent Sampling ( $N$ ): Für eine gegebene Anfrage sampelt die Diffusions-Policy $N$ distinkte latente Reasoning-Trajektorien.
Text Decoding ( $M$ ): Für jede gesampelte latente Trajektorie generiert die Text-Policy $M$ Kandidaten-Antworttexte.
Decoder-Marginalisierte Belohnung: Die Belohnungen der $M$ Text-Vervollständigungen werden aggregiert (gemittelt), um den Nutzen der zugrundeliegenden latenten Trajektorie zu schätzen. Diese „decoder-marginalisierte" Schätzung isoliert die Qualität des latenten Reasonings von der Stochastik der Textdecodierung und liefert ein saubereres, varianzärmeres Belohnungssignal zur Optimierung der Diffusions-Policy.

3. Gemeinsame Optimierung

Das Framework optimiert zwei heterogene Policies gleichzeitig unter Verwendung von Group Relative Policy Optimization (GRPO):

Latent Policy: Wird unter Verwendung der durchschnittlichen Belohnung der $M$ Texte optimiert, die jedem latenten Block zugeordnet sind. Das Ziel besteht darin, das Diffusionsmodell zu ermutigen, diverse, hochwertige Reasoning-Modi zu erkunden.
Text Policy: Wird unter Verwendung der relativen Unterschiede zwischen den $M$ Texten optimiert, die aus demselben latenten Block generiert wurden. Dies zwingt die Text-Policy, die optimale textliche Realisierung für eine gegebene Reasoning-Strategie zu finden und entkoppelt sie von der Exploration neuer Strategien.
Verlustfunktion: Eine gewichtete Summe der latenten und Text-Verluste stellt sicher, dass die Latent-Policy diverse Gedankengänge erkundet, während die Text-Policy als treuer und effektiver Generator bleibt.

Wichtige Ergebnisse

Die Autoren evaluierten LaDi-RL an Benchmarks für Code-Generierung und mathematisches Reasoning und verglichen es mit Token-Level-RL-Baselines (z. B. Vanilla GRPO, GRPO mit Entropie-Vorteilen) und anderen latenten Reasoning-Methoden.

Leistungssteigerungen: LaDi-RL erzielte absolute pass@1-Verbesserungen von +9,4 % bei der Code-Generierung und +5,7 % beim mathematischen Reasoning im Vergleich zu Token-Level-RL-Baselines.
Erhalt der Vielfalt: Im Gegensatz zu Vanilla GRPO, das einen Diversity Collapse aufweist (wobei pass@k bei großem $k$ unter das Basis-Modell fällt), übertraf LaDi-RL konsistent die pass@k-Leistung des Basis-Modells über alle Benchmarks hinweg. Beispielsweise erzielte es auf AIME 2025 eine absolute Verbesserung von +13,4 bei pass@128.
Effizienz: Durch die Kompression von Reasoning in einen latenten Block (64 Token) vor der Decodierung reduzierte LaDi-RL die Anzahl der generierten Token erheblich (z. B. von ~3.447 Token bei Standard-GRPO auf ~422 Token bei LaDi-RL für Code-Aufgaben), was zu einer 33%igen Reduktion der End-to-End-Inferenzzeit führte.
Ablationsstudien:
- Trajektorie vs. Token-Ebene: Die Exploration im latenten Trajektorienraum erzielte eine signifikant höhere semantische Vielfalt (0,52 vs. 0,18–0,22 für Token-Ebene) und eine stärkere Leistung.
- Diffusion vs. VAE: Die auf Diffusion basierende Policy übertraf einen einstufigen VAE-Sampler und demonstrierte die Bedeutung des iterativen Denoising für das Erlernen komplexer latenter Reasoning-Verteilungen.
- Hierarchische Rollouts: Die $N \times M$ -Struktur war entscheidend; eine Erhöhung von $N$ (latente Vielfalt) trieb die semantische Vielfalt voran, während eine Erhöhung von $M$ (Text-Mittelung) sauberere Belohnungssignale lieferte.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass LaDi-RL eine prinzipielle Alternative zu Token-Level-RL zur Verbesserung des LLM-Reasonings bietet. Ihre primäre Bedeutung liegt in:

Minderung des Diversity Collapse: Durch die Verlagerung der Exploration von lokalen Token-Perturbationen auf eine globale, trajektorienbasierte Diffusion erhält die Methode eine diverse Menge an Lösungsstrategien und verhindert, dass die Policy in suboptimale lokale Minima konvergiert.
Lösung der Kreditvergabe: Die hierarchische Rollout- und decoder-marginalisierte Belohnungsschätzung entkoppelt effektiv die Reasoning-Qualität vom Decodierungsrauschen und ermöglicht eine stabile Optimierung latenter Policies.
Effizienz und Qualität: Der Ansatz erzielt State-of-the-Art-Leistung sowohl in Bezug auf Genauigkeit (pass@1) als auch Vielfalt (pass@k), während er gleichzeitig den Rechenaufwand durch latente Kompression erheblich reduziert.

Die Autoren kommen zu dem Schluss, dass latente Diffusion einen robusten Mechanismus für strukturierte Exploration bietet, der es Modellen ermöglicht, semantisch distinkte Reasoning-Strategien zu entdecken, die Token-Level-Methoden verpassen, und damit höhere Reasoning-Grenzen zu erreichen, ohne die Lösungsdiversität zu opfern.