🤖 machine learning

Dropout-GRPO: Variational Stochasticity for Continuous Latent Reasoning

Das Papier schlägt Dropout-GRPO vor, eine Methode, die strukturiertes Dropout einführt, um die notwendige Trajektorienvarianz in kontinuierlichen Latent-Reasoning-Modellen zu erzeugen, wodurch eine effektive Group Relative Policy Optimization ermöglicht und eine verbesserte Leistung auf GSM8K demonstriert wird.

Ursprüngliche Autoren: Wooil Jung

Veröffentlicht 2026-06-10

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Wooil Jung

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das „Roboter-Klon“-Dilemma

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, Matheaufgaben zu lösen. Sie verwenden eine spezielle Trainingsmethode namens GRPO (Group Relative Policy Optimization).

Wie GRPO normalerweise funktioniert:
Stellen Sie sich einen Lehrer vor, der einer Klasse von 32 Schülern dieselbe Matheaufgabe stellt.

Jeder Schüler versucht, die Aufgabe auf seine eigene Weise zu lösen.
Da die Schüler unterschiedlich denken, nehmen sie unterschiedliche Wege. Einige machen Fehler; andere lösen sie richtig.
Der Lehrer schaut sich die Durchschnittsnote der Klasse an.
Wenn ein Schüler besser als der Durchschnitt war, bekommt er ein „Gut gemacht“-Bonus. Wenn er schlechter war, bekommt er eine „Versuch es nochmal“-Strafe.
Dieser Vergleich hilft der gesamten Klasse, schneller zu lernen, weil jeder sieht, wie er im Vergleich zu seinen Mitschülern abschneidet.

Das Problem mit „Latent Reasoning“-Modellen:
Die Arbeit konzentriert sich auf eine neue Art von KI (wie COCONUT), die nicht laut in Worten „denkt“. Stattdessen denkt sie in einem verborgenen, kontinuierlichen „Gehirnzustand“ (wie einem geheimen internen Code).

Das Problem: Wenn Sie diese spezifische KI bitten, dieselbe Aufgabe 32 Mal zu lösen, verhält sie sich wie ein perfekter Roboter-Klon. Da ihr interner Denkprozess deterministisch (mathematisch festgelegt) ist, produzieren alle 32 „Schüler“ jedes Mal exakt die gleiche Antwort.
Das Ergebnis: Der Lehrer (GRPO) schaut in die Klasse, sieht, dass alle exakt die gleiche Punktzahl erreicht haben, und berechnet den „Durchschnitt“. Da alle identisch sind, ist der Unterschied zwischen einem Schüler und dem Durchschnitt null.
Der Absturz: Bei einem Unterschied von null hat der Lehrer keine Möglichkeit mehr, den Schülern zu sagen, was sie verbessern müssen. Der Lernprozess kommt zum Stillstand. Es ist, als würde man versuchen, ein Auto zu steuern, das kein Lenkrad hat; man kann weder nach links noch nach rechts lenken, weil das System denkt, man sei bereits perfekt zentriert.

Die Lösung: Der „Shared Mask“-Trick

Die Autorin Wooil Jung erkannte, dass sie etwas „Chaos“ oder Zufälligkeit einführen musste, damit die 32 Schüler unterschiedlich agieren, aber sie konnte nicht einfach das Gehirn der KI zufällig verändern (das würde die Mathematik zerstören).

Sie verwendete einen cleveren Trick namens Structured Dropout.

Die Analogie: Die „Gemeinsame Sonnenbrille“
Stellen Sie sich vor, die KI betrachtet die Matheaufgabe durch eine Sonnenbrille.

Der Aufbau: Für jeden der 32 Schüler (Rollouts) reicht der Lehrer eine andere Sonnenbrille aus.
Die Maske: Diese Sonnenbrillen haben Löcher in den Gläsern (dies ist das „Dropout“). Bei einigen Schülern sind Löcher über den Zahlen, bei anderen über den Rechenzeichen.
Die Regel: Sobald ein Schüler seine Sonnenbrille aufgesetzt hat, behält er sie für die gesamte Zeit, in der er die Aufgabe löst. Er nimmt sie nicht ab oder wechselt sie mitten im Prozess.
Der Effekt: Da Schüler A die Aufgabe durch eine „löchrige“ Brille sieht und Schüler B durch eine andere „löchrige“ Brille, sehen sie leicht unterschiedliche Versionen der Aufgabe. Sie nehmen unterschiedliche Wege und erzielen unterschiedliche Ergebnisse.
Das Lernen: Jetzt kann der Lehrer endlich sehen, wer besser als der Durchschnitt war. Die „Gut gemacht“- und „Versuch es nochmal“-Signale kehren zurück, und die KI beginnt zu lernen.

Das „Replay“-Geheimnis:
Es gibt einen Haken. Um die KI korrekt zu lehren, muss der Lehrer genau wissen, was der Schüler gesehen hat, als er die Antwort gab.

Die Arbeit besagt: „Wir speichern das exakte Muster der Löcher in der Sonnenbrille (die Maske) für jeden Schüler.“
Später, wenn der Lehrer das Gehirn des Schülers aktualisiert, setzt er dem Schüler wieder dieselbe Sonnenbrille auf. Dies stellt sicher, dass der Lehrer exakt denselben Denkprozess bewertet, den er zuvor gesehen hat, nur mit einem leicht aktualisierten Gehirn. Dies hält die Mathematik ehrlich und verhindert Verwirrung.

Warum das wichtig ist

Es erschließt eine neue Art von KI: Vorher konnte man diese leistungsstarke Gruppenlernmethode (GRPO) nicht auf diese „still denkenden“ KI-Modelle anwenden, da sie zu perfekt und vorhersehbar waren. Diese Methode bricht diese Perfektion gerade so weit auf, dass Lernen möglich wird.
Es funktioniert: Die Autorin testete dies an einem Mathematik-Datensatz namens GSM8K.
- Die KI startete mit einem Wert von 27,29 %.
- Nach der Anwendung dieses „Gemeinsame Sonnenbrille“-Tricks stieg der Wert auf 29,01 %.
- Es behob auch ein Problem, bei dem die KI während des Trainings tatsächlich schlechter in Mathe wurde; die neue Methode half ihr, diese verlorenen Fähigkeiten zurückzugewinnen.
Es ist theoretisch fundiert: Die Arbeit beweist mathematisch, dass dies nicht nur ein Glückstreffer ist. Indem sie die „Sonnenbrillen“ als einen Weg behandeln, verschiedene Versionen des KI-Gehirns zu sampeln, ist die Methode statistisch valide und effizient.

Zusammenfassung in einem Satz

Die Arbeit löst ein Problem, bei dem KI-Modelle zu perfekt waren, um voneinander zu lernen, indem sie jedem „Klon“ ein einzigartiges, temporäres Set an „Augenbinden“ (Dropout-Masken) gibt, damit sie die Welt unterschiedlich wahrnehmen, was einem Gruppenlernalgorithmus schließlich ermöglicht, sie zu verbessern.

Technisches Resümee: Dropout-GRPO für kontinuierliches latentes Reasoning

1. Problemstellung

Die Arbeit adressiert eine grundlegende strukturelle Inkompatibilität zwischen Group Relative Policy Optimization (GRPO) und kontinuierlichen latenten Reasoning-Modellen (speziell der COCONUT-Architektur).

Die GRPO-Anforderung: GRPO beruht auf der Diversität von $K$ Rollouts innerhalb einer Gruppe, um einen nicht-null Gruppenmittelwert-Vorteil ( $A^{(k)} = r^{(k)} - \mu_r$ ) zu berechnen. Wenn alle Rollouts identische Trajektorien erzeugen, kollabiert der Vorteil gegen Null, was die Optimierung zum Stillstand bringt.
Die Herausforderung des latenten Reasonings: Im Gegensatz zu Standard-Chain-of-Thought (CoT)-Modellen, die Diversität durch stochastisches Token-Sampling ableiten, operieren kontinuierliche latente Reasoning-Modelle (wie COCONUT) über deterministische Zustandsübergänge im Hidden State. Angesichts eines Prompts und fester Parameter liefern mehrere Rollouts identische latente Trajektorien und Antworten.
Die Konsequenz: Die Anwendung von Standard-GRPO auf diese Modelle führt zu einer Null-Varianz ( $\sigma_r = 0$ ), wodurch der Policy-Gradient verschwindet und kein Lernsignal generiert werden kann.

2. Methodik: Dropout-GRPO

Die Autoren schlagen Dropout-GRPO vor, eine Methode, die die notwendige Stochastizität in den latenten Reasoning-Prozess durch strukturiertes Dropout injiziert und dabei die theoretischen Garantien der variativen Inferenz beibehält.

Kernmechanismus: Shared-Mask Variational Dropout

Anstatt des Standard-Token-Level-Samplings führt die Methode Stochastizität auf der Parameter-Ebene ein:

Maskengenerierung: Für jeden Rollout $k$ wird eine einzige Bernoulli-Maske $\xi^{(k)}$ gezogen.
Konsistenz: Diese Maske bleibt über alle $T$ Schritte der latenten Rekurrenz innerhalb dieses spezifischen Rollouts konstant.
Perturbation: Die Maske induziert eine strukturierte Perturbation $\tilde{\theta}(\xi)$ der Netzwerkgewichte. Die latente Rekurrenz erfolgt als $h_t = f_{\tilde{\theta}(\xi)}(h_{t-1})$ .
Mask-Replay: Entscheidend ist, dass der RNG-Seed für die Maske während der Rollout-Phase gespeichert wird. Während des Policy-Updates wird dieselbe Maske regeneriert und angewendet. Dies stellt sicher, dass die für die Belohnung evaluierte Trajektorie bit-identisch mit der Trajektorie ist, die für die Gradientenberechnung verwendet wird, wenn $\theta = \theta_{old}$ .

Theoretische Interpretation

Bayesian Model Average: In Anlehnung an Gal und Ghahramani behandelt das Shared-Mask-Verfahren jeden Rollout als eine einzelne Posterior-Probe aus einer strukturierten Verteilung über die Parameter. Die marginale Policy $\bar{\pi}_\theta$ wird als Bayesian Model Average interpretiert.
Gradienten-Unverzerrtheit: Die Autoren beweisen, dass der Surrogate-Gradient unter Verwendung des Mean-only-Advantages ( $A^{(k)} = r^{(k)} - \mu_r$ ) ein unverzerrter Schätzer des Gradienten der erwarteten Belohnung der marginalen Policy ist, skaliert um $(1 - 1/K)$ .
Varianzreduktion: Durch die Wiederverwendung derselben Maske (Common Random Numbers) während des Updates im Vergleich zum Rollout wird die Varianz im Vergleich zur Neuzug der Maske zum Update-Zeitpunkt reduziert.

Implementierungsverfeinerungen

Zur Stabilisierung des Trainings werden vier spezifische Verfeinerungen eingeführt:

Huberized $k_3$ KL: Ersetzt das Standard-Clamping in der KL-Divergenz-Schätzung durch eine Huber-ähnliche Erweiterung, um zu verhindern, dass Gradienten für Tokens mit großen Log-Ratios verschwinden, wodurch "entlaufene" Tokens vermieden werden, die ohne Regularisierung driften.
Trust-Region Annealing: Der KL-Koeffizient $\beta$ wird proportional zur Lernrate $\eta_t$ geannealt, um zu verhindern, dass die Policy an einem Gleichgewicht fixiert wird, an dem der KL-Zug den Policy-Gradienten neutralisiert.
Group-Level Accuracy Filter: Gruppen, deren empirische Genauigkeit $\mu_r$ außerhalb eines konfigurierten Fensters (z. B. $[0.20, 0.95]$ ) liegt, werden verworfen. Dies fungiert als emergenter Lehrplan (Curriculum), der Rechenleistung auf Prompts mit nicht-trivialer Varianz fokussiert.
DDP-Coordinated Skip: Gewährleistet die Konsistenz im verteilten Training beim Verwerfen von Gruppen.

3. Zentrale Beiträge

Neues Paradigma für latentes RL: Die Arbeit identifiziert die deterministische Natur der latenten Rekurrenz als Ursache für das Versagen von GRPO und schlägt Shared-Mask Variational Dropout als minimale, theoretisch saubere Lösung vor. Es ist die erste Methode, die Group-Relative RL erfolgreich auf kontinuierliche latente Reasoning-Modelle anwendet.
Theoretische Rechtfertigung:
- Beweist die wohldefinierte Natur der latenten Jacobi-Matrix $\partial h_T / \partial \theta$ unter Standard-Transformer-Regularität.
- Beweist die Unverzerrtheit des Surrogate-Gradienten für die marginale Policy.
- Zeigt, dass Mask-Replay eine Varianzreduktion durch Common-Random-Numbers bietet.
Empirische Validierung: Wendet GRPO erfolgreich auf das COCONUT-Modell auf dem GSM8K-Benchmark an – ein Regime, in dem deterministisches GRPO vollständig versagt.
Referenzimplementierung: Veröffentlicht Code, der eine bit-identische Mask-Replay über die gesamte latente Rekurrenz hinweg realisiert.

4. Experimentelle Ergebnisse

Die Experimente wurden unter Verwendung von Qwen2.5-1.5B als Basismodell mit einer latenten Tiefe von $T=6$ durchgeführt.

Leistungssteigerung: Dropout-GRPO verbesserte die GSM8K pass@1 Genauigkeit von einem COCONUT-Baseline-Wert von 27,29 % auf 29,01 %.
Wiederherstellung von Fähigkeiten: Die Methode kehrte eine 1,33 Punkte starke Leistungsregression auf dem SVAMP-Datensatz um, die durch Curriculum-Training verursacht wurde, und stellte die Leistung auf 44,00 % (entsprechend der Varianz des Basismodells) wieder her.
Ablationsstudien:
- Deterministisches GRPO: Versagte vollständig und lieferte eine flache Trainingskurve, die identisch mit der SFT-Initialisierung war, aufgrund von Null-Advantage.
- REINFORCE + Dropout (EMA): Versagte aufgrund hoher Varianz; der Single-Rollout-Gradient war zu verrauscht, um die SFT-Initialisierung zu stabilisieren.
- Dropout-GRPO: Die einzige Konfiguration, die ein lebensfähiges Lernsignal erzeugte, was bestätigt, dass group-relative Baselines für die Varianzreduktion in diesem Setting essenziell sind.

5. Bedeutung und Behauptungen

Die Arbeit positioniert diese Arbeit als einen praktischen und theoretisch fundierten Ansatz für das Post-Training von latenten Reasoning-Large-Language-Models (LLMs).

Machbarkeit: Sie zeigt, dass RL-Post-Training für Modelle, die direkt in Hidden States reasonen, machbar ist – eine Fähigkeit, die zuvor durch den Mangel an Rollout-Diversität blockiert war.
Mechanismus: Sie definiert Dropout neu – nicht als Regularisierer (der in modernen LLMs oft deaktiviert wird), sondern als Quelle strukturierter exogener Stochastizität, die für die variative Policy-Optimierung erforderlich ist.
Limitierungen: Die Autoren sind bescheiden hinsichtlich des Ausmaßes der Verbesserung (ein Gewinn von 1,72 Punkten auf GSM8K) und führen dies auf die geringe Skalierung des Backbones (1,5B) und den Mangel an geeigneten, prägnanten Reasoning-Datensätzen zurück. Sie merken an, dass die eingesetzte Policy (Inferenz ohne Dropout) von der optimierten marginalen Policy abweicht, was eine Bias einführt, die von den Lipschitz-Konstanten abhängt.

Zusammenfassend lässt sich sagen, dass Dropout-GRPO die Lücke zwischen Group-Relative Reinforcement Learning und kontinuierlichem latentem Reasoning schließt und die Optimierung von Modellen ermöglicht, die zuvor aufgrund ihrer deterministischen internen Dynamik GRPO nicht nutzen konnten.