🤖 AI

DenoiseRL: Bootstrapping Reasoning Models to Recover from Noisy Prefixes

DenoiseRL ist ein skalierbares Reinforcement-Learning-Framework, das das Reasoning in großen Sprachmodellen verbessert, indem es direkt aus fehlerhaften Traces schwacher Modelle lernt, um sich von verrauschten Präfixen zu erholen, wodurch die Notwendigkeit teurer Lehrer-Supervision oder kuratierter Datensätze entfällt und gleichzeitig starke on-policy-Baselines übertroffen werden.

Ursprüngliche Autoren: Caijun Xu, Changyi Xiao, Zhongyuan Peng, Yixin Cao

Veröffentlicht 2026-05-28

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Caijun Xu, Changyi Xiao, Zhongyuan Peng, Yixin Cao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Schüler beizubringen, komplexe Mathematikaufgaben zu lösen. Normalerweise würden Sie einen genialen Tutor einstellen, der ihm die perfekten Schritte zeigt. Doch was, wenn Sie keinen genialen Tutor haben? Was, wenn Sie nur einen Schüler haben, der in Mathe schlecht ist?

Die meisten aktuellen KI-Trainingsmethoden sagen: „Wenn wir keinen Genie haben, können wir nicht besser werden." Dieses neue Papier, DenoiseRL, sagt: „Tatsächlich können wir die Fehler des schlechten Schülers nutzen, um dem klugen Schüler beizubringen, noch klüger zu werden."

So funktioniert es, mit einfachen Analogien:

1. Das Problem: Die „perfekte Tutor"-Engstelle

Um KI derzeit im logischen Denken (wie beim Lösen von Mathematikaufgaben) schlauer zu machen, benötigen wir normalerweise eine „stärkere" KI, die als Lehrer fungiert. Es ist, als würde man versuchen, fortgeschrittene Analysis von einem Professor zu lernen. Doch was, wenn Sie keinen Professor haben? Sie stecken fest.

2. Die Lösung: Das „Umweg"-Training

DenoiseRL verändert das Spiel. Anstatt nach einem perfekten Lehrer zu suchen, nimmt es eine „schwache" KI (den schlechten Schüler) und bittet sie, ein Problem zu lösen. Die schwache KI wird wahrscheinlich den Weg verfehlen, falsche Abzweigungen einschlagen und in eine Sackgasse geraten.

Anstatt diese falschen Antworten wegzuwerfen, nutzt DenoiseRL sie als Trainings-Hindernisparcours.

Die Analogie: Stellen Sie sich einen Wanderer (die KI) vor, der versucht, einen Berggipfel (die richtige Antwort) zu erreichen.
- Normales Training: Der Wanderer startet am Fuße und versucht, den Weg zu finden.
- DenoiseRL-Training: Der Wanderer wird magisch an eine Stelle halbwegs den Berg hinauf teleportiert, steht jedoch in einem Sumpf aus Schlamm (die falschen Denkenschritte, die von der schwachen KI generiert wurden).
- Das Ziel: Dem Wanderer ist es nicht erlaubt, einfach weiterzugehen. Er muss herausfinden: „Warte, ich stecke im Schlamm fest. Wie klettere ich aus diesem Durcheinander heraus und komme wieder auf den richtigen Pfad zum Gipfel?"

3. Wie es funktioniert: „Entrauschen" des Pfades

Das Papier nennt dies „Entrauschen". Betrachten Sie die falschen Schritte der schwachen KI als „Rauschen" oder statische Störungen auf einem Funksignal.

Das System nimmt ein Stück der falschen Antwort der schwachen KI (das „verrauschte Präfix").
Es zwingt die intelligente KI, ihre Antwort von diesem falschen Ort aus zu beginnen.
Die intelligente KI muss erkennen: „Oh, dieser erste Teil ist falsch. Ich muss ihn korrigieren, die Spur wechseln und den richtigen Weg zur Lösung finden."

Dies lehrt der KI eine Superkraft: Wiederherstellung. Sie lernt, dass sie, selbst wenn sie den falschen Weg einschlägt, den Fehler erkennen, ihn beheben und trotzdem die richtige Antwort finden kann.

4. Der Sweet Spot: Machen Sie den Schlamm nicht zu tief

Die Forscher stellten fest, dass der „Schlamm" (die falschen Schritte) genau die richtige Tiefe haben muss.

Zu flach: Wenn die falschen Schritte winzig sind, lernt die KI nicht viel.
Zu tief: Wenn die falschen Schritte riesig sind, gerät die KI in Verwirrung und beginnt zu „überzudenken". Sie bleibt in einem Kreislauf stecken, in dem sie sich selbst bezweifelt, ihre Arbeit immer wieder überprüft und niemals fertig wird.
Genau richtig: Eine moderate Anzahl falscher Schritte zwingt die KI, das Beheben von Fehlern zu üben, ohne gelähmt zu werden.

5. Die Ergebnisse

Als sie dies an mathematischen und logischen Rätseln testeten:

Die mit DenoiseRL trainierte KI erzielte bessere Ergebnisse als KI, die mit Standardmethoden trainiert wurde.
Sie benötigte keinen „genialen" Lehrer; sie lernte, indem sie die Fehler einer „schwächeren" Version ihrer selbst korrigierte.
Sie wurde besser darin, ihre eigenen Fehler zu erkennen und sie im laufenden Betrieb zu korrigieren.

Zusammenfassung

DenoiseRL ist wie ein Fitnessstudio für KI-Gehirne. Anstatt nur Gewichte zu heben (Probleme von Grund auf zu lösen), versetzt es die KI in eine Situation, in der sie aus einem Loch herausklettern muss, das sie nicht selbst gegraben hat. Indem sie übt, wie man sich von Fehlern erholt, wird die KI robuster, schlauer und weniger abhängig davon, einen perfekten Lehrer zu haben, der sie führt.

Technische Zusammenfassung: DenoiseRL

Problemstellung

Reinforcement Learning (RL) hat sich zu einem dominanten Paradigma zur Verbesserung des Schlussfolgerns in Large Language Models (LLMs) entwickelt. Allerdings stoßen aktuelle State-of-the-Art-Ansätze auf eine strukturelle Engstelle: Sie verlassen sich häufig auf die Überwachung durch leistungsfähigere Lehrermodelle oder stark kuratierte, schwierige Datensätze, um Verbesserungen zu erzielen. Diese Abhängigkeit schafft ein Skalierbarkeitsproblem; wenn ausreichend leistungsfähige, sofort einsetzbare Lehrermodelle nicht verfügbar sind, werden weitere Gewinn an Fähigkeiten schwierig. Darüber hinaus leiden Standard-On-Policy-RL-Methoden oft unter einem Explorationsengpass, bei dem die Policy durch die Generierung überwiegend korrekter Rollouts oder eng begrenzter Fehlermodi sättigt, wodurch „informatives Versagen" zu selten für sinnvolle Gradientenupdates bleibt. Bestehende Versuche, dies zu adressieren, wie Weak-to-Strong Generalization (W2SG), sind durch das Rauschen und die Kapazität des schwachen Lehrers begrenzt, während Daten-Synthese-Ansätze komplexe, manuelle Ingenieursarbeit erfordern.

Methodik: DenoiseRL

Die Arbeit schlägt DenoiseRL vor, ein Reinforcement-Learning-Framework, das die Verbesserung des Schlussfolgerns als Denoising- und Wiederherstellungsproblem neu definiert. Anstatt schwache Modelle zur Generierung korrekter Pseudo-Labels oder harter Daten zu verwenden, nutzt DenoiseRL schwache Modelle zur Erzeugung strukturierter Perturbationen (falsche Schlussfolgerungs-Präfixe), die als Trainingssignale dienen.

Kernmechanismus

Einspritzung verrauschter Präfixe: Das Framework sampelt falsche Schlussfolgerungstrajektorien von einem schwachen Modell (z. B. Qwen2.5-1.5B). Es wählt ein Präfix dieser falschen Trajektorie (bestimmt durch ein Präfixverhältnis $\rho$ ) und fügt es am Anfang der Eingabe des Policy-Modells ein.
Wiederherstellungsziel: Das Policy-Modell wird nicht darauf trainiert, das schwache Modell zu imitieren, sondern den fehlerhaften Zustand wiederherzustellen. Es muss die Korruption erkennen, seine Schlussfolgerung revidieren, auf einen korrekten Pfad wechseln und die verifizierte Antwort erreichen.
Trainingsverteilung: Der Trainingsprozess mischt für jedes Problem zwei Arten von Rollouts:
- Haupt-Rollouts ( $N$ ): Standard-On-Policy-Rollouts, die von der Frage ausgehen.
- Denoise-Rollouts ( $K$ ): Rollouts, die vom verrauschten Präfix beginnen, das vom schwachen Modell generiert wurde.
Fairness im Output-Budget: Um einen fairen Vergleich zu gewährleisten, ist die Gesamtlänge der Antwort begrenzt. Das verrauschte Präfix verbraucht einen Teil des Token-Budgets, und die Fortsetzung des Modells wird entsprechend abgeschnitten. Nur die vom Policy generierten Tokens (die Fortsetzung) werden während der Backpropagation aktualisiert; das verrauschte Präfix wird in der Verlustberechnung maskiert, um Instabilität zu verhindern.
Optimierung: Das Framework employs Group-Relative Policy Optimization (GRPO). Eine einzelne Vorteil-Baseline wird über alle $N+K$ Trajektorien für ein gegebenes Problem hinweg geteilt. Dies ermöglicht es, dass Denoise-Rollouts (die oft zum Scheitern führen, wenn das Modell sich nicht erholen kann) als negative Stichproben dienen, während erfolgreiche Wiederherstellungen positive Lernsignale relativ zur Gruppe liefern.

Hauptbeiträge

Neues RL-Paradigma: Die Einführung von DenoiseRL, das Weak-to-Strong-Learning mit datengenerierter Schwierigkeitssteigerung vereint. Es nutzt Fehler schwacher Modelle als strukturiertes Rauschen und nicht als Lernsignale, was eine skalierbare Verbesserung ohne externe Überwachung ermöglicht.
Verbesserte Selbstkorrektur: Die Methode trainiert das Modell explizit darauf, sich von korrupten Zwischenzuständen zu erholen, und hebt die Selbstkorrektur von einem emergenten Verhalten zu einem direkten Trainingsziel.
Empirische Validierung: Die Arbeit zeigt, dass DenoiseRL konsistent starke On-Policy-RL-Baselines (GRPO und DAPO) auf wettbewerbsfähigen mathematischen und allgemeinen Schlussfolgerungs-Benchmarks (MATH500, AMC23, AIME2024/2025, BBEH) sowohl für Modelle mit 4B als auch mit 8B Parametern übertrifft.
Design-Analyse: Die Autoren bieten eine detaillierte Analyse wichtiger Hyperparameter und identifizieren, dass:
- Präfixverhältnis ( $\rho$ ): Moderates Rauschen ( $\rho=0.2$ ) optimal ist; übermäßiges Rauschen ( $\rho=0.8$ ) zu „Überdenken" und endlosen Schleifen des Selbstzweifels führt.
- Wiederherstellungsintensität ( $K$ ): Eine ausgewogene Mischung aus Denoise-Rollouts ( $K=4$ von insgesamt 16) den besten Kompromiss liefert. Zu wenige ( $K=1$ ) liefern unzureichende Signale, während zu viele ( $K=8$ ) vom Kernziel ablenken, Probleme von Grund auf zu lösen.
- Off-Policy-Updates: Das Aktualisieren der Policy auf den verrauschten Präfix-Tokens führt zum Trainingskollaps, was bestätigt, dass Gradienten nur durch die eigene Fortsetzung des Modells fließen sollten.

Ergebnisse

Experimente an den Modellen Qwen3-4B und Qwen3-8B zeigen konsistente Verbesserungen:

Leistungssteigerungen: DenoiseRL-GRPO verbesserte den Durchschnittswert bei Qwen3-4B von 39,6 % (GRPO-Baseline) auf 42,0 %. DenoiseRL-DAPO erzielte beim 8B-Modell die besten Gesamtergebnisse mit einem Durchschnitt von 44,8 % im Vergleich zur DAPO-Baseline von 42,8 %.
Benchmarkspezifische Details: Bemerkenswerte Steigerungen wurden bei schwierigeren Benchmarks wie AIME2024 und AIME2025 beobachtet, wo DenoiseRL-DAPO beim 8B-Modell 27,0 % bzw. 24,8 % erreichte und damit alle anderen Konfigurationen übertraf.
Verhaltensänderungen: Fallstudien zeigen, dass das Modell lernt, nützliche strukturelle Informationen aus dem Präfix zu bewahren, während es fehlerhafte Logik verwirft, und effektiv Strategien wechselt (z. B. von der expliziten Suche nach Wurzeln zu Vieta'schen Formeln), um die korrekte Antwort wiederherzustellen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass DenoiseRL einen skalierbaren und effektiven alternativen Pfad zur Verbesserung des Schlussfolgerns in LLMs bietet. Seine primäre Bedeutung liegt in:

Reduzierung der Abhängigkeit: Es eliminiert die Notwendigkeit teurer Datenerstellung oder stärkerer Lehrermodelle und verlässt sich stattdessen auf die Fähigkeit des Modells, aus seinen eigenen (und denen schwächerer Modelle) Fehlern zu lernen.
Skalierbarkeit: Durch die Umwandlung von Fehlern schwacher Modelle in strukturierte Perturbationen erhöht die Methode automatisch die Trainingschwierigkeit, ohne neue Daten zu generieren.
Robustheit: Das Framework fördert ein stärkeres selbstkorrigierendes Verhalten, insbesondere wenn die Trainingschwierigkeit steigt, was darauf hindeutet, dass Wiederherstellungstraining tiefere Schlussfolgerungsdynamiken beeinflusst, die über einfache Leistungsmetriken hinausgehen.

Die Autoren schließen, dass Modellfehler selbst als starke Quelle für Lernsignale dienen können und eine neue Perspektive auf das Post-Training für Schlussfolgerungsmodelle bieten. Sie räumen Einschränkungen ein und stellen fest, dass die Qualität des Wiederherstellungssignals von der Art der Fehler des schwachen Modells abhängt und dass übermäßige Korruption zu ineffizienten, übermäßig langen Schlussfolgerungstrajektorien führen kann.