🤖 machine learning

RLCSD: Reinforcement Learning with Contrastive On-Policy Self-Distillation

Das Papier schlägt RLCSD vor, eine neuartige Reinforcement-Learning-Methode, die den „privilegierungsbedingten Stildrift“ (privilege-induced style drift) bei On-Policy-Selbstdistillation durch das Kontrastieren korrekter und inkorrekter Hinweise mildert, um Lernsignale auf aufgabenrelevante Token zu fokussieren, wodurch im Vergleich zu bestehenden Ansätzen eine überlegene Leistung bei mathematischen und logischen Schlussfolgerungsaufgaben erzielt wird.

Ursprüngliche Autoren: Leyi Pan, Shuchang Tao, Yunpeng Zhai, Lingzhe Zhang, Zhaoyang Liu, Bolin Ding, Aiwei Liu, Lijie Wen

Veröffentlicht 2026-06-11

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Leyi Pan, Shuchang Tao, Yunpeng Zhai, Lingzhe Zhang, Zhaoyang Liu, Bolin Ding, Aiwei Liu, Lijie Wen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Studenten beizubringen, wie man ein komplexes mathematisches Problem löst. Sie haben einen „Lehrer“ (ein intelligentes KI-Modell) und einen „Studenten“ (das Modell, das Sie trainieren).

In der Vergangenheit versuchten Forscher eine Methode namens On-Policy Self-Distillation (OPSD). Die Idee war simpel: Der Student versucht, ein Problem zu lösen. Dann gibt man dem Lehrer ein „Spickblatt“ (die richtige Antwort) und bittet den Lehrer, dasselbe Problem erneut zu lösen. Der Student versucht dann, den Gedankengang des Lehrers zu kopieren.

Das Problem: Der „Style Drift“ (Stil-Drift)

Die Forschung entdeckte einen verborgenen Fehler in dieser Methode. Wenn der Lehrer die richtige Antwort sieht (das Spickblatt), wird er nicht nur klüger in Bezug auf die Mathematik; er verändert auch seine Persönlichkeit.

Der alte Weg: Der Lehrer, der die Antwort kennt, wird sehr selbstbewusst und direkt. Er hört auf zu sagen: „Hm, lassen Sie mich mal nachdenken...“ oder „Warte, vielleicht...“ und springt direkt zu: „Daher ist die Antwort 5.“
Der Fehler: Der Student versucht, diese neue, direkte Persönlichkeit zu kopieren. Er lernt, aufzuhören zu denken und stattdessen einfach Antworten herauszuschreien. Er konzentriert sich auf den Stil der Antwort (kurz, direkt, selbstbewusst) statt auf die eigentliche Mathematik dahinter.
Das Ergebnis: Der Student wird verwirrt. Manchmal beginnt er, riesige, chaotische Essays zu schreiben (weil er versucht, zu sehr selbstbewusst zu sein), und manchmal verkürzt er seine Antworten auf fast gar nichts und gibt das tiefe Nachdenken, das für lange Probleme erforderlich ist, auf.

Die Autoren nennen dies „Privilege-Induced Style Drift“ (Privileg-induzierter Stil-Drift). Es ist, als würde ein Student die Handschrift eines Lehrers so perfekt kopieren, dass er vergisst, die eigentliche Lektion zu lernen.

Die Lösung: RLCSD (Der „kontrastive“ Ansatz)

Um dies zu beheben, entwickelten die Autoren RLCSD. Sie erkannten, dass die „Direktheit“ des Lehrers auftritt, egal ob der Hinweis richtig oder falsch ist. Der Lehrer möchte einfach nur selbstbewusst wirken.

Also änderten sie das Spiel:

Der Aufbau: Sie geben dem Lehrer gleichzeitig zwei Spickblätter:
- Eines ist eine korrekte Lösung (die richtige Antwort).
- Das andere ist eine falsche Lösung (eine falsche Antwort, aber exakt im gleichen Format).
Der Vergleich: Sie fragen den Lehrer: „Wie verändert sich dein Denken, wenn du die richtige Antwort siehst im Vergleich zur falschen Antwort?“
Die Magie: Da der Lehrer sowohl für die richtige als auch für die falsche Antwort „direkt“ und „selbstbewusst“ auftritt, hebt sich die „Direktheit“ abzieht, wenn man die beiden subtrahiert.
- Selbstbewusstsein bei Richtig minus Selbstbewusstsein bei Falsch = Null Selbstbewusstseins-Bias.
- Was übrig bleibt? Nur die Teile, die tatsächlich mit der Mathematik zu tun haben.

Man kann es sich wie Noise-Cancelling-Kopfhörer vorstellen. Der „Stil“ (das Rauschen) ist in beiden Ohren gleich, also wird er herausgefiltert. Was man klar hört, ist die „Aufgabe“ (die Musik).

Wie es in der Praxis funktioniert

Anstatt dem Studenten nur zu sagen „Kopiere den Lehrer“, sagt RLCSD:

„Schau dir den Unterschied zwischen der Reaktion des Lehrers auf die richtige Antwort und die falsche Antwort an.“
„Lerne nur aus den Teilen, in denen es dem Lehrer tatsächlich um die Mathematik geht, und nicht aus den Teilen, in denen er nur selbstbewusst auftritt.“

Sie kombinieren dies mit einem „Verifier“ (einem strengen Notengeber, der prüft, ob die Endantwort richtig ist). Der Notengeber sagt dem Studenten, in welche Richtung er sich bewegen soll (Hoch oder Runter), und dieses neue „kontrastive Signal“ sagt dem Studenten, wie stark er bei bestimmten Schritten „drücken“ muss.

Die Ergebnisse

Das Papier testete dies an mehreren KI-Modellen (Qwen und Olmo) mit Mathe- und Logikrätseln.

Alte Methoden: Die Modelle wurden entweder verrückt (schrieben endlose, unsinnige Texte) oder gaben zu früh auf (schrieben sehr kurze, faule Antworten).
RLCSD: Die Modelle blieben ruhig. Sie behielten lange, detaillierte Denkprozesse bei (was gut für schwierige Probleme ist) und erzielten deutlich bessere Ergebnisse in den Tests.

Zusammenfassende Analogie

Stellen Sie sich einen Kochkurs vor.

Alter Weg: Der Chefkoch (Lehrer) probiert die Suppe, sieht das Rezept und sagt: „Sie ist perfekt!“ Der Student versucht, den Tonfall des Chefs zu kopieren. Der Student lernt, so zu klingen wie ein Chef, lernt aber nicht, wie man die Suppe würzt.
RLCSD: Der Chefkoch probiert die Suppe mit dem richtigen Rezept, und dann probiert er sie mit einem falschen Rezept (zu viel Salz). Der Tonfall des Chefs ändert sich in beiden Fällen leicht, aber der Unterschied im Geschmack ist offensichtlich. Der Student lernt, sich nur auf den Unterschied im Geschmack (das Salz) zu konzentrieren und den Tonfall des Chefs zu ignorieren.

Indem er sich auf den Unterschied zwischen richtig und falsch konzentriert, anstatt nur das Richtige zu kopieren, lernt der Student die eigentliche Fertigkeit, ohne von der Einstellung des Lehrers abgelenkt zu werden.

Technisches Resümee: RLCSD – Reinforcement Learning mit kontrastiver On-Policy Self-Distillation

1. Problemstellung: Privileg-induzierter Stil-Drift (Privilege-Induced Style Drift)

Das Paper identifiziert eine kritische Pathologie in der On-Policy Self-Distillation (OPSD), einem Paradigma, bei dem ein einzelnes Modell sowohl als Lehrer als auch als Schüler fungiert, wobei dem Lehrer Zugriff auf einen „privilegierten Kontext“ (z. B. eine verifizierte Lösung) gewährt wird, der dem Schüler nicht zur Verfügung steht.

Während bestehende OPSD-Methoden (z. B. OPSD, SDPO, SRPO, RLSD) darauf abzielen, eine dichte, auf Token-Ebene basierende Supervision bereitzustellen, indem sie die Verteilungsdifferenz zwischen dem Schüler und dem privilegierten Lehrer minimieren, zeigen die Autoren auf, dass dieses Lernsignal fundamental fehlerhaft ist. Sie bezeichnen diesen Fehler als privileg-induzierten Stil-Drift.

Der Mechanismus: Die Konditionierung des Lehrers auf eine verifizierte Lösung (den privilegierten Kontext) schärft zwar dessen Konfidenz auf aufgabenrelevante Tokens (z. B. mathematische Operatoren), induziert jedoch gleichzeitig eine systematische, von der Korrektheit orthogonale Verschiebung im generativen Verhalten. Der privilegierte Lehrer neigt dazu, kürzere, assertivere Ausgaben zu produzieren, explorative Absicherungen (Hedges) zu unterdrücken und die Wahrscheinlichkeitsmasse auf Formatierungs- und Diskurs-Tokens (z. B. „Warte“, „Daher“, „\n\n“) umzuverteilen.
Die Konsequenz: Das resultierende Lernsignal ( $e_{c,t}$ ) wird von diesen Stil-Tokens dominiert statt von den aufgabenrelevanten Tokens, die die Antwort bestimmen.
Beobachtete Pathologien: Dieser Signal-Skew führt zu zwei distinkten Fehlermodi im Training:
1. Entropie-Explosion und Instabilität: Methoden wie OPSD und SDPO leiden unter unbegrenztem Entropiewachstum, was zu einer Explosion der Antwortlänge und zum Trainingskollaps führt.
2. Vorzeitige Längenverkürzung: Methoden wie RLSD zeigen eine drastische Reduktion der Antwortlänge, was die Fähigkeit des Modells einschränkt, langfristige Denkprozesse (long-horizon reasoning) durchzuführen.

2. Methodik: RLCSD

Um den privileg-induzierten Stil-Drift zu adressieren, schlagen die Autoren RLCSD (Reinforcement Learning with Contrastive On-Policy Self-Distillation) vor. Die Kernidee ist, dass die durch den privilegierten Kontext induzierten stilistischen Verschiebungen über sowohl korrekte als auch inkorrekte Hinweise hinweg geteilt werden, wenn diese unter identischen Prompt-Templates präsentiert werden. Durch die Kontrastierung eines korrekten Hinweises gegen einen inkorrekten Hinweis kann die gemeinsame stilistische Komponente herausgerechnet werden, sodass ein Signal übrig bleibt, das auf die Aufgabenkorrektheit konzentriert ist.

Die RLCSD-Pipeline besteht aus drei Stufen:

Stufe 1: Rollout-Sampling und Partitionierung

Für eine gegebene Abfrage $x$ sampelt die Schüler-Policy $\pi_S$ eine Gruppe von $G$ Rollouts. Ein regelbasiertes Verifikationssystem partitioniert diese in eine korrekte Teilmenge ( $\mathcal{G}^+$ ) und eine inkorrekte Teilmenge ( $\mathcal{G}^-$ ). Gruppen mit einheitlichen Ergebnissen (alle korrekt oder alle inkorrekt) werden verworfen, da sie unter Standard-GRPO-Normalisierung keinen Vorteil (Advantage) liefern.

Stufe 2: Konstruktion des kontrastiven Token-Level-Signals

Anstatt eines einzelnen privilegierten Hinweises konstruiert RLCSD ein kontrastives Signal $e_{ctr,t}$ :

Positiver Hinweis ( $y_c^*$ ): Gesampelt aus $\mathcal{G}^+$ .
Negative Hinweise ( $y_{w,k}^*$ ): $K$ Hinweise gesampelt aus $\mathcal{G}^-$ .
Symmetrisches Prompting: Beide Hinweise werden in ein identisches Prompt-Template eingebettet (Problem + Referenzlösung + Antwort). Dies stellt sicher, dass der Lehrer beide als Ground-Truth-Referenzen behandelt, wodurch die induzierten stilistischen Verschiebungen identisch werden.
Das Signal: Das kontrastive Signal wird als Differenz der Log-Wahrscheinlichkeitslücke unter dem korrekten Hinweis gegenüber der durchschnittlichen Log-Wahrscheinlichkeitslücke unter den $K$ negativen Hinweisen berechnet:
$e_{ctr,t} = \log \pi_T(y_t | x, y_c^*, y_{<t}) - \log \left( \frac{1}{K} \sum_{k=1}^K \pi_T(y_t | x, y_{w,k}^*, y_{<t}) \right)$
Verfeinerungen: Die Methode nutzt eine K-Marginalisierung über negative Hinweise, um das Signal gegen heterogene Fehlertypen zu stabilisieren, und schließt den Ziel-Rollout aus dem Hint-Pool aus, um zu verhindern, dass der Lehrer in seine eigene Generierung übermäßig konfident wird.

Stufe 3: Verifier-verankerte Modulation und Loss

Das kontrastive Signal $e_{ctr,t}$ wird nicht als eigenständiger Reward verwendet, sondern als Modulation des auf Outcome-Ebene basierenden Advantages ( $A_{ORM}$ ), der aus GRPO abgeleitet wird.

Modulation: $e_{ctr,t}$ wird weich-normalisiert (via $\tanh$ ) und skaliert, um einen Token-Level-Modulationswert $r_t$ zu erzeugen.
Vorzeichen-erhaltendes Clamping: Die Modulation wird zu $A_{ORM}$ addiert, wobei das Ergebnis geclamped wird, um sicherzustellen, dass die Update-Richtung niemals dem Outcome-Signal des Verifiers widerspricht.
Zwei-Pfad-Loss: Das finale Ziel aggregiert einen Zwei-Pfad PPO-ähnlichen Clipped Loss:
1. Ein unmodulierter Pfad für Tokens, bei denen das kontrastive Signal schwach ist (Rauschen).
2. Ein modulierter Pfad für Tokens, bei denen das Signal stark ist.
  Entscheidend ist, dass diese Pfade innerhalb jedes Rollouts unabhängig voneinander normalisiert werden, um zu verhindern, dass das modulierte Signal durch die Mehrheit der unmodulierten Tokens verwässert wird.

3. Wichtigste Beiträge

Charakterisierung des privileg-induzierten Stil-Drifts: Das Paper identifiziert und quantifiziert einen systematischen Bias in OPSD, bei dem die privilegierte Konditionierung das Lernsignal in Richtung stilistischer Tokens verschiebt, was zu Trainingsinstabilität oder vorzeitiger Verkürzung der Antwortlänge führt.
RLCSD Algorithmus: Eine neuartige Methode, die diesen Drift durch symmetrische kontrastive Auslöschung zwischen korrekten und inkorrekten privilegierten Hinweisen mildert. Es integriert dieses bereinigte Signal in Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) als Verifier-verankerte Token-Level-Modulation.
Generalisierbarkeit des kontrastiven Prinzips: Die Autoren demonstrieren, dass die kontrastive Konstruktion eine methodenagnostische Komponente ist. Sie kann in bestehende OPSD-Baselines (wie OPSD und RLSD) implementiert werden, um deren Stabilität und Leistung zu verbessern, was darauf hindeutet, dass das Prinzip breit anwendbar ist.
Erweiterung auf Cross-Model Distillation: Das Paper erweitert die Erkenntnis auf die Cross-Model On-Policy Distillation (OPD) und zeigt, dass eine ähnliche Dekomposition in aufgabenbezogene vs. oberflächliche Stil-Tokens erklärt, warum stilistisch abgestimmte, aber schwächere Lehrer manchmal stärkere, stilistisch distanzierte Lehrer übertreffen können.

4. Experimentelle Ergebnisse

Die Experimente wurden auf Qwen3 (1.7B, 4B, 8B) und Olmo-3-7B-Think durchgeführt, unter Verwendung von mathematischer Argumentation (AMC23, AIME24, AIME25) und logischer Argumentation (Knights & Knaves).

Leistung: RLCSD übertrifft GRPO und vorangegangene OPSD-Methoden (OPSD, SDPO, SRPO, RLSD) konsistent über alle Benchmarks hinweg.
- Auf Qwen3-8B erreichte RLCSD einen mean@12 von 90.8 auf AMC23 (gegenüber 90.1 für GRPO) und 77.5 auf AIME24.
- Bei Logischer Argumentation (OOD) zeigte RLCSD signifikante Gewinne und erreichte 81.8 pass@1 auf Knights & Knaves (4-8 Rollen) und 79.0 auf dem 9-Rollen OOD-Split, womit es GRPO deutlich übertraf.
Trainingsstabilität: Im Gegensatz zu konkurrierenden OPSD-Methoden, die eine Entropie-Explosion oder eine Verkürzung der Antwortlänge zeigten, behielt RLCSD eine stabile Entropie und Antwortlänge während des gesamten Trainings bei, vergleichbar mit GRPO.
Ablationsstudien:
- Das Entfernen des kontrastiven Mechanismus (Verwendung nur einseitiger Hinweise) führte zu Leistungseinbußen von 3,0–5,4 Punkten, was die Notwendigkeit des Kontrasts bestätigt.
- Das Entfernen der K-Marginalisierung oder das Zulassen von Self-Rollouts im Hint-Pool verschlechterte die Leistung, was das Design der Verfeinerungen validiert.
- Das Entfernen der Zwei-Pfad-Loss-Aggregation (Verwendung eines einzelnen globalen Durchschnitts) reduzierte die Leistung signifikant, was die Notwendigkeit beweist, die modulierten Tokens zu isolieren.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass RLCSD eine robuste Lösung für die Instabilität bietet, die die On-Policy Self-Distillation plagt. Durch die Isolierung des „aufgabenbezogenen“ Signals vom „Stil“-Rauschen, das durch privilegierte Konditionierung entsteht, ermöglicht RLCSD ein stabiles, hochperformantes Training von Reasoning-Modellen ohne den Speicher-Overhead eines separaten Lehrer-Modells.

Die Autoren behaupten bescheiden, dass das kontrastive Prinzip eine allgemeine Erkenntnis für die On-Policy Distillation ist. Es verbessert nicht nur den spezifischen RLCSD-Algorithmus, sondern dient auch als diagnostisches Werkzeug für die Auswahl von Lehrern in Cross-Model Distillation-Settings, in denen die Abstimmung der Argumentationsstile kritischer sein kann als die reine Kapazität. Die Arbeit legt nahe, dass zukünftige Distillationsmethoden die parasitären stilistischen Verschiebungen berücksichtigen und mildern müssen, die durch privilegierten Kontext induziert werden.