🤖 machine learning

Complementing reinforcement learning with SFT through logit averaging in the post training of LLMs

Dieser Beitrag stellt eine neuartige Nachtrainierungsmethode für große Sprachmodelle vor, die die Group Relative Policy Optimization (GRPO) durch die Mittelung der Logits einer eingefrorenen SFT-Referenzrichtlinie und einer trainierbaren Richtlinie verbessert, wodurch die Notwendigkeit einer KL-Regularisierung oder eines Critics entfällt, während gleichzeitig die推理fähigkeiten des RL mit der Formatierungsstabilität des SFT effektiv kombiniert werden.

Ursprüngliche Autoren: Xingwei Gan, Ying Zhu

Veröffentlicht 2026-05-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xingwei Gan, Ying Zhu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Zwei Lehrer, ein Schüler

Stellen Sie sich vor, Sie trainieren ein großes Sprachmodell (eine KI), um Mathematikaufgaben zu lösen. Sie haben zwei unterschiedliche „Lehrer", die versuchen, es zu unterrichten:

Der Formatierungs-Lehrer (SFT): Dieser Lehrer ist hervorragend darin, der KI beizubringen, Antworten ordentlich zu schreiben, die richtigen Symbole zu verwenden und strikte Regeln einzuhalten (wie das Umranden der finalen Antwort). Allerdings macht dieser Lehrer manchmal Fehler in der eigentlichen mathematischen Logik.
Der Denk-Lehrer (RL): Dieser Lehrer ist ein Mathe-Genie, das komplexe Gleichungen perfekt lösen kann. Doch dieser Lehrer ist unordentlich; er vergisst oft, die Antwort zu umranden, überspringt Schritte oder schreibt in einem seltsamen Format, das nicht den Anforderungen der Prüfung entspricht.

Das Problem:
Traditionell, wenn man versucht, diese beiden zu kombinieren, verwendet man eine Methode namens „KL-Regularisierung". Stellen Sie sich dies wie ein Gummiband vor, das den Denk-Lehrer an den Formatierungs-Lehrer bindet. Das Gummiband zwingt den Denk-Lehrer, nah am Stil des Formatierungs-Lehrers zu bleiben.

Der Haken: Wenn der Formatierungs-Lehrer einen mathematischen Fehler macht, zieht das Gummiband den Denk-Lehrer in denselben Fehler hinein. Die KI bleibt stecken, versucht, „ordentlich" zu sein, scheitert aber daran, „klug" zu sein.

Die neue Lösung: Logit-Durchschnitt
Die Autoren dieses Papiers schlagen eine neue Art vor, diese Lehrer zu kombinieren. Anstatt sie mit einem Gummiband zusammenzubinden, erzeugen sie eine gemischte Stimme.

Stellen Sie sich die KI als Chor vor. Anstatt die Sänger zu zwingen, in perfekter Einmütigkeit zu bleiben (was ihren Umfang begrenzt), mischt die neue Methode ihre Stimmen, bevor sie singen.

Wenn der Formatierungs-Lehrer sagt: „Rahme die Antwort ein", und der Denk-Lehrer sagt: „Die Antwort ist 5", sagt die gemischte Stimme: „Rahme die Antwort ein: 5."
Wenn der Formatierungs-Lehrer einen mathematischen Fehler macht (und sagt, die Antwort sei 6), aber der Denk-Lehrer weiß, dass es 5 ist, lehnt sich die gemischte Stimme stark auf die Mathematik des Denk-Lehrers, behält aber die Anweisung des Formatierungs-Lehrers bei, sie „einzurahmen".

Wie es funktioniert (Die „Logit"-Magie)

In KI-Terminologie besteht die „Stimme" des Modells aus Zahlen, die Logits genannt werden (die angeben, wie wahrscheinlich es ist, dass das Modell als nächstes ein bestimmtes Wort oder eine bestimmte Zahl wählt).

Die Mischung: Die Forscher nehmen die Zahlen des Formatierungs-Lehrers und des Denk-Lehrers und mitteln sie mathematisch zusammen.
Das Ergebnis: Dies erzeugt eine neue, vorübergehende „gemischte Richtlinie".
Das Training: Die KI lernt, indem sie an dieser gemischten Richtlinie übt. Sie erhält eine Belohnung (Punkte), wenn die finale Antwort korrekt ist.
- Da der Formatierungs-Lehrer Teil der Mischung ist, vergisst die KI nie, wie man ordentlich schreibt.
- Da der Denk-Lehrer Teil der Mischung ist, ist die KI frei, die mathematischen Fehler des Formatierungs-Lehrers zu korrigieren.

Warum dies besser ist (Das „Produkt von Experten")

Das Papier verwendet ein Konzept namens „Produkt von Experten". Stellen Sie es sich wie eine Komitee-Entscheidung vor:

Wenn Experte A (Formatierung) sich über den Stil sicher ist und Experte B (Denken) sich über die Mathematik sicher ist, ist die endgültige Entscheidung in beiden Bereichen stark.
Wenn Experte A in der Mathematik falsch liegt, überwiegt das Vertrauen von Experte B, aber das Vertrauen von Experte A bezüglich des Stils bleibt erhalten.

Das Papier fand heraus, dass dieser Ansatz der „gemischten Stimme" besser funktioniert als die alte „Gummiband"-Methode. Die KI lernte, Mathematikaufgaben korrekt zu lösen und behielt ihre ordentliche Formatierung bei, während die alte Methode oft dazu führte, dass die KI vergaß, wie man korrekt formatiert, oder in den mathematischen Fehlern des Formatierungs-Lehrers stecken blieb.

Die Experimente

Die Forscher testeten dies an drei verschiedenen „Prüfungen" (Datensätzen):

MATH: Schwierige Mathematikaufgaben.
cn-k12: Chinesische Mittel- und Oberstufenmathematik.
MMLU: Allgemeinwissen und Schlussfolgerungen.

Sie testeten es an drei verschiedenen Größen von KI-Modellen (klein, mittel und groß).

Die Ergebnisse:

In fast allen Fällen erzielte die neue Methode der „gemischten Stimme" höhere Punktzahlen als die traditionelle Methode.
Sie war besonders gut darin, ein spezifisches Problem zu beheben: Die traditionelle Methode ließ die KI oft „vergessen", wie man Antworten formatiert, während sie lernte, schwierigere Mathematik zu lösen. Die neue Methode behielt die Formatierungsfähigkeiten intakt, während sie die mathematischen Fähigkeiten verbesserte.

Ein konkretes Beispiel aus dem Papier

Das Papier gibt ein spezifisches Beispiel einer Geometrie-Aufgabe:

Der Formatierungs-Lehrer (SFT): Stellt die Gleichung korrekt auf, macht aber einen mathematischen Fehler und kommt zu dem Schluss, dass der Radius 6 ist. Er rahmt die Antwort ordentlich ein.
Der Denk-Lehrer (RL): Berechnet die Mathematik korrekt, findet heraus, dass der Radius 5 ist, vergisst aber, die Antwort einzurahmen oder sie im endgültigen Format zu schreiben.
Die gemischte Stimme: Sie nimmt die korrekte Mathematik (5) vom Denk-Lehrer und die ordentliche Einrahmungs-Anweisung vom Formatierungs-Lehrer. Die endgültige Ausgabe ist eine ordentlich eingerahmte 5.

Zusammenfassung

Das Papier stellt eine Methode vor, KI-Modelle zu trainieren, die wie ein kooperatives Team funktioniert, anstatt wie eine strikte Hierarchie. Indem die „Gedanken" (Logits) eines ordentlichen, aber unordentlichen Lehrers und eines klugen, aber unordentlichen Lehrers mathematisch gemittelt werden, lernt die KI, sowohl klug als auch ordentlich zu sein, und vermeidet die Fallstricke, einen strikt dem anderen folgen zu lassen.

Technisches Fazit: Ergänzung von Reinforcement Learning durch SFT mittels Logit-Averaging

1. Problemstellung

Das Post-Training von Large Language Models (LLMs) stützt sich typischerweise auf zwei Paradigmen: Supervised Fine-Tuning (SFT) und Reinforcement Learning (RL) mit verifizierbaren Belohnungen (RLVR). Während SFT eine dichte Token-für-Token-Überwachung bietet, um Formatierung und Stil zu erlernen, ist es durch die Verteilung der Trainingsdemonstrationen begrenzt. Umgekehrt können RL-Methoden wie Proximal Policy Optimization (PPO) und Group Relative Policy Optimization (GRPO) diese verteilungsbedingten Grenzen überwinden, leiden jedoch unter spärlichen, verrauschten Belohnungssignalen.

Der Standardansatz kombiniert diese sequenziell: Zuerst wird SFT angewendet, gefolgt von RL mit einem Kullback-Leibler (KL)-Regularisierungsterm, $\beta \text{KL}(\pi_\theta \| \pi_{\text{sft}})$ , um die trainierbare Policy $\pi_\theta$ an die SFT-Referenz $\pi_{\text{sft}}$ zu ankern. Die Autoren identifizieren eine fundamentale Spannung in diesem „KL-verankerten" Rezept: Die KL-Strafe zieht $\pi_\theta$ in Richtung $\pi_{\text{sft}}$ , was die Policy potenziell auf die Einschränkungen des SFT-Checkpoints beschränkt (z. B. algebraische Fehler, Wiederholungsschleifen) und verhindert, dass sie die während des RL entwickelten Schlussfolgerungsfähigkeiten voll ausschöpft. Praktiker mildern dies oft durch die Wahl eines kleinen $\beta$ , doch die Autoren schlagen eine strukturelle Alternative zur Regularisierung vor.

2. Methodik

Die Arbeit stellt eine Methode vor, die die KL-Regularisierung durch Logit-Averaging ersetzt. Anstatt eine Divergenz zu bestrafen, werden die trainierbare Policy $\pi_\theta$ und eine eingefrorene Referenz-Policy $\pi_{\text{ref}}$ (z. B. SFT) durch Mittelung ihrer Logits zu einer gemischten Policy $\pi^{\text{mix}}_{\theta, \alpha}$ gekoppelt.

Kernmechanismus:
Gegeben ein Gewicht $\alpha \in [0, 1]$ und Zustand $s$ , sind die gemischten Logits $z^{\text{mix}}_{\theta, \alpha}(s)$ definiert als:
$z^{\text{mix}}_{\theta, \alpha}(s) = (1 - \alpha) z_\theta(s) + \alpha z_{\text{ref}}(s)$
Die gemischte Policy ist dann $\pi^{\text{mix}}_{\theta, \alpha}(a | s) = \text{softmax}(z^{\text{mix}}_{\theta, \alpha}(s))$ .

Trainingsziel:
Die Autoren passen das GRPO-Ziel an diese gemischte Policy an:

Rollouts: Trajektorien werden aus der gemischten Policy $\pi^{\text{mix}}_{\theta, \alpha}$ gesampelt, nicht aus der reinen trainierbaren Policy $\pi_\theta$ .
Vorteilsschätzung: Gruppenrelative Vorteile werden basierend auf Belohnungen aus diesen gemischten Rollouts berechnet.
Optimierung: Die trainierbaren Parameter $\theta$ werden aktualisiert, um die Belohnung unter der gemischten Policy zu maximieren. Die Referenz-Logits $z_{\text{ref}}$ bleiben währenddessen eingefroren.
Gewichtungsschemata:
1. Feste Gewichte: $\alpha$ bleibt während des Trainings konstant (z. B. $\alpha=0.5$ ).
2. Adaptive Gewichte: $\alpha$ wird dynamisch basierend auf einem zurückgehaltenen Validierungsset aktualisiert. Die Update-Regel verwendet eine „Netto-Gewinn"-Metrik, die die Korrektheit der reinen Policy mit der der gemischten Policy vergleicht, und schiebt $\alpha$ in Richtung 1, wenn das Mischen einen Netto-Gewinn bringt, und in Richtung 0, wenn nicht.

Vergleich mit RLVR:
Im Gegensatz zu Standard-RLVR-Methoden (PPO, GRPO, DAPO), die einen Critic und KL-Regularisierung verwenden, besitzt dieser Ansatz keinen KL-Term oder Critic. Die Referenz-Policy nimmt über Logit-Averaging an der Exploration teil, und die Importance-Ratios in der Verlustfunktion werden zwischen der aktuellen und der alten gemischten Policy berechnet.

3. Hauptbeiträge und Ergebnisse

Komplementäre Fähigkeiten (Muster 1 & 2):
Eine empirische Analyse über die Datensätze MATH, cn-k12 und MMLU hinweg zeigt, dass SFT und die RL-trainierte Policy komplementäre Fähigkeiten besitzen:

SFT glänzt bei der Formatierung (Einhaltung von Ausgabe-Vorlagen), versagt jedoch möglicherweise bei komplexem Schlussfolgern.
RL-Policy ( $\pi_\theta$ ) glänzt beim Schlussfolgern (Ableitung korrekter numerischer Antworten), verliert jedoch oft die Disziplin in der Formatierung.
Komplementarität: Ein signifikanter Anteil der Probleme (22 %–38 %) wird von genau einer der beiden Policies korrekt gelöst. Logit-Averaging wirkt als „Produkt von Experten" (Product of Experts) und kombiniert die Formatierungsstärke von SFT mit der Schlussfolgerungsstärke der RL-Policy.

Leistungsresultate:
Evaluiert an Qwen2.5-Instruct-Modellen (1,5B, 3B, 7B) über drei Datensätze hinweg:

Genauigkeit: Die Logit-Averaging-Methode erzielt in allen neun (Datensatz $\times$ Modellgröße)-Konfigurationen eine höhere oder vergleichbare Antwortgenauigkeit im Vergleich zum kanonischen KL-regulierten GRPO.
Ablation: Der Ersatz des SFT-Ankers durch ein Basis-Instruct-Modell führt zu signifikant geringerer Leistung, was bestätigt, dass die Gewinne aus der Mischung mit einer formatbewussten Referenz stammen.
Logit- vs. Wahrscheinlichkeits-Averaging: Logit-Averaging (geometrisches Mittel der Verteilungen) übertrifft Wahrscheinlichkeits-Averaging (arithmetisches Mittel). Logit-Averaging erzielt höhere Lösungsraten mit kleineren Mischungsgewichten und erreicht seinen Höhepunkt bei $\alpha=0.5$ , wohingegen Wahrscheinlichkeits-Averaging höhere Gewichte erfordert und bei $\alpha=0.6$ seinen Höhepunkt erreicht.

Theoretischer Zusammenhang:
Die Arbeit stellt fest, dass Logit-Averaging mathematisch äquivalent zu einem Produkt von Experten (POE) ist. Die resultierende Policy minimiert eine gewichtete Summe von KL-Divergenzen zu den RL- und Referenz-Policies. Diese Struktur ermöglicht es der Policy, Wahrscheinlichkeit auf Tokens zu konzentrieren, die von beiden Experten bevorzugt werden, und korrigiert effektiv algebraische Fehler von SFT, während deren Formatierungsbeschränkungen beibehalten werden.

4. Bedeutung und Behauptungen

Die Autoren behaupten, dass diese Methode einen deutlichen Vorteil gegenüber dem Standard-Rezept mit KL-Regularisierung bietet, indem sie den „Formatierungsanker" von der „Gradientenbeschränkung" entkoppelt.

Überwindung von Einschränkungen: Während KL-Regularisierung $\pi_\theta$ zwingt, nahe an $\pi_{\text{sft}}$ zu bleiben (und potenziell deren Schlussfolgerungsmängel zu erben), ermöglicht Logit-Averaging $\pi_\theta$ , die Einschränkungen der Referenz zu überwinden, während Formatierungsvorteile durch die strukturelle Kopplung der gemischten Policy erhalten bleiben.
Implizite Vertrauensregion: Das Mischen wirkt als implizite Vertrauensregion und verhindert die Verteilungsdrift weg von Formatierungsstilen, die reines RL im großen Maßstab oft plagt.
Dichte Priors: Im Gegensatz zu RL, das Signale nur vom finalen Belohnungstoken propagiert, integriert Logit-Averaging einen dichten, Token-level-Prior aus dem SFT-Anker bei jedem Decodierschritt.
Skalierbarkeit: Der Ansatz lässt sich natürlich auf Ensembles von Small Language Models (SLMs) erweitern und ermöglicht es einem System, spezialisierte Experten (z. B. für Code, Sicherheit oder Domänenbegriffe) zu nutzen, ohne die Kosten für das Training einer massiven einzelnen Policy.

Die Arbeit kommt zu dem Schluss, dass Logit-Averaging eine robuste Alternative zur KL-Regularisierung darstellt, die die Komplementarität zwischen SFT und RL erfolgreich nutzt, um die Genauigkeit des Schlussfolgerns zu verbessern, ohne die Qualität der Formatierung zu opfern.