🤖 machine learning

Joint Training of Multi-Token Prediction in Reinforcement Learning via Optimal Coefficient Calibration

Dieser Artikel schlägt die Optimal Coefficient Calibration (OCC) vor, ein adaptives Verfahren, das aus einer Optimierungsanalyse von Gradienteninteraktionen abgeleitet ist, um ein effektives gemeinsames Training von Multi-Token-Vorhersage und Reinforcement Learning aus verifizierbaren Belohnungen zu ermöglichen, wodurch frühere Leistungsverschlechterungen überwunden und überlegene Ergebnisse auf Benchmarks für mathematisches Schlussfolgern erzielt werden.

Ursprüngliche Autoren: Zili Wang, Jiajun Chai, Lin Chen, Xiaohan Wang, Shiming Xiang, Guojun Yin

Veröffentlicht 2026-05-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zili Wang, Jiajun Chai, Lin Chen, Xiaohan Wang, Shiming Xiang, Guojun Yin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Zwei Trainer, ein Athlet

Stellen Sie sich vor, Sie trainieren einen riesigen, superschlauen Roboter (ein Large Language Model), um schwierige Matheprobleme zu lösen.

Der Haupttrainer (RL): Dieser Trainer lehrt den Roboter, wie man gewinnt. Er betrachtet die Antworten des Roboters, gibt ein „Daumen hoch" für korrekte Lösungen und ein „Daumen runter" für falsche. Der Roboter lernt, das zu wiederholen, was funktioniert, und das zu stoppen, was nicht funktioniert. Dies nennt man Bestärkendes Lernen (Reinforcement Learning, RL).
Der Assistenztrainer (MTP): Dieser Trainer ist ein spezielles Modul, das versucht, die nächsten paar Wörter vorherzusagen, die der Roboter sagen wird, nicht nur das nächste. Dies nennt man Multi-Token-Vorhersage (Multi-Token Prediction, MTP). Es ist wie ein Trainer, der dem Roboter hilft, seine Sätze im Voraus zu planen.

Das Problem:
Früher versuchten Forscher, beide Trainer gleichzeitig den Roboter trainieren zu lassen. Aber etwas lief schief. Der Roboter begann, schlechter zu performen als wenn er nur den Haupttrainer gehabt hätte.

Aus diesem Grund entschieden die meisten Teams, den Assistenztrainer während der „Gewinn"-Trainingsphase zu feuern. Sie ließen den Assistenztrainer zuschauen, aber sie ließen den Rat des Assistenztrainers das Gehirn des Roboters nicht verändern. Sie „trennten" den Assistenztrainer ab.

Die Frage:
Die Autoren dieses Papiers fragten: Warum schadet es dem Roboter, beide Trainer zu haben? Können wir es so reparieren, dass beide Trainer zusammenarbeiten können, ohne das Training zu ruinieren?

Die Diagnose: Das „Ziehen und Drücken"-Problem

Die Autoren betrachteten die Mathematik hinter dem Training und fanden die Antwort. Sie stellten fest, dass, wenn der Assistenztrainer versucht, Ratschläge zu geben, zwei entgegengesetzte Kräfte auf das Gehirn des Roboters wirken:

Der hilfreiche Schub (Korrelation): Manchmal zeigt der Rat des Assistenztrainers in die gleiche Richtung wie der des Haupttrainers. Das ist gut! Es ist wie zwei Personen, die ein Auto in die gleiche Richtung schieben.
Das nervige Wackeln (Strafe): Manchmal ist der Rat des Assistenztrainers nur „Rauschen". Er drückt das Gehirn des Roboters in zufällige Richtungen, die beim Gewinnen nicht helfen. Das ist wie jemand, der das Auto schüttelt, während Sie versuchen, es zu fahren.

Warum die alten Methoden scheiterten:

Methode A (Abtrennen): Sie schalteten den Schub des Assistenztrainers aus. Sicher, aber sie verpassten den „hilfreichen Schub".
Methode B (Cross-Entropy): Sie ließen den Assistenztrainer drücken, aber der Assistenztrainer versuchte, dem Roboter beizubringen, jedes Wort gleich vorherzusagen, sogar die falschen. Dies erzeugte viel „Wackeln" und sehr wenig „Schub". Der Roboter wurde verwirrt und wurde schlechter.
Methode C (Policy Loss): Sie sagten dem Assistenztrainer, er solle dieselben „Gewinn"-Regeln wie der Haupttrainer verwenden. Anfangs funktionierte das großartig! Der „Schub" war stark. Aber als der Roboter besser wurde, begannen die beiden Trainer leicht zu widersprechen. Das „Wackeln" blieb gleich, aber der „hilfreiche Schub" wurde schwächer. Schließlich übernahm das Wackeln, und die Leistung des Roboters brach zusammen.

Die Analogie:
Stellen Sie sich vor, Sie versuchen, auf einem Seil zu laufen (das RL-Training).

Abtrennen ist, allein zu laufen. Sicher, aber langsam.
Altes gemeinsames Training ist, einen Freund an der Hand zu haben, der aber betrunken ist. Er zieht Sie vom Seil.
Das „Ansteigen und Abfallen"-Problem ist, einen nüchternen Freund zu haben, der Ihnen am Anfang hilft, aber sobald Sie müde werden, fängt er an, Sie in die falsche Richtung zu ziehen, was dazu führt, dass Sie fallen.

Die Lösung: Der „Smarte Regler" (OCC)

Die Autoren stellten fest, dass das Problem nicht darin bestand, dass der Assistenztrainer schlecht war; es war, dass die Lautstärke seiner Stimme auf einem festen Niveau feststeckte.

Früh im Training: Der Assistenztrainer ist sehr hilfreich. Wir sollten seine Lautstärke hochdrehen.
Spät im Training: Der Assistenztrainer beginnt, eine Ablenkung zu werden. Wir sollten seine Lautstärke runterdrehen.

Sie schufen ein neues System namens Optimale Koeffizienten-Kalibrierung (Optimal Coefficient Calibration, OCC).

Wie es funktioniert (Die kreative Metapher):
Stellen Sie sich OCC als einen intelligenten Thermostaten für den Trainingsprozess vor.

Anstatt die Temperatur (das Trainingsgewicht) auf eine feste Zahl einzustellen, überprüft der Thermostat ständig den Raum.
Er verwendet einen „Proxy" (einen schnellen, günstigen Sensor), um zu prüfen, ob der Assistenztrainer gerade hilft oder schadet.
Wenn der Assistenztrainer in die richtige Richtung drückt, dreht der Thermostat die Lautstärke hoch.
Wenn der Assistenztrainer beginnt abzudriften und Rauschen zu verursachen, dreht der Thermostat die Lautstärke runter.

Dies geschieht automatisch, Schritt für Schritt, ohne dass man anhalten und komplexe Mathematik berechnen muss, die alles verlangsamen würde.

Die Ergebnisse: Ein glückliches Ende

Die Autoren testeten diesen neuen „Smarten Regler" an sechs schwierigen Mathe-Wettbewerben (wie dem AIME und der Olympiade).

Es schlug die alten Methoden: Der Roboter, der mit dem „Smarten Regler" (OCC) trainiert wurde, löste mehr Probleme als der Roboter, der nur mit dem Haupttrainer (Abtrennen) trainiert wurde.
Es reparierte den Absturz: Im Gegensatz zur „Policy Loss"-Methode, die stark begann und dann versagte, blieb die OCC-Methode vom ersten Schritt bis zum letzten stark.
Es war schnell: Der „Smart Regler" verlangsamte das Training nicht. Es war genauso schnell wie die alte „Abtrennen"-Methode, da es einen cleveren Shortcut verwendete, um die Lautstärke zu überprüfen, anstatt schwere Berechnungen durchzuführen.

Zusammenfassung

Das Papier beweist, dass man einen Roboter mit einem Haupttrainer und einem Assistenztrainer trainieren kann, aber man kann sie nicht einfach auf einer festen Einstellung lassen. Man braucht ein dynamisches System, das den Trainingsprozess hört und den Einfluss des Assistenztrainers in Echtzeit anpasst. Wenn sie dies tun, lernt der Roboter besser und schneller als je zuvor.

Technische Zusammenfassung: Gemeinsames Training von Multi-Token-Vorhersage im Reinforcement Learning durch optimale Koeffizientenkalibrierung

Problemstellung

Reinforcement Learning from Verifiable Rewards (RLVR) hat sich zum Standardparadigma zur Verbesserung der reasoning-Fähigkeiten von Large Language Models (LLMs) entwickelt. Parallel dazu hat sich Multi-Token Prediction (MTP), ein während des Pretrainings trainiertes Hilfsziel zur Vorhersage mehrerer zukünftiger Tokens, als vorteilhaft für die Stichprobeneffizienz und als Entwurfsmodell für spekulatives Decodieren erwiesen.

Intuitiv sollte die gemeinsame Optimierung von MTP und RL-Zielen während des Post-Trainings es Modellen ermöglichen, von der Multi-Token-Überwachung zu profitieren und gleichzeitig reasoning-Fähigkeiten zu erwerben. Empirische Belege zeigen jedoch, dass das gemeinsame MTP-RL-Training oft zu einer signifikanten Leistungsverschlechterung des Hauptmodells führt. Folglich trennen aktuelle Praktiken (z. B. in Frameworks wie veRL und slime) die MTP-Gradienten während des RL-Trainings typischerweise vom Hauptmodell ab. Diese Trennung zwingt die MTP-Parameter, sich nur durch unabhängiges nachträgliches Fine-Tuning anzupassen, wodurch die potenziellen Gewinne aus einer simultanen Multi-Token-Überwachung geopfert werden. Das behandelte Kernproblem lautet: Warum scheitert das gemeinsame MTP-RL-Training, und kann eine prinzipielle Strategie entwickelt werden, um ein effektives gemeinsames Training zu ermöglichen?

Methodik

Theoretische Analyse

Die Autoren nähern sich dem Problem aus einer Optimierungsperspektive und analysieren den schrittweisen Effekt von MTP auf das RL-Ziel $J(\theta)$ . Unter der Annahme einer $L$ -glatten Zielfunktion leiten sie eine untere Schranke für die schrittweise Verbesserung her. Diese Zerlegung zeigt, dass der Effekt von MTP durch zwei konkurrierende Terme bestimmt wird:

Erstordnungs-Korrelationsterm: Bestimmt durch die gerichtete Übereinstimmung (Skalarprodukt) zwischen dem RL-Gradienten ( $g_{RL}$ ) und dem MTP-Gradienten ( $g_{MTP}$ ).
Zweitordnungs-Störungsstrafe: Ein nicht-positiver Term, der die Störung widerspiegelt, die durch die Größe des MTP-Gradienten eingeführt wird.

Eine Leistungsverbesserung tritt nur ein, wenn der Korrelationsterm die Strafterme überwiegt.

Analyse bestehender Regime

Mittels dieser Zerlegung vereint und erklärt die Arbeit drei bestehende Trainingsregime:

Detach: $g_{MTP} = 0$ bezüglich des Hauptmodells. $\Delta_{MTP} = 0$ . Dies ist sicher, verzichtet jedoch auf potenzielle Gewinne.
Cross-Entropy (CE) Loss: Der Korrelationsterm ist im Erwartungswert nahe null, da RL hochbelohnte Stichproben hochgewichtet, während CE alle Stichproben gleich behandelt. Folglich dominiert die negative Zweitordnungs-Strafe und führt zu einer Verschlechterung.
Policy Loss: Verwendet dieselbe RL-Zielformulierung für MTP. Anfangs sind die Gradienten ausgerichtet, und der Korrelationsterm dominiert, was Gewinne erzielt. Wenn das Training jedoch fortschreitet und das Modell flache Regionen der Loss-Landschaft erreicht, nimmt die Korrelation ab, während die Gradientennorm (und somit die Strafe) bestehen bleibt. Dies führt zu einer „Anstieg-und-Abfall"-Leistungskurve, bei der ein fester Koeffizient den Phasenübergang nicht verfolgen kann.

Vorgeschlagene Lösung: Optimal Coefficient Calibration (OCC)

Um den Phasenübergang zu adressieren, schlagen die Autoren Optimal Coefficient Calibration (OCC) vor, ein adaptives Schema, das den optimalen MTP-Koeffizienten ( $\lambda$ ) online verfolgt.

Geschlossene Form des Optimums: Die Analyse liefert einen geschlossenen Ausdruck für das optimale $\lambda^*$ zu jedem Schritt, der proportional zum Verhältnis der Gradientenkorrelation ( $c$ ) zur quadrierten Gradientennorm ( $v^2$ ) ist.
Log-Wahrscheinlichkeits-Proxy: Die Berechnung von Vollmodell-Gradienten für $c$ $c$ und $v^2$ $v^{2}$ ist in großskaligen verteilten Systemen prohibitiv teuer. OCC nutzt einen Log-Wahrscheinlichkeits-Proxy, der aus der Änderung der Log-Wahrscheinlichkeit unter Updates mit kleinen Schritten abgeleitet wird ( $\delta \approx \log \pi_\theta - \log \pi_{old}$ $δ \approx lo g π_{θ} - lo g π_{o l d}$ ).
- Ausrichtungs-Proxy ( $\hat{c}_t$ ): Schätzt das Skalarprodukt.
- Varianz-Proxy ( $\hat{v}^2_t$ ): Schätzt die quadrierte Norm.
Adaptives Update: Der Koeffizient wird aktualisiert als $\lambda_t = \lambda_+ \cdot \frac{\hat{c}_t}{\hat{v}^2_t + \epsilon}$ . Dies ermöglicht es OCC, das Gewicht von MTP dynamisch anzupassen, positive Gewinne während des gesamten Trainings aufrechtzuerhalten, ohne Vollmodell-Gradienten zu berechnen.

Hauptbeiträge

Theoretische Vereinheitlichung: Die Arbeit liefert eine theoretische Analyse, die die Regime Detach, Cross-Entropy und Policy Loss vereint und ihren Erfolg oder Misserfolg basierend auf dem Zusammenspiel von Erstordnungs-Korrelation und Zweitordnungs-Störung erklärt.
OCC-Algorithmus: Sie schlägt Optimal Coefficient Calibration vor, ein adaptives Verfahren, das den MTP-Koeffizienten online unter Verwendung eines Log-Wahrscheinlichkeits-Proxy kalibriert. Diese Methode erfordert vernachlässigbaren Rechenaufwand und vermeidet die Berechnung von Vollmodell-Gradienten.
Empirische Validierung: Umfassende Experimente an mehreren Modellen (MiMo-7B, GLM-4.5-Air) und Algorithmen (DAPO, GSPO) auf Wettbewerbsniveau für mathematische Reasoning-Benchmarks zeigen, dass OCC die Detach-Baseline konsistent einholt oder übertrifft.

Experimentelle Ergebnisse

Die Autoren evaluierten OCC an sechs Benchmarks: AIME24, AIME25, AMC, MATH, Minerva und OlympiadBench.

Leistung: Über alle Benchmarks und Modellgrößen hinweg (7B dicht und 106B MoE) übertraf OCC konsistent die Detach-Baseline und den Policy Loss mit festem Koeffizienten.
- Auf MiMo-7B mit DAPO erreichte OCC eine durchschnittliche Genauigkeit von 61,7 % und übertraf damit Detach (58,9 %) und Policy Loss (57,4 %).
- Auf GLM-4.5-Air erreichte OCC eine durchschnittliche Genauigkeit von 67,6 % gegenüber 65,9 % für Detach.
Trainingsdynamik: Während Policy Loss einen Anstieg-und-Abfall-Trend zeigte (Verschlechterung in späteren Phasen), hielt OCC stabile Verbesserungen während des gesamten Trainings aufrecht. CE Loss schnitt im Vergleich zu Detach konsistent schlechter ab.
Effizienz: OCC führte zu vernachlässigbarem Overhead. Die Wandzeit pro Schritt für OCC (8,07 s) war mit Detach (8,11 s) vergleichbar, während die Backpropagation im Vollmodell 45,06 s benötigte (eine Verlangsamung um den Faktor 5,6).
Ablation: Die Sensitivitätsanalyse zeigte, dass der vordefinierte Skalierungsfaktor $\lambda_+$ über einen Bereich von Werten robust ist, wobei $\lambda_+ = 1,0$ die beste durchschnittliche Leistung erbrachte.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass das Scheitern des gemeinsamen MTP-RL-Trainings nicht inhärent ist, sondern auf eine Diskrepanz zwischen statischen Koeffizienten und der dynamischen Drift der Gradientenausrichtung während des Trainings zurückzuführen ist. Durch die Bereitstellung einer theoretischen Zerlegung der Optimierungslandschaft und den Vorschlag von OCC demonstrieren die Autoren, dass MTP sicher wieder in das RL-Post-Training eingeführt werden kann.

Die Bedeutung liegt darin, Modellen zu ermöglichen, gleichzeitig reasoning-Fähigkeiten via RL zu erwerben und Multi-Token-Repräsentationen zu nutzen, ohne Leistungseinbußen oder prohibitiv hohe Rechenkosten in Kauf nehmen zu müssen. Die Arbeit legt nahe, dass adaptive Kalibrierung für gemeinsames Training in nicht-konvexen Deep-Learning-Landschaften unerlässlich ist und eine prinzipielle Alternative zum aktuellen Industriestandard der Gradiententrennung bietet.

Einschränkungen

Die Autoren weisen darauf hin, dass ihre theoretische Analyse auf $L$ -Glattheitsannahmen beruht, die in nicht-konvexen Landschaften möglicherweise nicht exakt gelten, und somit qualitative statt quantitative Leitlinien bietet. Der Log-Wahrscheinlichkeits-Proxy ist eine Näherung erster Ordnung, die bei großen Lernraten an Genauigkeit verlieren kann. Darüber hinaus konzentrieren sich die Experimente auf mathematisches Reasoning mit verifizierbaren Belohnungen; eine Verallgemeinerung auf Szenarien wie RLHF mit gelernten Belohnungsmodellen oder offene Generierung muss noch validiert werden.