💬 NLP

Beyond Token-Level Policy Gradients for Complex Reasoning with Large Language Models

Die vorgestellte Arbeit schlägt Multi-token Policy Gradient Optimization (MPO) vor, ein Framework, das statt einzelner Token Sequenzen von K aufeinanderfolgenden Tokens als semantische Aktionen behandelt, um die Komplexität von Schlussfolgerungsaufgaben in großen Sprachmodellen besser zu erfassen und so die Leistung bei mathematischem und codierendem Denken zu verbessern.

Ursprüngliche Autoren: Mufan Xu, Kehai Chen, Xuefeng Bai, Zhengyu Niu, Muyun Yang, Tiejun Zhao, Min Zhang

Veröffentlicht 2026-02-17

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Mufan Xu, Kehai Chen, Xuefeng Bai, Zhengyu Niu, Muyun Yang, Tiejun Zhao, Min Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du unterrichtest einen sehr klugen, aber manchmal etwas verkrampften Schüler (das ist unser Künstliche Intelligenz-Modell) darin, komplexe Matheaufgaben zu lösen oder Code zu schreiben.

Bisher hat man diesen Schüler so trainiert: Ein Wort nach dem anderen.
Der Lehrer sagt: „Schreib das nächste Wort!" Der Schüler schreibt ein Wort, bekommt eine Rückmeldung, schreibt das nächste, bekommt wieder eine Rückmeldung. Das nennt man Token-Level-Optimierung.

Das Problem dabei ist: Denken passiert nicht Wort für Wort, sondern in Gedankenblöcken.

Wenn der Schüler eine Gleichung aufschreibt wie „ $x = 5$ ", ist das eine einzige logische Entscheidung. Aber für das Modell sind das drei getrennte Wörter: „x", "=", und „5". Wenn das Modell bei jedem einzelnen Wort eine eigene Entscheidung trifft, verliert es manchmal den roten Faden. Es könnte bei „x" eine gute Idee haben, bei „=" aber schon den Zusammenhang verlieren und bei „5" völlig danebenliegen. Es ist, als würde man einen Satz bauen, indem man jeden Buchstaben einzeln bewertet, anstatt den ganzen Wortlaut zu verstehen.

Die neue Idee: MPO (Multi-Token Policy Gradient Optimization)

Die Autoren dieses Papers haben eine clevere Lösung gefunden, die sie MPO nennen. Stell dir das so vor:

Statt den Schüler zu fragen: „Was kommt als Nächstes?" (Wort für Wort), sagen sie: „Schreib einen ganzen sinnvollen Gedankenblock!"

Statt nur ein Wort zu bewerten, betrachtet MPO einen Block von K Wörtern (z. B. 5 Wörter) als eine einzige Aktion.

Eine Analogie aus dem Alltag: Der Bauarbeiter

Der alte Weg (Token-Level): Ein Bauarbeiter legt einen Ziegel, wartet auf den Bauleiter, der sagt „Gut!", legt den nächsten Ziegel, wartet wieder... Das ist langsam und der Zusammenhalt der Mauer leidet, weil jeder Ziegel isoliert betrachtet wird.
Der neue Weg (MPO): Der Bauarbeiter nimmt eine ganze Mauer-Sektion (z. B. 5 Ziegel) und legt sie als Einheit hin. Der Bauleiter bewertet dann: „War das eine gute Sektion?" Wenn ja, bekommt der Arbeiter Lob für den ganzen Block. Wenn nein, weiß er, dass er den ganzen Block nochmal überdenken muss, nicht nur den letzten Ziegel.

Warum ist das besser?

Zusammenhalt (Kohärenz): Bei komplexen Aufgaben (wie Mathe oder Programmieren) hängen Wörter stark voneinander ab. Ein Variablenname, ein Gleichheitszeichen und eine Zahl gehören zusammen. MPO zwingt das Modell, diese Gruppe als eine Einheit zu betrachten. Es lernt, „Gedanken" zu planen, statt nur „Buchstaben" zu tippen.
Weniger Chaos: Wenn man nur Wort für Wort optimiert, kann das Modell in Panik geraten und bei jedem Schritt eine andere Richtung einschlagen. Indem man Blöcke bewertet, wird die Entscheidung stabiler und logischer.
Effizienz: Das Modell muss nicht bei jedem einzelnen Schritt neu überlegen, ob es auf dem richtigen Weg ist. Es plant einen kleinen Abschnitt voraus.

Was haben die Forscher herausgefunden?

Sie haben das MPO-Verfahren auf verschiedenen Tests (Mathe-Aufgaben wie GSM8K und MATH, sowie Programmieraufgaben wie HumanEval) getestet.

Das Ergebnis: Die Modelle, die mit MPO trainiert wurden, waren besser als die, die nur Wort für Wort trainiert wurden. Sie machten weniger Fehler und ihre Lösungen waren logischer.
Der Vergleich: Es ist wie der Unterschied zwischen jemandem, der versucht, ein Gedicht zu schreiben, indem er sich nur auf den nächsten Buchstaben konzentriert, und jemandem, der ganze Zeilen oder Strophen im Kopf hat, bevor er schreibt.

Zusammenfassung in einem Satz

Statt einem KI-Modell zu sagen: „Schreib das nächste Wort", sagt MPO: „Denke einen ganzen logischen Schritt nach und schreib ihn als Block auf", was zu klügeren und zusammenhängenderen Antworten führt.

Es ist ein kleiner, aber wichtiger Schritt weg von der „Buchstaben-zählenden" KI hin zu einer „Gedanken-strukturierenden" KI.

1. Problemstellung

Bestehende Methoden zur Policy-Gradient-Optimierung (wie PPO, GRPO, DAPO) bei autoregressiven Sprachmodellen behandeln die Generierung jedes einzelnen Tokens als separate Aktion. Während dies für viele Generierungsaufgaben effektiv ist, zeigt sich bei komplexen Reasoning-Aufgaben (z. B. mathematische Beweise oder Code-Generierung) eine fundamentale Diskrepanz:

Semantische Blöcke: Ein einzelner semantischer Entscheidungsschritt (z. B. das Definieren einer Variablen, das Aufstellen einer Gleichung oder das Schreiben einer Funktion) erstreckt sich oft über mehrere aufeinanderfolgende Tokens.
Granularitäts-Mismatch: Die Optimierung auf Token-Ebene zerlegt diese kohärenten semantischen Einheiten in isolierte lokale Vorhersagen. Dies führt zu einem Verlust der strukturellen Kohärenz und erschwert das Lernen von langfristigen Abhängigkeiten innerhalb eines Reasoning-Schritts.
Folge: Die Standard-Optimierung ignoriert die inhärente Block-Struktur des Reasonings, was zu inkonsistenten Zwischenschritten und suboptimalen Gesamtlösungen führen kann.

2. Methodik: Multi-Token Policy Gradient Optimization (MPO)

Um diese Lücke zu schließen, schlagen die Autoren MPO vor, ein Framework, das die Policy-Gradient-Optimierung von der Token-Ebene auf die Ebene semantischer Blöcke (K-fache Token-Sequenzen) hebt.

Kernkomponenten:

Block-Level-Aktionen: Anstatt jedes Token einzeln zu betrachten, fasst MPO $K$ aufeinanderfolgende Tokens zu einer einzigen semantischen Aktion zusammen.
Multi-Token Prediction (MTP) Module: Das Modell wird erweitert um zusätzliche MTP-Module (basierend auf DeepSeek-V3/R1 Architektur), die es dem Modell ermöglichen, nicht nur das nächste Token, sondern eine Sequenz von $K$ zukünftigen Tokens vorherzusagen. Diese Module werden initialisiert und durch ein Warm-up-Training (Supervised Fine-Tuning) stabilisiert, bevor das Reinforcement Learning beginnt.
Aggregierte Importance Sampling Ratio:
- Im klassischen PPO wird das Verhältnis $\frac{\pi_\theta(a_t|s_t)}{\pi_{\theta_{old}}(a_t|s_t)}$ für ein einzelnes Token berechnet.
- Bei MPO wird dieses Verhältnis über den Block von $K$ Tokens aggregiert. Um die Varianz der Schätzung zu kontrollieren (da ein einfaches Produkt der Wahrscheinlichkeiten zu hoher Varianz führt), verwenden die Autoren eine gewichtete Log-Summe-Formulierung (inspiriert von Log-COP-TD):
  $\tilde{R}^{(K)}_{i,t}(\theta) = \exp\left( \sum_{n=1}^{K} \beta_n \log r_{i,t+n}(\theta) \right)$
  wobei $\beta_n$ abklingende Gewichte sind, die die Bedeutung näherer Tokens betonen, aber auch zukünftige Informationen einbeziehen.
Optimierungsziel: Die Verlustfunktion (Surrogate Objective) wird angepasst, um diese blockbasierten Verhältnisse mit den geschätzten Vorteilen (Advantages) zu multiplizieren. Dies zwingt die Policy, kohärente Muster über mehrere Tokens hinweg zu optimieren, anstatt nur lokale Token-Vorhersagen zu verbessern.

Implementierungsdetails:

Die Backbone-Modelle (z. B. Llama3, DeepSeek-Distilled-Qwen) bleiben während des RL-Trainings eingefroren; nur die MTP-Module werden trainiert, um den Rechenaufwand zu begrenzen und Stabilität zu gewährleisten.
Ein kurzes Warm-up-Training der MTP-Module ist essenziell, um qualitativ hochwertige Multi-Token-Vorhersagen zu gewährleisten, bevor das RL-Training startet.

3. Wichtige Beiträge

Einführung von MPO: Ein neues Framework, das Policy-Gradient-Optimierung auf strukturierte Reasoning-Einheiten (Blöcke) statt auf isolierte Tokens ausdehnt.
Integration in Post-Training: Demonstration, wie Multi-Token-Optimierung nahtlos in den Post-Training-Prozess (RLHF/RL) von LLMs integriert werden kann, um die Kohärenz des Reasonings zu verbessern, ohne die Backbone-Architektur vollständig neu zu trainieren.
Empirische Überlegenheit: Nachweis, dass MPO Standard-Baselines (PPO, GRPO, DAPO) in komplexen Reasoning-Aufgaben übertrifft.

4. Ergebnisse

Die Autoren evaluierten MPO auf drei Benchmarks: GSM8K (Mathematik), MATH (Wettbewerbs-Mathematik) und HumanEval (Code-Generierung).

Leistung: MPO erzielte konsistent bessere Ergebnisse als die Baselines über verschiedene Modellgrößen (1B, 1.5B, 7B) hinweg.
- Auf GSM8K und MATH zeigten sich signifikante Genauigkeitssteigerungen (z. B. bei Llama3.2-1B auf GSM8K von 0.716 auf 0.882 im Vergleich zu PPO/GRPO).
- Auf HumanEval (Code) bestätigten sich die Vorteile, was zeigt, dass die Methode auch für programmierbezogene Aufgaben gilt, bei denen semantische Blöcke (Funktionen, Logik) entscheidend sind.
Stabilität: Die Analyse zeigte, dass MPO die Varianz der Importance-Sampling-Verhältnisse und den Anteil der „Clipping"-Ereignisse (wo Updates aufgrund zu großer Änderungen verworfen werden) während des Trainings reduziert. Dies führt zu einer stabileren Konvergenz.
Ablationsstudien:
- Eine Blockgröße von K=5 erwies sich als optimal.
- Ein moderater Anteil an Multi-Token-Informationen (ca. 10–20 % des Signals) führte zur besten Balance zwischen Bias-Reduktion und Varianzkontrolle. Zu hohe Gewichte führten zu Instabilität durch Rauschen in den Vorhersagen.
Effizienz: Der zusätzliche Rechenaufwand für MPO ist gering. Die Trainingszeit pro Iteration ist nur ca. 30 % höher als bei PPO, während der Speicherbedarf vergleichbar mit GRPO bleibt. Das Warm-up kostet nur einen vernachlässigbaren Bruchteil der Gesamttrainingszeit.

5. Bedeutung und Ausblick

Das Paper markiert einen methodischen Paradigmenwechsel in der Nachtrainingsphase von LLMs. Es zeigt, dass die reine Token-Granularität für komplexe Reasoning-Aufgaben unzureichend ist.

Semantische Kohärenz: MPO ermöglicht es Modellen, Reasoning-Schritte als ganzheitliche Einheiten zu planen, was die Konsistenz von Zwischenschritten (z. B. in mathematischen Herleitungen) verbessert.
Richtung für zukünftige Forschung: Die Arbeit motiviert die Forschung, über die Token-Ebene hinauszugehen und Policy-Learning auf semantisch strukturierte Entscheidungsebenen zu verlagern.
Limitationen: Die Methode ist derzeit auf die Wahl der Blockgröße $K$ und die Gewichtung der MTP-Module angewiesen. Zukünftige Arbeiten könnten effizientere Skalierungen für längere Blöcke oder Integrationen mit anderen Optimierungszielen (jenseits von PPO) untersuchen.

Zusammenfassend bietet MPO einen effektiven Weg, um die Reasoning-Fähigkeiten von LLMs durch eine strukturell bewusstere Optimierung zu steigern, ohne dabei die Effizienz oder Stabilität des Trainingsprozesses zu opfern.