💬 NLP

LamPO: A Lambda Style Policy Optimization for Reasoning Language Models

LamPO ist eine neuartige Methode zur Politikoptimierung für sprachbasierte Reasoning-Modelle, die das Reinforcement Learning mit verifizierbaren Belohnungen verbessert, indem sie skalare Gruppenvorteile durch einen paarweise zerlegten Vorteil ersetzt, um feingranulare relationale Informationen zu bewahren, wodurch im Vergleich zu bestehenden Ansätzen wie GRPO ein stabileres Training und überlegene Leistung auf mathematischen und wissenschaftlichen Benchmarks erreicht wird.

Ursprüngliche Autoren: Zhe Yuan, Yipeng Zhou, Jinghan Li, Xinyuan Chen, Bowen Deng, Zhiqian Chen, Liang Zhao

Veröffentlicht 2026-05-21

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zhe Yuan, Yipeng Zhou, Jinghan Li, Xinyuan Chen, Bowen Deng, Zhiqian Chen, Liang Zhao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen Schüler darin, komplexe Mathematikaufgaben zu lösen. Sie geben ihm eine Frage, und er kommt mit acht verschiedenen Lösungsversuchen zurück.

Bei der alten Lehrmethode (genannt GRPO) würden Sie alle acht Antworten betrachten, die „durchschnittliche" Punktzahl berechnen und dem Schüler dann sagen: „Du hast besser als der Durchschnitt abgeschnitten, also gut gemacht!" oder „Du hast schlechter als der Durchschnitt abgeschnitten, also versuche es noch einmal."

Das Problem bei diesem Ansatz ist, dass er den „Durchschnitt" als einzelne Zahl behandelt. Er vergisst die Details. Wenn der Schüler eine Antwort hatte, die fast perfekt war, und eine andere, die völlig falsch war, sieht die alte Methode sie einfach als „über dem Durchschnitt" und „unter dem Durchschnitt". Sie verliert die Nuance, wie viel besser die eine als die andere war.

LamPO ist eine neue, intelligentere Methode, um diese KI-Schüler zu unterrichten. So funktioniert es, unter Verwendung einfacher Analogien:

1. Das „Kopf-an-Kopf"-Turnier (Pairwise Decomposed Advantage)

Anstatt jede Antwort mit einem langweiligen Durchschnitt zu vergleichen, setzt LamPO die Antworten in ein Turnier. Es nimmt jedes mögliche Paar von Antworten und vergleicht sie direkt.

Der alte Weg: „Du liegst 2 Punkte über dem Klassendurchschnitt."
Der LamPO-Weg: „Deine Antwort hat Antwort B um 5 Punkte geschlagen, aber Antwort C hat dich um 2 Punkte geschlagen."

LamPO betrachtet die Lücke zwischen jedem einzelnen Paar von Antworten. Wenn die Antwort des Schülers nur geringfügig besser als eine falsche ist, gibt LamPO einen kleinen Anstoß. Wenn sie viel besser ist, gibt es einen großen Schub. Dies bewahrt die „relationalen Informationen" – es weiß genau, wer wen geschlagen hat und um wie viel.

2. Das „Vertrauensmessgerät" (Gewichtung)

Manchmal ist der KI-Schüler bei seinen Antworten sehr unsicher. LamPO verfügt über ein spezielles „Vertrauensmessgerät".

Wenn die KI sehr zuversichtlich ist, dass Antwort A besser ist als Antwort B, hört LamPO diesem Vergleich genau zu.
Wenn die KI verwirrt ist und annimmt, dass sie etwa gleichwertig sind, behandelt LamPO diesen Vergleich mit geringerer Gewichtung.

Es ist wie ein Trainer, der einem Spieler, der zu 100 % von seiner Strategie überzeugt ist, genauer zuhört, und weniger genau, wenn der Spieler nur rät.

3. Das „Hinweise-System" (Dense Auxiliary Reward)

Normalerweise erhält man in Mathematik oder Programmierung am Ende nur ein Signal „Richtig" oder „Falsch". Das ist wie ein Lehrer, der „Falsch" sagt, ohne dir zu sagen, wo du falsch lagst.

LamPO fügt ein „Hinweise-System" hinzu, wenn der Lehrer den richtigen Lösungsschlüssel hat. Es verwendet ein Werkzeug namens ROUGE-L (das wie ein „Wort-Überlappungs-Checker" funktioniert), um zu sehen, wie sehr der Denkprozess des Schülers dem richtigen ähnelt.

Selbst wenn die Endantwort falsch ist, wenn die Schritte des Schülers zu 80 % den korrekten Schritten ähneln, gibt LamPO ihm einen kleinen „Bonuspunkt" dafür, dass er auf dem richtigen Weg war. Dies verhindert, dass der Schüler durch eine totale „Null"-Punktzahl entmutigt wird.

Die Ergebnisse: Eine sanftere Fahrt

Die Studie testete diese neue Methode (LamPO) gegen die alte Methode (GRPO) an schwierigen Mathematik- und Wissenschaftsrätseln (wie den AIME- und MATH-Datensätzen).

Bessere Noten: Die mit LamPO trainierten KI-Modelle erzielten bei diesen Tests höhere Punktzahlen.
Weniger Drama: Der Trainingsprozess war viel glatter. Die alte Methode verursachte manchmal, dass die KI wild zwischen guter und schlechter Leistung schwankte (wie eine Achterbahn). LamPO hielt das Lernen stabil, wie eine ruhige Auffahrt im Aufzug.
Effizienz: Die KI lernte schneller und benötigte weniger Versuche, um die Aufgaben gut zu beherrschen.

Der Haken (Einschränkungen)

Es gibt einen kleinen Preis für diese Methode. Da LamPO jede Antwort mit jeder anderen Antwort vergleicht (wie ein Rundenturnier), benötigt es etwas mehr Rechenleistung, um all diese Paare zu berechnen. Die Studie stellt jedoch fest, dass für die verwendeten Gruppengrößen diese Kosten sehr gering waren und den Gewinn wert waren.

Zusammenfassend: LamPO ist eine intelligentere Coaching-Methode für KI. Anstatt nur den Klassendurchschnitt zu betrachten, betrachtet sie jedes Kopf-an-Kopf-Matchup, hört dem Vertrauen der KI zu und gibt unterwegs hilfreiche Hinweise. Dies führt zu intelligenteren, stabileren Reasoning-Modellen.

Technische Zusammenfassung: LamPO – Eine Lambda-artige Policy-Optimierung für reasoning-fähige Sprachmodelle

Problemstellung

Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) hat sich als dominantes Paradigma zur Verbesserung der Reasoning-Fähigkeiten von Large Language Models (LLMs) bei Aufgaben wie Mathematik, Programmierung und wissenschaftlicher Beantwortung von Fragen etabliert. Während Group Relative Policy Optimization (GRPO) zu einem Standard geworden ist, der als kritikerfreie Alternative zu PPO durch die Normalisierung von Belohnungen innerhalb einer Stichprobengruppe fungiert, leidet es unter einer kritischen Einschränkung: Informationskompression.

GRPO fasst jede Gruppe von Stichprobenantworten zu skalaren Statistiken (Mittelwert und Standardabweichung) zusammen, um Vorteile (Advantages) zu berechnen. Dieser Ansatz verwirft feingranulare relationale Informationen zwischen den Kandidatenantworten. Bei Reasoning-Aufgaben, bei denen sich Lösungen nur subtil in der Qualität unterscheiden können (z. B. teilweise korrekt vs. nahezu korrekt), kann eine skalare Baseline lediglich anzeigen, ob eine Antwort über oder unter dem Gruppenmittelwert liegt. Sie versagt darin, explizit zu bewahren, welche spezifischen Antworten ein Kandidat übertroffen hat und in welchem Ausmaß. Diese Einschränkung ist besonders schwerwiegend bei spärlichen binären Belohnungen, wo viele falsche Trajektorien identisches Feedback erhalten, was zu einer schwachen Kreditvergabe führt.

Methodik

Die Autoren schlagen LamPO (Lambda-Style Policy Optimization) vor, eine Methode, die entwickelt wurde, um die Effizienz der kritikerfreien Optimierung beizubehalten und gleichzeitig die verlorene relationale Struktur innerhalb von Antwortgruppen wiederherzustellen.

1. Paarweise dekomponierter Vorteil (Pairwise Decomposed Advantage, PDA)

Anstatt einen skalaren Vorteil basierend auf Gruppenstatistiken zu berechnen, ersetzt LamPO den gruppenrelativen Vorteil durch einen Pairwise Decomposed Advantage. Für eine Antwort $o_i$ innerhalb einer Gruppe der Größe $G$ wird der Vorteil $A_\lambda(o_i)$ als Durchschnitt der paarweisen Belohnungslücken berechnet, gewichtet mit einem Konfidenzfaktor:

$A_\lambda(o_i) = \frac{1}{G - 1} \sum_{j \neq i} (R(o_i) - R(o_j)) \sigma\left(\frac{\Delta s_{ij}}{\tau}\right)$

Wobei:

$R(o_i) - R(o_j)$ die paarweise Belohnungslücke darstellt und die Lernrichtung vorgibt.
$\Delta s_{ij} = \log \pi_{\theta_{old}}(o_i | q) - \log \pi_{\theta_{old}}(o_j | q)$ die Differenz der Sequenz-Log-Wahrscheinlichkeiten unter der alten Policy ist.
$\sigma(\cdot)$ die logistische Sigmoid-Funktion ist, die als konfidenzbewusstes Gewicht fungiert.
$\tau$ ein Temperaturparameter ist, der die Empfindlichkeit der Gewichtung gegenüber Unterschieden in den Log-Wahrscheinlichkeiten steuert.

Diese Formulierung aggregiert paarweise Vergleiche und bewahrt so Rangordnungsinformationen innerhalb der Gruppe. Die Gewichtung stellt sicher, dass Vergleiche, bei denen die Policy konfidenter ist (größere Log-Wahrscheinlichkeitsdifferenz), signifikant mehr zum Update beitragen.

2. Policy-Zielfunktion

LamPO behält die PPO-artige abgeschnittene Surrogat-Zielfunktion und die kritikerfreie Struktur von GRPO bei. Der Standardvorteil $\hat{A}_i$ wird in der abgeschnittenen Zielfunktion einfach durch den berechneten PDA $A_\lambda(o_i)$ ersetzt. Die vollständige Zielfunktion umfasst einen KL-Regularisierungsterm gegen eine Referenz-Policy $\pi_{ref}$ .

3. Dichte Referenz-Überlappungs-Belohnung

Um die Belohnungssparsamkeit zu adressieren, wenn Referenzlösungen verfügbar sind, führt LamPO eine leichte auxiliary Belohnung basierend auf ROUGE-L ein.

Die endgültige Belohnung ist eine lineare Kombination: $R(o_i) = R_{ext}(o_i) + \lambda_{sem} R_{sem}(o_i)$ .
$R_{ext}$ ist die spärliche verifizierbare Korrektheits-Belohnung (0 oder 1).
$R_{sem}$ ist der ROUGE-L F1-Score zwischen der generierten Spur (Trace) und der Referenzlösung.
$\lambda_{sem}$ steuert die Stärke dieses dichten Signals.

Diese auxiliary Belohnung liefert sequenzbewusste Überlappungssignale, die das spärliche Korrektheitssignal ergänzen, ohne es zu ersetzen.

Hauptbeiträge

Identifikation einer Einschränkung: Das Papier identifiziert den Verlust von relationalen Informationen innerhalb der Gruppe in skalaren Baseline-basierten gruppenrelativen Optimierungen als einen wesentlichen Engpass in RLVR für Reasoning-Aufgaben.
LamPO-Algorithmus: Eine neuartige, kritikerfreie Policy-Optimierungsmethode, die paarweise dekomponierte Vorteile mit konfidenzbewusster Gewichtung nutzt, um Rangordnungsinformationen innerhalb von Stichprobengruppen zu bewahren.
Integration einer auxiliary Belohnung: Ein einfacher, effektiver Mechanismus zur Verringerung der Belohnungssparsamkeit mittels ROUGE-L-basierter Überlappung, wenn Referenz-Reasoning-Spuren verfügbar sind.
Empirische Validierung: Nachgewiesene konsistente Verbesserungen gegenüber GRPO und aktuellen RLVR-Varianten (DAPO, GSPO, SAPO) über mehrere Benchmarks und Modellfamilien hinweg.

Experimentelle Ergebnisse

Die Autoren evaluierten LamPO auf vier Reasoning-Benchmarks: AIME24, AIME25, MATH-500 und GPQA-Diamond, unter Verwendung von drei Modell-Backbones: Qwen3-1.7B, Qwen3-4B und Phi-4-mini.

Leistung: LamPO schnitt bei allen Modellgrößen konsistent besser ab als GRPO und andere Baselines (CoT, SimpleRL-Zoo, PRIME, RLPR, DAPO, GSPO).
- Auf Qwen3-1.7B erreichte LamPO die höchste Durchschnittspunktzahl (53,60), mit bemerkenswerten Gewinnen bei Wettbewerbs-artigen Mathematikaufgaben (AIME24: 46,67 gegenüber GRPOs 42,08).
- Auf Qwen3-4B verbesserte LamPO die Durchschnittspunktzahl um 1,69 Punkte gegenüber GRPO (77,09 vs. 75,40).
- Auf Phi-4-mini zeigte LamPO ähnliche Gewinne, was darauf hindeutet, dass die Methode nicht an eine bestimmte Modellfamilie gebunden ist.
Trainingsdynamik: Trainingskurven zeigten, dass LamPO im Vergleich zu GRPO glattere Belohnungsverbesserungen und stabilere Abschlusslängen erzeugt. Diese Stabilität wird dem strukturierten Signal zugeschrieben, das durch paarweise Lücken bereitgestellt wird, welches oszillierende Updates reduziert, die durch hochvarianzskalare Normalisierung verursacht werden, insbesondere bei kleineren Modellen.
Ablationsstudien:
- Temperatur ( $\tau$ ): Ein Wert von $\tau=1,5$ erzielte die besten Ergebnisse. Niedrigere Werte ( $\tau=0,5$ ) machten die Gewichtung zu empfindlich, während höhere Werte ( $\tau=5,0, 7,0$ ) die Gewichtung zu stark glätteten und die paarweise Diskriminierung abschwächten.
- Semantische Belohnung: Das Entfernen der dichten auxiliary Belohnung ( $\lambda_{sem}=0,0$ ) reduzierte die Leistung, was bestätigt, dass die Formgebung durch Referenz-Überlappung die Sample-Effizienz unter spärlichen Belohnungen verbessert.

Bedeutung und Behauptungen

Das Papier behauptet, dass LamPO einen effektiveren Mechanismus zur Kreditvergabe für Reasoning-Aufgaben bietet, bei denen die Lösungsqualität subtil variiert. Durch den Wechsel von skalaren Gruppenstatistiken zu paarweise dekomponierten Vorteilen bietet LamPO ein reichhaltigeres Lernsignal, das die relative Ordnung von Kandidatenantworten explizit nutzt.

Die Autoren betonen, dass LamPO die Recheneffizienz und Stabilität des GRPO-Rahmens beibehält (da es kritikerfrei ist und abgeschnittene Updates verwendet), während es die spezifische Schwäche des Informationsverlusts in gruppenrelativen Methoden adressiert. Die Integration einer leichten ROUGE-L-Belohnung verbessert die Trainingseffizienz weiter, wenn Referenzdaten verfügbar sind, ohne die Abhängigkeit von verifizierbarer Korrektheit zu beeinträchtigen.

Anerkannte Einschränkungen:

Rechenkosten: Der paarweise Vergleich führt zu einer Komplexität von $O(G^2)$ relativ zur Gruppengröße $G$ , was jedoch für typische Gruppengrößen in RLVR als vernachlässigbar angesehen wird.
Zuverlässigkeit der Belohnung: Die Methode hängt von zuverlässigen Belohnungssignalen ab; verrauschte oder subjektive Belohnungen könnten Fehler in den paarweisen Lücken verstärken.
Umfang der auxiliary Belohnung: Die ROUGE-L-Belohnung erfasst lexikalische Überlappung rather als vollständige Reasoning-Korrektheit und erfordert Referenzlösungen, die für nicht alle Aufgaben existieren mögen.
Generalisierung: Experimente sind derzeit auf mathematisches und wissenschaftliches Reasoning beschränkt; die Generalisierung auf offene Dialoge oder multimodale Aufgaben bleibt eine offene Frage.