💬 NLP

MDP-GRPO: Stabilized Group Relative Policy Optimization for Multi-Constraint Instruction Following

Das Papier führt MDP-GRPO ein, eine stabilisierte Variante der Group Relative Policy Optimization, die Multi-Temperatur-Sampling, Dual-Anchor-Advantages, Prospect-Theoretic Shaping und asymmetrische KL-Regularisierung einsetzt, um Instabilität in diskreten, dispersionsarmen Belohnungsszenarien zu überwinden und dadurch die Leistung bei der Befolgung von Instruktionen mit mehreren Nebenbedingungen signifikant zu verbessern.

Ursprüngliche Autoren: Mohammad Mahdi Salmani-Zarchi, Zahra Rahimi, Heshaam Faili, Mohammad Javad Dousti

Veröffentlicht 2026-06-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mohammad Mahdi Salmani-Zarchi, Zahra Rahimi, Heshaam Faili, Mohammad Javad Dousti

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem sehr talentierten, aber etwas chaotischen Koch (der KI) bei, einem sehr spezifischen Rezept zu folgen. Das Rezept ist nicht einfach nur „Backe einen Kuchen“; es ist eine strikte Liste von Regeln: „Verwende genau 3 Eier“, „Benutze keinen Schokolade“, „Schreibe die Anweisungen in GROSSBUCHSTABEN“ und „Beende die Notiz mit dem Satz 'Bon Appétit'“.

In der Welt der KI nennt man das Multi-Constraint Instruction Following (Folgen von Anweisungen mit mehreren Nebenbedingungen). Das Problem ist, dass Standard-Trainingsmethoden für KIs oft verwirrt sind, wenn diese Regeln so streng sind und das Feedback binär ist (entweder man hat die Regel befolgt oder man hat es nicht).

Hier ist eine einfache Aufschlüsselung der Lösung des Papers, MDP-GRPO, unter Verwendung von alltäglichen Analogien.

Das Problem: Die „Gruppennoten“-Falle

Das Paper beginnt mit der Erklärung, wie das aktuelle KI-Training (genannt GRPO) funktioniert. Stellen Sie sich vor, ein Lehrer gibt einer Gruppe von 8 Schülern (den Versuchen der KI) gleichzeitig einen Test. Anstatt jeden Schüler gegen einen perfekten Standard zu bewerten, bewertet der Lehrer sie relativ zueinander.

Wenn 7 Schüler eine „3“ bekommen und ein Schüler eine „2“, bekommt der „2er“-Schüler einen riesigen Bonus und die „3er“-Schüler eine riesige Strafe.
Der Fehler: Bei der strikten Befolgung von Regeln ist es häufig, dass alle in der Gruppe die exakt gleiche Punktzahl erhalten (z. B. haben alle die Regel „GROSSBUCHSTABEN“ missachtet).
- Zero-Variance Collapse (Nullvarianz-Kollaps): Wenn alle eine „0“ bekommen, hat der Lehrer keine Möglichkeit zu sagen, wer besser war. Die „Note“ ist für alle gleich Null, und die KI lernt nichts.
- Mean-Centering Blindness (Mittelwert-Zentrierungs-Blindheit): Wenn eine Gruppe von Schülern alle stark versagt und eine andere Gruppe ebenfalls alle stark versagt, behandelt der Lehrer sie gleich, weil sie im Verhältnis zu ihrer jeweiligen Gruppe „gleich schlecht“ sind. Die KI weiß nicht, welche spezifische Regel sie gebrochen hat.
- Low-Variance Amplification (Niedrigvarianz-Verstärkung): Wenn die Punktzahlen 99, 100, 100, 100 sind, wird der winzige Unterschied zwischen 99 und 100 in eine massive Strafe aufgeblasen, was dazu führt, dass die KI überreagiert und instabil wird.

Die Lösung: MDP-GRPO

Die Autoren schlagen eine neue Trainingsmethode mit vier „Werkzeugen“ vor, um diese Fehler zu beheben. Betrachten Sie dies als ein Upgrade für das Bewertungssystem des Lehrers.

1. Der „Geschmacks-Mixer“ (Multi-Temperature Sampling)

Das Problem: Wenn man die KI bittet, 8 Variationen einer Geschichte zu schreiben, schreibt sie vielleicht 8 fast identische Geschichten. Wenn diese alle identisch sind, erhalten sie alle die gleiche Punktzahl, und das Training stagniert.
Die Lösung: Die Autoren weisen die KI an, diese 8 Geschichten mit unterschiedlichen „Kreativitätsstufen“ zu schreiben. Einige werden sehr streng geschrieben (niedrige Temperatur), andere werden wild und kreativ geschrieben (hohe Temperatur).
Das Ergebnis: Dies stellt sicher, dass die 8 Versuche unterschiedlich genug sind, um unterschiedliche Punktzahlen zu erhalten. Dies verhindert das Problem, dass „alle eine Null bekommen“.

2. Das „Zwei-Anker“-System (Dual-Anchor Advantages)

Das Problem: Wenn die Gruppe ein Chaos ist (alle haben versagt), bricht das System der „relativen Bewertung“ zusammen.
Die Lösung: Anstatt die Schüler nur untereinander zu vergleichen, vergleicht der Lehrer sie auch mit einem festen, imaginären „neutralen Schüler“.
- Stellen Sie sich einen „neutralen Schüler“ vor, der durch reines Glück genau 50 % der Regeln richtig befolgt.
- Wenn die KI-Gruppe schlechter abschneidet als dieser neutrale Schüler, erhält die KI ein klares Signal: „Du bist schlechter als der Durchschnitt, versuch es besser!“
- Dies gibt der KI ein Lernsignal, selbst wenn die gesamte Gruppe versagt, und verhindert die „Blindheit“ gegenüber der absoluten Leistung.

3. Die „menschliche Verlustangst“ (Prospect-Theoretic Shaping)

Das Problem: Standardmäßiges Training behandelt einen kleinen Gewinn und einen kleinen Verlust als gleich groß, aber entgegengesetzt. Aber im echten Leben hassen Menschen Verluste intensiver, als sie Gewinne lieben.
Die Lösung: Die Autoren leihen sich ein Konzept aus der Wirtschaftswissenschaft namens Prospect Theory (Prospekttheorie). Sie programmieren die KI so, dass sie den „Schmerz“ des Brechens einer Regel viel intensiver fühlt als die „Freude“ des Befolgens einer Regel.
- Wenn die KI eine Regel bricht, ist die Strafe groß und scharf.
- Wenn die KI eine Regel befolgt, ist die Belohnung begrenzt und sanft.
- Dies verhindert, dass die KI zu leichtsinnig wird, und zwingt sie dazu, bei strikten Vorgaben sehr vorsichtig zu sein.

4. Der „Asymmetrische Sicherheitsgurt“ (Asymmetric KL Regularization)

Das Problem: Manchmal vergisst die KI beim Versuch, Regeln zu befolgen, wie man normal spricht, oder sie wird zu starr.
Die Lösung: Sie legen einen „Sicherheitsgurt“ an die Veränderungen der KI an.
- Wenn sich die KI verbessert (Regeln besser befolgt), ist der Sicherheitsgurt locker und erlaubt große Änderungen.
- Wenn sich die KI verschlechtert (Regeln bricht), zieht sich der Sicherheitsgurt sofort fest, um wilde, schädliche Fehler zu verhindern.

Die Ergebnisse

Die Autoren testeten diese neue Methode an Modellen wie Llama-3.2 und Gemma-2.

Besser im Befolgen von Regeln: Die KI wurde signifikant besser darin, strikte, mehrteilige Anweisungen zu befolgen (bis zu 5 % Verbesserung in der Erfolgsrate bei strikten Aufgaben).
Stabiles Lernen: Das Training stürzte nicht ab und wurde nicht verwirrt, wenn die KI auf eine Wand von Fehlversuchen stieß.
Immer noch intelligent: Entscheidend ist, dass die KI nicht ihr allgemeines Wissen (wie das Beantworten von Trivia oder das Lösen von Logikrätseln) verlor, während sie diese strikten Regeln lernte.

Zusammenfassung

Das Paper argumentt, dass das Lehren einer KI, strikte, mehrfache Regeln zu befolgen, dem Lehren eines Kochs gleicht, der ein Rezept mit 10 winzigen, spezifischen Einschränkungen befolgen muss. Standardmethoden scheitern, weil sie verwirrt sind, wenn alle in der Klasse versagen. MDP-GRPO behebt dies, indem es:

Die Übungsversuche vielfältiger macht.
Einen festen Referenzpunkt bietet, damit die KI weiß, wie sie abschneidet, selbst wenn sie scheitert.
Die KI dazu bringt, Fehler mehr zu „fürchten“ als den Erfolg zu „lieben“.
Verhindert, dass die KI zu drastische Änderungen vornimmt, wenn sie einmal aus der Bahn gerät.

Das Ergebnis ist eine KI, die wesentlich zuverlässiger darin ist, komplexe, strikte Anweisungen zu befolgen, ohne dabei ihre allgemeine Intelligenz einzubüßen.

Technisches Resümee: MDP-GRPO

Problemstellung

Large Language Models (LLMs) haben oft Schwierigkeiten bei der Befolgung von Multi-Constraint-Instruktionen, wenn eine einzelne Aufforderung die Einhaltung mehrerer expliziter, deterministischer Regeln erfordert (z. B. spezifische Formatierung, verbotene Wörter, exakte Endungen). Während Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) eine vielversprechende Lösung darstellt, indem es regelbasierte Prüfer nutzt, um zuverlässige, verzerrungsfreie Signale zu liefern, erweist sich das Standardverfahren Group Relative Policy Optimization (GRPO) in diesem Regime als instabil.

Das Kernproblem liegt darin, dass Multi-Constraint-Belohnungen diskret und häufig mit geringer Varianz sind. In der frühen Trainingsphase oder bei strengen Constraints führen Gruppen von Stichproben-Completions oft zu homogenen Belohnungen (alle Stichproben erfüllen oder verletzen dieselben Constraints). Unter diesen Bedingungen leidet die Standard-GRPO-Z-Score-Gruppennormierung unter drei spezifischen Pathologien:

Verstärkung geringer Varianz (Low-Variance Amplification): Minimale Schwankungen der Belohnung werden zu überproportional großen Vorteilen aufgebläht, was zu brüchigen Updates führt.
Blindheit gegenüber der Mittelwertzentrierung (Mean-Centering Blindness): Die Z-Score-Normalisierung verwirft absolute Belohnungswerte, wodurch es unmöglich wird, zwischen einer Gruppe, die konsistent scheitert, und einer, die konsistent erfolgreich ist, zu unterscheiden, sofern deren relative Verteilungen ähnlich sind.
Zusammenbruch bei Nullvarianz (Zero-Variance Collapse): Wenn alle Stichproben in einer Gruppe identische Belohnungen erhalten, geht die Standardabweichung der Gruppe ( $\sigma_{group}$ ) gegen Null. Dies führt dazu, dass das Vorteilssignal (Advantage) zu Null kollabiert oder undefiniert wird, wodurch das Lernsignal vollständig eliminiert wird.

Methodik: MDP-GRPO

Um diese Instabilitäten zu adressieren, schlagen die Autoren MDP-GRPO vor, eine stabilisierte Variante von GRPO, die drei komplementäre Mechanismen integriert:

1. Multi-Temperatur-Sampling (Prävention)

Um die Bildung homogener Gruppen zu verhindern, ersetzt die Methode das Fixed-Temperature-Sampling durch ein Temperatur-Schema ( $T = [\tau_1, \dots, \tau_G]$ ) für die Gruppe von $G$ Completions.

Mechanismus: Niedrigere Temperaturen fördern die Exploitation (hochwertige Baselines), während höhere Temperaturen die Exploration anregen.
Ziel: Dies mischt hochwertige und explorative Completions innerhalb einer einzigen Gruppe, wodurch eine ausreichende Reward-Dispersion ( $\sigma_{group} > 0$ ) gewährleistet wird, selbst bei kleinen Batch-Größen, ohne das zugrunde liegende RL-Ziel zu verändern.

2. Dual-Anchor-Advantages (Signalwiederherstellung)

Um den Zusammenbruch bei Nullvarianz und die Blindheit gegenüber der Mittelwertzentrierung zu adressieren, führt die Methode neben dem standardmäßigen gruppenspezifischen Vorteil einen zielbewussten Anker (goal-aware anchor) ein.

Mechanismus: Eine neutrale Baseline wird als Binomialprozess modelliert, bei dem die Constraints mit einer Wahrscheinlichkeit von $p=0.5$ erfüllt werden. Dies liefert einen festen „zielbewussten“ Vorteil ( $\delta_i$ ), der mit der Anzahl der Constraints skaliert.
Integration: Der finale Vorteil ( $A_i$ ) ist eine gewichtete Interpolation zwischen dem geformten gruppenspezifischen Vorteil ( $\tilde{z}_i$ ) und dem geformten zielbewussten Vorteil ( $\tilde{\delta}_i$ ):
$A_i = (1 - \alpha)\tilde{z}_i + \alpha\tilde{\delta}_i$
Nutzen: Selbst wenn die Gruppenvarianz Null ist, liefert der zielbewusste Anker ein gültiges Lernsignal und verhindert so das Stagnieren des Trainings.

3. Prospect-Theoretic Shaping (Stabilisierung)

Inspiriert von der Prospect Theory (Kahneman & Tversky, 1979), wendet die Methode eine beschränkte, asymmetrische Shaping-Funktion auf die Roh-Vorteile an, bevor diese gemischt werden.

Mechanismus: Eine skalierte tanh-Transformation begrenzt die Vorteile und erzwingt Verlustaversion ( $\lambda_- > \lambda_+$ ).
Ziel: Dies stellt sicher, dass Constraint-Verletzungen (negative Ergebnisse) größere Gradienten-Updates bewirken als äquivalente Erfolge, was Regressionen massiv bestraft. Gleichzeitig verhindert die Begrenzungsfunktion unbegrenzte Gradienten durch geringe Varianz und stabilisiert so das Training.

4. Asymmetrische KL-Regularisierung

Das Ziel beinhaltet eine asymmetrische KL-Penalty, bei der der Straffaktor höher ( $\beta_{high}$ ) ist, wenn der Vorteil negativ ist (Leistung sinkt), und niedriger ( $\beta_{low}$ ), wenn er positiv ist, was das Modell bei Regressionen weiter einschränkt.

Zentrale Beiträge

Formalisierung von Pathologien: Die Arbeit identifiziert und formalisiert drei Fehlermodi gruppenspezifischer Policy-Updates in diskreten, geringen Dispersions-Reward-Regimen: Verstärkung geringer Varianz, Blindheit gegenüber der Mittelwertzentrierung und Zusammenbruch bei Nullvarianz.
Prävention durch Sampling: Einführung von Multi-Temperatur-Gruppensampling, um die Reward-Diversität in Settings mit kleinen Batches künstlich zu erhöhen, ohne die Zielfunktion zu verändern.
Signalwiederherstellung: Vorschlag von Dual-Anchor-Advantages, um Lernsignale in Gruppen mit Nullvarianz wiederherzustellen und absolute Leistungsinformationen zurückzugewinnen, die durch die Standard-Normalisierung verloren gehen.
Robuste Formung: Anwendung von Prospect-Theoretic Shaping, um die Update-Magnituden zu begrenzen und die Korrektur von Constraint-Verletzungen zu priorisieren.
Empirische Validierung: Nachweis, dass diese Komponenten kollektiv die Stabilität und Leistung bei Multi-Constraint-Aufgaben verbessern, während allgemeine Fähigkeiten erhalten bleiben.

Experimentelle Ergebnisse

Die Methode wurde auf IFEval, FollowBench und einem kuratierten Multi-Constraint-Datensatz unter Verwendung der Modelle Gemma-2-2B und Llama-3.2-3B evaluiert.

Leistungssteigerungen: MDP-GRPO übertraf das Standard-GRPO und die Zero-Shot-Baseline konsistent. Auf Llama-3.2-3B verbesserte es die strikte Constraint-Einhaltung (HSR) auf dem benutzerdefinierten Datensatz um bis zu 5,0 %.
Effizienz bei kleinen Batches: Die Methode erwies sich als besonders effektiv bei reduzierten Gruppengrößen ( $G=4$ ). Multi-Temperatur-Sampling ermöglichte es MDP-GRPO, die Performance von Standard-GRPO mit größeren Gruppen ( $G=8$ ) zu erreichen, was den Nutzen unter engen Rechenbudgets demonstriert.
Skalierung der Schwierigkeit: Stabilisierte Varianten (insbesondere solche mit Dual Anchors) degradierten langsamer als die Baselines, wenn die Anzahl der Constraints zunahm, und behielten höhere Erfolgsraten bei komplexen Prompts (Schwierigkeitsgrad 5-6) bei.
Allgemeine Fähigkeiten: Evaluierungen auf MMLU und ARC bestätigten, dass die Gewinne bei der Befolgung von Instruktionen nicht zu Lasten des allgemeinen Denkvermögens oder des Wissenserhalts gingen.
Trainingsdynamik: Diagnosen zeigten, dass die vorgeschlagenen Methoden erfolgreich die Häufigkeit von Nullvarianz-Gruppen reduzierten und die Drift der KL-Divergenz im Vergleich zu Standard-GRPO kontrollierten.

Bedeutung und Ansprüche

Die Autoren behaupten, dass MDP-GRPO einen stabilen und zuverlässigen Rahmen für RLVR in Multi-Constraint-Settings bietet – ein Bereich, in dem Standard-Gruppennormierungsverfahren aufgrund spärlicher Belohnungen oft versagen. Durch die explizite Adressierung der mathematischen Pathologien der Z-Score-Normalisierung ermöglicht die Methode:

Stabile Konvergenz selbst bei kleinen Gruppengrößen.
Effektives Lernen aus diskreten, regelbasierten Belohnungen, ohne dass gelernte Reward-Modelle oder menschliche Präferenzlabels erforderlich sind.
Robustheit gegenüber der „Brüchigkeit“ von Standard-GRPO-Updates bei homogenen Reward-Verteilungen.

Das Paper schließt mit dem Hinweis, dass der Ansatz zwar speziell für deterministische, verifizierbare Constraints entwickelt wurde, seine Kernkomponenten (Dual Anchoring und Prospect Shaping) jedoch unabhängig von der Quelle der Belohnung sind und auf andere RL-Settings adaptiert werden könnten. Die Autoren merken jedoch bescheiden an, dass die Methode auf automatischen Prüfern basiert und ohne gelernte Reward-Modelle möglicherweise nicht direkt auf subjektive oder stilistische Constraints übertragbar ist.