🤖 machine learning

The Mirage of Optimizing Training Policies: Monotonic Inference Policies as the Real Objective for LLM Reinforcement Learning

Diese Arbeit identifiziert den Diskrepanz zwischen Training und Inferenz beim Reinforcement Learning von LLMs als eine kritische Ursache für Instabilität und schlägt ein neues Framework namens Monotonic Inference Policy Update (MIPU) vor, um durch ein monotones Optimierungsziel sicherzustellen, dass Trainingsverbesserungen direkt in eine bessere Inferenzleistung übergehen.

Ursprüngliche Autoren: Jing Liang, Hongyao Tang, Yi Ma, Yancheng He, Weixun Wang, Xiaoyang Li, Ju Huang, Wenbo Su, Jinyi Liu, Yan Zheng, Jianye Hao, Bo Zheng

Veröffentlicht 2026-06-30

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jing Liang, Hongyao Tang, Yi Ma, Yancheng He, Weixun Wang, Xiaoyang Li, Ju Huang, Wenbo Su, Jinyi Liu, Yan Zheng, Jianye Hao, Bo Zheng

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie trainieren einen brillanten Schüler (das KI-Modell), um komplexe mathematische Probleme zu lösen. Sie haben zwei verschiedene Umgebungen für dieses Training:

Das Klassenzimmer (Training Engine): Dies ist der Ort, an dem der Schüler übt. Es ist ein hochmodernes Labor mit perfekter Beleuchtung, superschnellen Computern und einem Lehrer, der jeden einzelnen Gedanken des Schülers sehen kann.
Der Prüfungssaal (Inference Engine): Dies ist der Ort, an dem der Schüler tatsächlich die Prüfung in der realen Welt ablegt. Die Computer sind etwas langsamer, die Beleuchtung ist anders und es herrscht ein etwas chaotischeres Umfeld.

Das Problem: Die „Zwei-Welten“-Diskrepanz

Das Paper argumentiert, dass wir in modernem KI-Training diese beiden Welten oft so behandeln, als wären sie identisch. Wir sagen dem Schüler: „Gut gemacht im Klassenzimmer! Du hast dein Ergebnis um 10 % verbessert!“ und wir nehmen an, dass er auch im Prüfungssaal um 10 % besser abschneiden wird.

Aber hier liegt der Haken: Das Klassenzimmer und der Prüfungssaal sind tatsächlich unterschiedlich.

Aufgrund technischer Unterschiede (wie zum Beispiel der Art und Weise, wie der Computer Zahlen verarbeitet) verhält sich der Schüler im Prüfungssaal möglicherweise etwas anders als im Klassenzimmer, selbst wenn er exakt dasselbe Gehirn (Modellparameter) verwendet.

Im Klassenzimmer sagt der Schüler vielleicht: „Ich bin mir zu 90 % sicher, dass diese Antwort richtig ist.“
Im Prüfungssaal ist derselbe Schüler tatsächlich vielleicht nur zu 70 % sicher oder macht einen winzigen Rechenfehler, den er im Labor nicht gemacht hätte.

Das Paper nennt dies den „Training-Inference Mismatch“ (Trainings-Inferenz-Diskrepanz).

Die Gefahr besteht darin, dass die KI ihre Updates basierend darauf erhält, wie gut sie im Klassenzimmer abgeschnitten hat. Wenn diese Updates sich jedoch nicht auf den Prüfungssaal übertragen, könnte die KI im echten Leben schlechtere Entscheidungen treffen, obwohl die Trainingszahlen perfekt aussehen. Es ist, als würde ein Pilot in einem perfekten Simulator üben, aber das echte Flugzeug abstürzen, weil die Windbedingungen anders waren.

Die Lösung: „Monotonic Inference Policy Improvement“ (MIPI)

Die Autoren schlagen eine neue Regel für das Training vor: Fragen Sie nicht nur: „Hat sich der Schüler im Klassenzimmer verbessert?“ Fragen Sie stat stattdessen: „Hat sich der Schüler tatsächlich für die Prüfung verbessert?“

Sie nennen dieses Prinzip MIPI (Monotonic Inference Policy Improvement). Das bedeutet, dass wir ein Trainings-Update nur dann akzeptieren, wenn wir sicher sind, dass es die Leistung in der realen Welt verbessert, nicht nur die Leistung im Klassenzimmer.

Wie sie es umsetzen: Der „MIPU“-Zweistufenprozess

Um dies zu erreichen, haben sie einen neuen Trainingsrahmen namens MIPU (Monotonic Inference Policy Update) entwickelt. Stellen Sie sich dies als einen zweistufigen Qualitätskontrollprozess für das neue Wissen des Schülers vor:

Schritt 1: Die „Übungsrunde“ (Sampler-Referenced Update)
Anstatt dem Schüler einfach nur zu sagen, er solle sich nach den Regeln des Klassenzimmers verbessern, fragt der Lehrer zuerst: „Wenn du die Prüfung jetzt gerade mit deinem aktuellen Gehirn ablegen würdest, wie würdest du abschneiden?“

Sie passen das Lernen des Schülers so an, dass die „Klassenzimmer“-Praxis besser mit der Realität des „Prüfungssaals“ übereinstimmt.
Dies erzeugt ein Kandidaten-Update – eine neue Version des Schülers, die sollte besser sein.

Schritt 2: Der „Realitätscheck“ (Inference-Gap-Aware Acceptance)
Bevor der Schüler dieses neue Wissen in die reale Welt tragen darf, führt der Lehrer einen schnellen Test durch.

Er simuliert den Schüler, der die Prüfung mit dem neuen Wissen ablegt.
Er vergleicht das Ergebnis mit dem, was der Schüler vorher geleistet hat.
Die Entscheidung:
- Wenn das neue Wissen in der Simulation des Prüfungssaals tatsächlich hilft? Akzeptieren. Der Schüler steigt in die nächste Stufe auf.
- Wenn das neue Wissen im Klassenzimmer gut aussieht, aber im Prüfungssaal zu Verwirrung oder Fehlern führt? Ablehnen. Der Schüler kehrt zur vorherigen Version zurück.

Warum das wichtig ist

Das Paper hat dies an mathematischen Problemen in einer „Low-Precision“-Einstellung getestet (was den Unterschied zwischen dem Klassenzimmer und dem Prüfungssaal sehr deutlich macht, so als würde man versuchen, Mathematik auf einem Taschenrechner mit kaputten Tasten zu lösen).

Alte Methoden: Die KI würde sich über eine hohe Punktzahl im Klassenzimmer freuen, das Update anwenden und dann im echten Leben plötzlich abstürzen oder schlecht abschneiden, weil die Punktzahl im Klassenzimmer eine „Fata Morgana“ war.
MIPU-Methode: Die KI bleibt stabil. Sie lernt vielleicht etwas langsamer, weil sie schlechte Updates ablehnt, aber sie wird bei der eigentlichen Aufgabe konsistent besser. Sie vermeidet den „Absturz“ und steigt stetig auf.

Das Fazsendum

Das Paper behauptet, dass wir das Falsche optimieren. Wir haben versucht, die KI besser im Training zu machen, wenn wir sie eigentlich besser im Einsatz (Deployment) machen sollten.

Indem sie einen einfachen Schritt zur „Realitätsprüfung“ (Schritt 2) hinzufügen und die Trainingsregeln mit den Regeln der realen Welt abgleichen (Schritt 1), wird die KI zuverlässiger. Sie hört auf, hohen Punktzahlen in einer künstlichen Umgebung hinterherzujagen, und erzielt stattdessen echte, stabile Verbesserungen für die reale Welt.

Technisches Resümee: Die Illusion der Optimierung von Trainings-Policies (MIPU)

1. Problemstellung: Zielabweichung (Objective Misalignment) in LLM-RL

Reinforcement Learning (RL) ist zu einem kritischen Paradigma für das Post-Training von Large Language Models (LLMs) geworden, insbesondere zur Verbesserung der Fähigkeiten in den Bereichen logisches Denken und Befolgung von Instruktionen. Moderne LLM-RL-Pipelines leiden jedoch häufig unter einem Training-Inference-Mismatch. In der Praxis nutzen LLMs getrennte Engines für die Generierung (Inferenz, z. B. vLLM, SGLang) und die Gradientenberechnung (Training, z. B. FSDP, Megatron). Selbst bei synchronisierten Modellparametern führen Unterschiede in der Präzision (z. B. FP8 vs. FP16), der Dekodierungs-Implementierung und den Serving-Backends dazu, dass die Trainings-Policy ( $\pi$ ) und die Inferenz-Policy ( $\mu$ ) unterschiedliche Wahrscheinlichkeiten für dieselben Trajektorien zuweisen.

Bestehende Arbeiten versuchen, diesen Mismatch durch die Korrektur von Sampler-seitigen Verhältnissen, das Filtern instabiler Samples oder das Absenken von Lernraten zu mildern. Die Autoren argumentieren jedoch, dass diese Ansätze eher das Symptom als die Ursache behandeln: die Zielabweichung (Objective Misalignment). Standardmäßige RL-Algorithmen optimieren die Trainings-Policy ( $\pi$ ) unter der Annahme, dass eine Verbesserung von $\pi$ ( $J(\pi_{k+1}) - J(\pi_k) \ge 0$ ) eine Verbesserung der eingesetzten Inferenz-Policy ( $\mu$ ) garantiert. Das Paper zeigt, dass unter Mismatch-Bedingungen diese Implikation nicht gilt:
$J(\pi_{k+1}) - J(\pi_k) \ge 0 \nRightarrow J(\mu_{k+1}) - J(\mu_k) \ge 0$
Folglich kann ein synchronisierter Update, der auf der Trainingsseite als vorteilhaft erscheint, tatsächlich die Performance der in der Produktion eingesetzten Inferenz-Policy verschlechtern.

2. Methodik: Monotonic Inference Policy Update (MIPU)

Um dies zu adressieren, schlagen die Autoren ein neues Optimierungsprinzip vor, die Monotonic Inference Policy Improvement (MIPI), welches das Ziel von der Verbesserung der Trainings-Policy hin zur Sicherstellung der monotonen Verbesserung der Inferenz-Policy ( $J(\mu_{k+1}) - J(\mu_k) \ge 0$ ) verschiebt. Sie realisieren dieses Prinzip durch ein zweistufiges Framework namens Monotonic Inference Policy Update (MIPU).

Der Kern von MIPU ist die Zerlegung der Verbesserung der Inferenz-Policy in drei Terme:
$J(\mu_{k+1}) - J(\mu_k) = \underbrace{[J(\mu_{k+1}) - J(\pi_{k+1})]}_{\text{Term 1: Post-Update Inferenz-Gap}} + \underbrace{[J(\pi_{k+1}) - J(\pi_k)]}_{\text{Term 2: Trainingsseitiges Update}} + \underbrace{[J(\pi_k) - J(\mu_k)]}_{\text{Term 3: Pre-Update Inferenz-Gap}}$

Schritt 1: Sampler-referenzierte Policy-Aktualisierung

Dieser Schritt optimiert die kombinierten Terme 2 und 3 ( $J(\pi_{k+1}) - J(\mu_k)$ ).

Mechanismus: Anstatt der Standard-Trainings-Policy $\pi_k$ als Referenz für das Surrogate-Objective zu verwenden (wie bei Standard-GRPO/PPO), nutzt MIPU die Inferenz-Policy $\mu_k$ (den Sampler) als Referenz.
Implementierung: Die Autoren wenden einen Ansatz des Truncated Importance Sampling (TIS) an. Sie berechnen ein Korrekturgewicht $w_i^k = \pi_k(y_i|x) / \mu_k(y_i|x)$ , um den Pre-Update-Mismatch zu berücksichtigen. Um die Varianz gering zu halten, wird dieses Gewicht abgeschnitten (truncated). Die Clipping-Beschränkung wird dann nur auf das aktuelle Update-Verhältnis $r_i(\theta) = \pi_\theta(y_i|x) / \pi_k(y_i|x)$ angewendet.
Ziel: Dies erzeugt eine Kandidaten-Trainings-Policy $\pi_{k+1}$ , die theoretisch mit dem Sampler $\mu_k$ abgestimmt ist, wodurch die "halbe" Monotonie $J(\pi_{k+1}) - J(\mu_k) \ge 0$ sichergestellt wird.

Schritt 2: Akzeptanz des Inferenz-Gap-bewussten Updates

Dieser Schritt validiert Term 1 ( $J(\mu_{k+1}) - J(\pi_{k+1})$ ), welcher die Lücke zwischen der Kandidaten-Trainings-Policy und ihrer synchronisierten Inferenz-Realisierung darstellt.

Mechanismus: Nachdem $\pi_{k+1}$ mit der Inferenz-Engine synchronisiert wurde, um $\mu_{k+1}$ zu erzeugen, evaluiert das System den Post-Update Inferenz-Gap.
Proxy-Schätzung: Da der exakte Vorteil unter $\pi_{k+1}$ nicht verfügbar ist, nutzt MIPU eine inverse Identität, um den Gap mittels Validierungs-Rollouts von $\mu_{k+1}$ zu schätzen. Es berechnet einen Proxy $\hat{T}_{post} = -\mathbb{E}[\rho_i \hat{A}_{\mu_{k+1}}]$ , wobei $\rho_i$ ein längen-normalisiertes Importance-Weight ist, das die Verteilungsverschiebung von $\mu_{k+1}$ zu $\pi_{k+1}$ korrigiert.
Akzeptanzkriterium: Das Update wird nur akzeptiert, wenn $\hat{T}_{post} \ge -c$ gilt, wobei $c$ ein Toleranzparameter ist. Wenn der Gap zu negativ ist (was bedeutet, dass die Inferenz-Policy schlechter abschneidet als die Trainings-Kandidaten-Policy), wird das Update abgelehnt und das System setzt das Rollback auf den vorherigen Checkpoint durch.

3. Wichtigste Beiträge

MIPI-Prinzip: Das Paper identifiziert und formalisiert die Zielabweichung im LLM-RL und schlägt vor, dass das Optimierungsziel die Trajektorie der Inferenz-Policy sein muss, nicht das Trainings-Surrogate.
MIPU-Framework: Ein neuartiges zweistufiges RL-Framework, das die Konstruktion des Kandidaten (Schritt 1) von der Inferenz-Gap-Validierung (Schritt 2) entkoppelt. Es ermöglicht eine flexible Implementierung von Sampler-referenzierten Updates und Inferenz-bewusster Akzeptanz.
Empirische Validierung: Zeigt, dass MIPU sowohl die Reasoning-Performance als auch die Trainingsstabilität in Szenarien mit hohem Mismatch (speziell FP8-quantisierte Rollouts) im Vergleich zu Standard-GRPO und anderen Stabilisierungs-Baselines verbessert.

4. Experimentelle Ergebnisse

Die Autoren evaluierten MIPU auf Qwen3-1.7B und Qwen3-4B Modellen unter Verwendung von FP8-quantisierten Rollouts, um einen signifikanten Trainings-Inferenz-Mismatch zu induzieren. Das Training wurde auf mathematischen Reasoning-Datensätzen (DAPO-Math-17, DeepMath-103K) durchgeführt und auf fünf Benchmarks (MATH-500, AIME24, AMC23, Minerva, OlympiadBench) evaluiert.

Performance: MIPU erreichte die höchste durchschnittliche Genauigkeit über beide Modellskalen hinweg (66,71 % bei Qwen3-4B und 53,97 % bei Qwen3-1.7B) und übertraf damit Baselines wie Standard-GRPO, MIS (Mismatch Filtering) und LR-Decay.
Stabilität: Während Baselines oft nach Erreichen intermediärer Peaks einen scharfen Leistungsabfall oder einen Kollaps zeigten, behielt MIPU über den gesamten Prozess eine stabile Trainingsdynamik bei.
Ablationsstudien:
- Nur Schritt 1: Verbesserte die Qualität der Kandidaten, konnte aber die Akkumulation von Mismatch-Fehlern nicht verhindern, was zu Instabilität führte.
- Nur Schritt 2: Verhindert Kollapse durch Ablehnung schlechter Updates, konnte aber die Performance nicht verbessern, wenn die zugrunde liegenden Baseline-Kandidaten verzerrt waren.
- Vollständiges MIPU: Die Kombination war notwendig; Schritt 1 korrigierte die Update-Richtung, während Schritt 2 unzuverlässige Kandidaten filterte, was sowohl zu einer höheren Peak-Performance als auch zu langfristiger Stabilität führte.
Analyse von Schritt 2: Die Autoren verifizierten, dass der Erfolg von Schritt 2 nicht bloß auf dem Ablehnen von mehr Updates beruht (eine "Random Rollback"-Kontrolle scheiterte trotz häufigerer Ablehnungen). Stattdessen resultiert die Effektivität daraus, dass der Inferenz-Gap-Signal genutzt wird, um zwischen schädlichen und harmlosen synchronisierten Kandidaten zu unterscheiden.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass der Trainings-Inferenz-Mismatch nicht nur als ein niedrigschwelliges System-Diskrepanz betrachtet werden sollte, das minimiert werden muss, sondern als eine fundamentale Verschiebung des Ziels der Policy-Verbesserung. Durch die Verlagerung des Fokus von der Trainings-Policy auf die Inferenz-Policy adressiert MIPU die "Illusion", bei der Verbesserungen auf der Trainingsseite nicht in Gewinne bei der Bereitstellung (Deployment) umschlagen.

Die Autoren merken bescheiden an, dass ihre Experimente aufgrund von Rechenbeschränkungen derzeit auf Modelle mittlerer Größe beschränkt sind und dass Schritt 2 einen flexiblen Designraum darstellt und keine feste Implementierung ist. Sie legen nahe, dass zukünftige Arbeiten effizientere Schätzer für den Post-Update-Gap untersuchen und diese Prinzipien auf größere Modelle und diverse RL-Systeme anwenden könnten. Der Kernbeitrag ist ein Paradigmenwechsel: Sicherzustellen, dass die für das Deployment genutzte Policy diejenige ist, die optimiert wird, anstatt davon auszugehen, dass eine Optimierung auf der Trainingsseite ausreicht.