💬 NLP

Multi-Objective and Mixed-Reward Reinforcement Learning via Reward-Decorrelated Policy Optimization

Dieser Beitrag stellt Reward-Decorrelated Policy Optimization (RDPO) vor, eine neuartige Methode, die magnitudebewusste Quantilnormalisierung und Mahalanobis-Whitening einsetzt, um die Vorteilsschätzung beim Reinforcement Learning mit mehreren Belohnungen zu stabilisieren und dadurch die Modellleistung bei der Befolgung von Anweisungen, beim Schreiben und in Bezug auf Robustheit zu verbessern, ohne die Fähigkeiten im logischen Schlussfolgern oder im Programmieren zu beeinträchtigen.

Ursprüngliche Autoren: Yang Bai, Kaiyuan Liu, Ziyuan Zhuang, Jiahong Zhou, Rongxiang Weng, Xin Chen, Jingang Wang, Xunliang Cai

Veröffentlicht 2026-05-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yang Bai, Kaiyuan Liu, Ziyuan Zhuang, Jiahong Zhou, Rongxiang Weng, Xin Chen, Jingang Wang, Xunliang Cai

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie trainieren einen sehr intelligenten Roboter (eine KI), um gleichzeitig viele verschiedene Aufgaben zu erledigen: Geschichten schreiben, Matheprobleme lösen, Software programmieren und strikten Anweisungen folgen. Um den Roboter zu unterrichten, geben Sie ihm nach jedem Versuch Feedback (Belohnungen).

Das Problem ist, dass diese Feedback-Signale unübersichtlich sind. Einige sind einfache „Bestanden/Nicht bestanden"-Noten (wie ein binärer Schalter), einige sind Punktzahlen von 0 bis 100, und einige sind komplexe Meinungen. Darüber hinaus überschneiden sich diese Signale oft. Beispielsweise könnte eine lange Antwort Punkte für „detailliert" erhalten, aber Punkte verlieren für „zu wortreich", und die Punktzahl für „detailliert" könnte mathematisch mit der Punktzahl für „wortreich" verknüpft sein.

Wenn Sie versuchen, all diese durcheinander gewürfelten Punktzahlen zusammenzufügen, um dem Roboter mitzuteilen, wie er sich verbessern soll, wird das Training chaotisch. Der Roboter könnte von einer riesigen Punktzahl verwirrt werden, die anderen ignorieren oder in einer Schleife stecken bleiben, weil zwei Signale gegeneinander kämpfen.

Die Autoren dieses Papiers schlagen eine neue Methode vor, die RDPO (Reward-Decorrelated Policy Optimization) genannt wird, um dieses Durcheinander zu beheben. Betrachten Sie RDPO als einen zweistufigen „Signalreiniger", der das Feedback vorbereitet, bevor der Roboter daraus lernt.

Schritt 1: Der „Fairness-Filter" (Magnitude-Aware Quantile Normalization)

Das Problem: Stellen Sie sich vor, Sie bewerten eine Klasse. Ein Schüler erhält eine 100, ein anderer eine 99 und ein dritter eine 0. Wenn Sie nur die rohen Zahlen betrachten, wirkt die Lücke zwischen 99 und 100 winzig, aber die Lücke zwischen 0 und 99 ist riesig. Beim KI-Training kann es, wenn eine Art von Belohnung (wie ein „Bestanden/Nicht bestanden"-Check) eine riesige Lücke aufweist, alle anderen Feedbacks übertönen, wodurch sich der Roboter nur auf diese eine Sache konzentriert und alles andere ignoriert.

Die Lösung: RDPO verwendet einen „Fairness-Filter" namens Magnitude-Aware Quantile Normalization.

Funktionsweise: Anstatt die rohen Zahlen zu betrachten, betrachtet es das Rangfolge und die Lücken zwischen den Versuchen. Es komprimiert die riesigen Lücken (so dass eine 100 nicht unendlich besser ist als eine 99) und dehnt die winzigen Lücken (so dass eine 99 und eine 100 immer noch unterscheidbar sind).
Die Analogie: Stellen Sie sich ein Rennen vor, bei dem ein Läufer in 10 Sekunden und ein anderer in 100 Sekunden ankommt. Wenn Sie nur die Zeit betrachten, wirkt der zweite Läufer schrecklich. Aber wenn Sie das Rennen so normalisieren, dass jeder danach bewertet wird, wie er im Verhältnis zur Gruppe abgeschnitten hat, erhält der zweite Läufer eine faire Chance, sich zu verbessern, ohne von dem massiven Vorsprung des ersten Läufers zermalmt zu werden. Dies stellt sicher, dass kein einziger „schlechter" oder „ausreißerhafter" Versuch den Lernprozess des Roboters kapert.

Schritt 2: Der „Noise Canceller" (Mahalanobis Whitening)

Das Problem: Manchmal sind die Feedback-Signale redundant. Stellen Sie sich vor, Sie haben zwei Sensoren: einer misst „wie viel der Roboter gesprochen hat" und ein anderer misst „wie viel der Roboter gesprochen hat". Wenn Sie diese beiden Punktzahlen zusammenaddieren, zählen Sie dieselbe Information doppelt. Oder stellen Sie sich zwei Sensoren vor, die gegensätzlich sind: einer sagt „sei länger" und der andere sagt „sei kürzer". Wenn Sie sie einfach addieren, heben sie sich gegenseitig auf, und der Roboter erhält keine klare Richtung.

Die Lösung: RDPO verwendet einen „Noise Canceller" namens Mahalanobis Whitening.

Funktionsweise: Es betrachtet die Beziehung zwischen den verschiedenen Feedback-Signalen. Wenn zwei Signale dasselbe sagen (korreliert sind), reduziert es das Gewicht des einen, damit sie nicht doppelt zählen. Wenn sie gegeneinander kämpfen, passt er sie so an, dass der Roboter eine klare, ausgewogene Anweisung erhält.
Die Analogie: Denken Sie an eine Band, bei der der Schlagzeuger und der Bassist exakt denselben Rhythmus spielen. Es klingt matschig und redundant. Der „Noise Canceller" ist wie ein Toningenieur, der den Bass leicht herunterdreht, damit die Rhythmusgruppe scharf und klar klingt, anstatt matschig. Es stellt sicher, dass der Roboter aus einzigartigen Informationen lernt und nicht aus wiederholtem Rauschen.

Die Ergebnisse

Die Autoren testeten diese Methode an einem großen KI-Modell namens LongCat-Flash. Sie trainierten es an vier Arten von Aufgaben:

Anweisungsfolge: Genau das tun, was Sie verlangen.
Allgemeines Schreiben: Gute Geschichten oder Artikel erstellen.
Mathematisches Schlussfolgern: Logikrätsel lösen.
Programmieren: Computerprogramme schreiben.

Was passierte?

Schreiben und Anweisungen: Der Roboter wurde erheblich besser darin, Anweisungen zu befolgen und hochwertige Texte zu schreiben. Er wurde robuster, wenn schwierige oder knifflige Prompts gegeben wurden.
Mathe und Programmieren: Der Roboter performte genauso gut wie die bisherigen besten Methoden. Er wurde nicht schlechter in Mathe oder Programmieren; er blieb wettbewerbsfähig, während er sich in den anderen Aufgaben deutlich verbesserte.

Das Fazit

Das Papier behauptet, dass durch die Bereinigung der Feedback-Signale (sie fair machen und Redundanz entfernen), bevor die KI lernt, der Trainingsprozess viel stabiler wird. Dies ermöglicht es der KI, bei komplexen, mehrstufigen Aufgaben (wie Schreiben und Befolgen von Regeln) besser zu werden, ohne ihre Fähigkeit zu verlieren, Matheprobleme zu lösen oder Code zu schreiben. Es ist eine intelligentere Art, verschiedene Arten von Lob und Kritik zu mischen, damit die KI die richtigen Lektionen lernt.

Technische Zusammenfassung: Reward-Decorrelated Policy Optimization (RDPO)

1. Problemstellung

In komplexen Reinforcement-Learning-Umgebungen (RL) für Large Language Models (LLMs) umfasst das Training häufig Multi-Task-Szenarien mit gemischten Belohnungsformulierungen. Ein einzelner Trainingslauf kann diverse Ziele integrieren, wie Korrektheit, Befolgung von Anweisungen, Erfüllung von Bewertungskriterien (Rubrics), Scores von Präferenzmodellen und Antwortlänge.

Die Aggregation dieser heterogenen Belohnungssignale zu einem einzigen skalaren Vorteil (Advantage) stellt zwei primäre Herausforderungen dar, die das Training destabilisieren:

Heterogene Skalen und Verteilungen: Belohnungen variieren erheblich in ihrer Skala (binär, gebrochen, kontinuierlich) und der Form ihrer Verteilung (schief, gebunden, ausreißeranfällig). Standard-Aggregationsmethoden versagen häufig darin, Vorteile auf Prompt-Ebene robust zuzuweisen, was zu Situationen führt, in denen ein einzelner Rollout das Aktualisierungssignal dominiert.
Belohnungskorrelation: Belohnungsdimensionen innerhalb einer Aufgabe sind oft korreliert (z. B. Codekorrektheit und Antwortlänge oder Erfüllungsgrad von Rubrics und Präferenzscores). Das Summieren korrelierter Belohnungen ohne Anpassung führt zu redundanter Varianz, wodurch das Modell bestimmte Variationen „doppelt zählt" oder nützliche Signale auslöscht, was die effektive Informationseffizienz des aggregierten Vorteils verringert.

Bestehende Methoden wie GRPO (direkte Summation) verschleiern relative Leistungsvariationen, während GDPO (unabhängige Z-Score-Normalisierung) weiterhin anfällig für nicht-gaußsche Verteilungen auf Prompt-Ebene bleibt und die Inter-Belohnungskorrelationen nicht adressiert.

2. Methodik: Reward-Decorrelated Policy Optimization (RDPO)

Die Autoren schlagen RDPO vor, eine leichte, zweistufige Belohnungsverarbeitungs-Pipeline, die explizit die Fehlermodi der Skalinstabilität und der Korrelationsredundanz adressiert.

2.1 Diagnosemetrik: Effektive Informationseffizienz ( $\eta_{eff}$ )

Bevor die Lösung im Detail erläutert wird, führt das Papier $\eta_{eff}$ als Diagnosemaß zur Bewertung der gemischten Belohnungsaggregation ein. Es zerfällt in:

$\eta_{proj}$ (Projektionseffizienz): Misst, wie gut die Aggregation mit einer gleich gewichteten Projektion im standardisierten Belohnungsraum übereinstimmt. Sie bestraft Ungleichgewichte, die durch variierende Belohnungsskalen verursacht werden.
$\eta_{corr}$ (Korrelationseffizienz): Quantifiziert die unabhängige Information, die nach dem Summieren korrelierter Belohnungen erhalten bleibt. Sie bestraft Redundanz, die durch positive oder negative lineare Abhängigkeiten zwischen Belohnungsdimensionen verursacht wird.

2.2 Schritt 1: Magnitude-Aware Quantile (MAQ)-Normalisierung

Ziel: Die Stabilisierung der Vorteilszuweisung auf Prompt-Ebene über binäre, gebrochene und kontinuierliche Belohnungen hinweg, um die Grenzen der Z-Score-Normalisierung unter nicht-gaußschen Bedingungen zu überwinden.

Mechanismus:

Log-komprimierte Lücken: Anstelle einer linearen Skalierung berechnet MAQ den Abstand zwischen sortierten Rollout-Scores unter Verwendung einer logarithmischen Kompressionsfunktion: $gap_j = \log(1 + |r_{j+1} - r_j| / (\beta \cdot \sigma_{global}))$ . Dies schränkt den Einfluss extremer Ausreißer ein, während subtile Unterscheidungen in dichten Bereichen erhalten bleiben.
CDF-Zuweisung: Lücken werden normalisiert, um Positionen der Kumulativen Verteilungsfunktion (CDF) proportional zuzuweisen.
Inverse Normal-Mapping: Werte werden über die inverse CDF ( $\Phi^{-1}$ ) auf eine Standardnormalverteilung abgebildet.

Wirkung: MAQ erzeugt Vorteile, die über Dimensionen hinweg vergleichbar sind und weniger empfindlich auf pathologische Gruppenstatistiken (Bindungen, Schiefe, Ausreißer) reagieren, wodurch sichergestellt wird, dass kein einzelner Rollout das Update auf Prompt-Ebene unverhältnismäßig dominiert.

2.3 Schritt 2: Mahalanobis-Whitening

Ziel: Die Reduzierung redundanter Varianz zwischen gleichzeitig auftretenden Belohnungsdimensionen innerhalb eines spezifischen Aufgaben-Teilraums.

Mechanismus:

Auswahl des Teilraums: In Multi-Task-Szenarien beobachtet ein Rollout selten alle Belohnungsdimensionen. RDPO wendet Whitening ausschließlich über den beobachteten Belohnungs-Teilraum $S$ für eine gegebene Aufgabe an.
Laufende Kovarianzschätzung: Ein Exponentieller Gleitender Durchschnitt (EMA) wird verwendet, um die Kovarianzmatrix $\hat{\Sigma}_t$ der MAQ-normalisierten Vorteile online zu schätzen und Batch-Level-Rauschen zu glätten.
Whitening-Transformation: Der Vorteilvektor $A^{(i,j)}$ wird unter Verwendung der inversen Quadratwurzel der Kovarianzmatrix transformiert: $W^{(i,j)} = \hat{\Sigma}_S^{-1/2} A^{(i,j)}$ . Dies verschiebt die aktiven Belohnungsdimensionen hin zu unkorrelierten Signalen mit Einheitsvarianz.
Aggregation: Der finale skalare Vorteil ist die Summe der ge-whiteneten Dimensionen, gefolgt von einer Batch-weiten Normalisierung.

3. Experimentelles Setup

Modell: LongCat-Flash (Post-Training-Stadium).
Aufgaben: Eine einheitliche Mischung aus vier Aufgabentypen: Mathematisches Schlussfolgern, Code-Generierung, Befolgung von Anweisungen und Allgemeines Schreiben.
Belohnungs-Teilräume:
- Mathematik: Mathematische Korrektheit + Länge.
- Code: Code-Korrektheit + Länge.
- Befolgung von Anweisungen: IFEval + Rubrics.
- Allgemeines Schreiben: Länge + RM (Reward Model) + Rubrics.
Basislinien: GRPO (rohe Summation), GDPO (Z-Score-Normalisierung) und das RL-Initialisierungsmodell.
Validierung: Kleinskalige Validierung an einem kleineren Modell derselben Familie, um die Beiträge von MAQ und Whitening zu isolieren, bevor auf LongCat-Flash skaliert wird.

4. Hauptergebnisse

4.1 Kleinskalige Validierung

Auf einem kleineren internen Modell übertraf die vollständige RDPO-Pipeline GDPO, GRPO und das Initialisierungsmodell in mehreren Metriken:

Befolgung von Anweisungen: Deutliche Verbesserungen bei IFEval (83,55 % vs. 78,56 % für GDPO).
Schlussfolgern & Codierung: Verbesserungen bei AIME24, FullStackBench, HumanEval+ und MBPP+.
Komponentenanalyse: Sowohl MAQ (Q) als auch Whitening (M) lieferten komplementäre Vorteile. MAQ war besonders effektiv bei verteilungssensitiven Metriken (z. B. AH-Creative), während Whitening korrelationssensitiven Settings half.

4.2 Skalierte LongCat-Flash-Ergebnisse

Bei Anwendung auf LongCat-Flash zeigte RDPO:

Befolgung von Anweisungen & Schreiben: RDPO erzielte die höchsten Scores bei IFEval (90,39 %), GuideBench, SOP-Maze, WritingBench und beiden ArenaHard v2-Teilsets (AH-Creative: 89,00 %, AH-Hard: 76,10 %). Dies bestätigt die Nützlichkeit der Stabilisierung von Vorteilen auf Prompt-Ebene und der Reduzierung von Redundanz für offene, präferenzsensitive Aufgaben.
Schlussfolgern & Codierung: Die Ergebnisse waren allgemein wettbewerbsfähig, aber gemischt. RDPO erreichte das beste MATH500-Ergebnis (98,60 %) und blieb bei AIME2025 und GPQA wettbewerbsfähig. Bei der Codierung führte RDPO bei MBPP+ und LiveCodeBench v6, während GRPO oder das Initialisierungsmodell bei FullStackBench und HumanEval+ stärker blieben.
Gesamtstabilität: Die Methode übertrug sich erfolgreich von der kleinskaligen Validierung auf das großskalige Training, wobei eine stabile Schlussfolgerungs- und Codierungsleistung beibehalten wurde, während Befolgung von Anweisungen und Schreibqualität signifikant gesteigert wurden.

5. Bedeutung und Behauptungen

Das Papier behauptet, dass RDPO eine robuste Lösung für Multi-Objective-RL im Post-Training von LLMs bietet, indem es explizit die beiden Fehlermodi der Skalinstabilität und der Korrelationsredundanz adressiert.

Methodischer Beitrag: Durch die Kombination von Magnitude-Aware Quantile-Normalisierung mit Mahalanobis-Whitening stellt RDPO sicher, dass das aggregierte Vorteilssignal sowohl geometrisch konsistent (gleicher Beitrag über Dimensionen hinweg) als auch informationseffizient (Minimierung redundanter Varianz) ist.
Praktische Auswirkung: Die Methode ermöglicht die gleichzeitige Optimierung heterogener Aufgaben (z. B. Mathematik, Code, Schreiben) ohne die typischerweise mit gemischten Belohnungsformulierungen verbundene Trainingsinstabilität.
Leistung: Die Autoren kommen zu dem Schluss, dass RDPO die Befolgung von Anweisungen, die Schreibqualität und die Robustheit gegenüber schwierigen Prompts verbessert, während es bei Schlussfolgerungs- und Codierungsbewertungen allgemein wettbewerbsfähig bleibt, was seine Wirksamkeit als allgemeine Belohnungsverarbeitungsstrategie für komplexe RL-Umgebungen validiert.