Technisches Resümee: Normalisierte Belohnungen für die Präferenzoptimierung

Problemstellung

Direkte Alignment-Algorithmen (DAAs), wie Direct Preference Optimization (DPO) und SimPO, sind zum Standard für die Ausrichtung von Large Language Models (LLMs) an menschliche Präferenzen geworden, da sie im Vergleich zu Reinforcement Learning from Human Feedback (RLHF) eine höhere Recheneffizienz aufweisen. Jüngste Arbeiten haben jedoch eine kritische Einschränkung identifiziert: DAAs leiden häufig unter einer Überoptimierung ihrer impliziten Belohnungsmodelle.

Eine primäre Manifestation hiervon ist die Likelihood-Displacement (Wahrscheinlichkeitsverschiebung), ein Phänomen, bei dem die Likelihoods sowohl der bevorzugten als auch der nicht-bevorzugten Antworten während des Trainings gleichzeitig sinken. Dies geschieht, weil Standard-DAA-Zielfunktionen (DPO, SimPO) die Differenz der Belohnungen zwischen Antwortpaaren optimieren, wodurch die Partitionsfunktion $Z(x)$ mathematisch herausfällt. Folglich wird das Modell nicht dazu motiviert, eine kalibrierte Schätzung der gesamten Wahrscheinlichkeitsmasse über den Antwortraum hinweg aufrechtzuerhalten. Dieser Mangel an Normalisierung führt zu spuriösen Wahrscheinlichkeitsverschiebungen, insbesondere für „ungesehene“ Antworten (jene, die nicht im Trainingspaar enthalten sind), was potenziell zu unerwünschten oder schädlichen Verhaltensweisen führen kann.

Bestehende Hypothesen zur Überoptimierung – wie eine hohe Embedding-Ähnlichkeit zwischen Paaren oder unzureichende Regularisierung – lassen sich weder auf referenzbasierte (z. B. DPO) noch auf referenzfreie (z. B. SimPO) Methoden verallgemeinern. Zudem konzentrieren sich vorangegangene Analysen oft auf einzelne Instanzen von DAAs anstatt auf den gemeinsamen Mechanismus der Normalisierung.

Methodik

Die Autoren schlagen vor, dass die Überoptimierung der Belohnung aus einer mangelnden Normalisierung der impliziten Belohnung resultiert. Um dem entgegenzuwirken, führen sie einen Regularisierungsterm ein, der darauf abzielt, die gesamte längen-normalisierte Wahrscheinlichkeitsmasse der gewählten ($y_w$) und der abgelehnten ($y_l$) Antworten innerhalb eines Präferenzpaares zu konservieren.

Der Regularisierungsterm

Die zentrale Erkenntnis ist, dass für ein parametrisiertes Sprachmodell, das eine Softmax-Funktion anwendet, die Ausgabeverteilung während des Trainings normiert bleiben sollte (Partitionsfunktion = 1). Da die Schätzung der vollständigen Partitionsfunktion über alle möglichen Antworten hinweg unpraktikabel ist, erzwingen die Autoren die Normalisierung auf den gesehenen Antworten.

Sie definieren einen Regularisierungs-Penalty $R(\pi_\theta, \pi_{ref}, x, y_w, y_l)$:
$$R = \lambda \left( \log \frac{\bar{\pi}_\theta(y_w|x) + \bar{\pi}_\theta(y_l|x)}{\bar{\pi}_{ref}(y_w|x) + \bar{\pi}_{ref}(y_l|x)} \right)^2$$
Wobei:

• $\bar{\pi}$ die längen-normalisierten Wahrscheinlichkeiten bezeichnet (um den Längen-Bias zu mildern).
• $\lambda$ ein Hyperparameter ist.
• Der Term das quadratische Log-Verhältnis der dem Paar zugewiesenen gesamten Wahrscheinlichkeitsmasse durch das aktuelle Modell gegenüber dem Referenzmodell minimiert.

Dieser Penalty wird den Standard-Zielfunktionen hinzugefügt:

1. N-DPO: $L_{N-DPO} = L_{DPO} + R$
2. N-SimPO: $L_{N-SimPO} = L_{SimPO} + R$

Mechanistische Analyse

Das Paper liefert eine theoretische Gradientenanalyse dieses Regularisierungsterms. Der Gradient von $R$ in Bezug auf die Modellparameter $\theta$ ist umgekehrt proportional zur Likelihood einzelner Token.

• Ausreißer-Token: Die Analyse zeigt, dass die Likelihood-Displacement durch eine kleine Gruppe von Ausreißer-Token mit sehr geringen Likelihoods getrieben wird. Diese Token dominieren die Gradienten-Updates.
• Milderung: Wenn die gesamte Antwort-Wahrscheinlichkeit sinkt, erzeugt der Regularisierungsterm Gradienten, die primär die Likelihood dieser Low-Likelihood-Ausreißer-Token erhöhen. Dies formt die Belohnungsverteilung neu und verhindert die massiven spuriösen Einbrüche der Wahrscheinlichkeit, die mit der Verschiebung einhergehen, während gleichzeitig minimale Änderungen an hoch-wahrscheinlichen Token vorgenommen werden, die für die Generierung relevant sind.

Zentrale Beiträge

1. Identifizierung des Normalisierungsdefizits: Die Autoren zeigen auf, wie die Unfähigkeit, die Verteilung ungesehener Antworten zu berücksichtigen (aufgrund des Wegfalls der Partitionsfunktion in Standard-Zielfunktionen), zur Likelihood-Displacement führt.
2. Mechanistische Erklärung: Sie verknüpfen die Likelihood-Displacement mit der Konzentration von Wahrscheinlichkeitsverschiebungen auf Ausreißer-Token und demonstrieren mittels Gradientenanalyse, dass ihr Regularisierer diese Verschiebungen durch die Nutzung von Low-Likelihood-Token abmildert.
3. Neuartige Zielfunktionen: Sie schlagen N-DPO und N-SimPO vor, die den vorgeschlagenen Regularisierungsterm enthalten und sowohl auf referenzbasierte als auch auf referenzfreie Alignment-Methoden anwendbar sind.
4. Empirische Validierung: Sie zeigen, dass diese modifizierten Zielfunktionen den Trade-off zwischen Generationsqualität und allgemeinen Benchmark-Fähigkeiten verbessern.

Experimentelle Ergebnisse

Die Autoren evaluierten N-DPO und N-SimPO auf Mistral-7B-Instruct, Llama-3.1-8B-Instruct und OLMo-7B-SFT unter Verwendung des UltraFeedback-Datensatzes.

• Generationsqualität (AlpacaEval):

  • Bei Llama-3.1-8B-Instruct erreichte N-DPO eine relative Steigerung von >20 % bei den AlpacaEval2 (Length-Controlled) Scores im Vergleich zu Standard-DPO.
  • Bei OLMo-7B-SFT zeigte N-SimPO eine relative Steigerung von >75 % beim AlpacaEval2 (Raw Win-Rate) im Vergleich zu SimPO.
  • Die vorgeschlagenen Methoden übertrafen im Allgemeinen andere Regularisierungs-Baselines wie DPO+SFT und DPOP.

• Allgemeine Benchmark-Leistung:

  • Im Gegensatz zum typischen Trade-off, bei dem verbesserte Generierung die allgemeinen Fähigkeiten verschlechtert, behielten N-DPO und N-SimPO die Scores bei Common-Sense- und Reasoning-Benchmarks (MMLU, ARC, HellaSwag etc.) bei oder verbesserten diese sogar.
  • Für Llama-3.1-8B-Instruct verbesserte N-DPO die durchschnittlichen Benchmark-Scores um über 3 %, während es gleichzeitig die Generationsqualität steigerte.

• Belohnungsmodellierung (Reward Modeling):

  • Modelle, die mit dem Regularisierungsterm trainiert wurden, zeigten eine verbesserte oder vergleichbare Genauigkeit der Belohnungsmodellierung auf Hold-out-Datensätzen (HH-RLHF, HelpSteer2) im Vergleich zu Standard-DPO/SimPO, während DPO+SFT und DPOP signifikante Einbußen in der Genauigkeit zeigten.

• Likelihood-Dynamik:

  • Die Trainingskurven bestätigten, dass die Regularisierung die Likelihood-Displacement mildert. In N-DPO blieben die Likelihoods der gewählten Antworten stabil, während sie in Standard-DPO signifikant sanken.
  • Eine Token-Level-Analyse bestätigte, dass die Regularisierung gezielt die Verteilung der minimalen Token-Belohnungen (Ausreißer) adressiert und korrigiert.

Bedeutung und Ansprüche

Das Paper behauptet, dass die Belohnungsnormalisierung ein kritischer, bisher übersehener Faktor für den Erfolg von Direkten Alignment-Algorithmen ist. Durch die explizite Erzwingung der Konservierung der Wahrscheinlichkeitsmasse für gesehenen Antworten erreicht die vorgeschlagene Methode:

1. Milderung der Likelihood-Displacement: Sie verhindert spuriose Wahrscheinlichkeitsverschiebungen, die zu schädlichem Verhalten führen können, insbesondere durch die Korrektur des Verhaltens von Ausreißer-Token.
2. Verbesserung der Trade-offs: Sie ermöglicht es Modellen, Präferenzen effektiver zu lernen, ohne allgemeine Fähigkeiten zu opfern, und adressiert damit das Problem der „Überoptimierung“, welches die Zuverlässigkeit von DAAs eingeschränkt hat.
3. Generalisierbarkeit: Der Ansatz ist sowohl für referenzbasierte (DPO) als auch für referenzfreie (SimPO) Frameworks effektiv, was auf einen einheitlichen Mechanismus der Überoptimierung hindeutet.

Die Autoren kommen zu dem Schluss, dass ihre Analyse beleuchtet, warum DAAs die Generationsqualität verbessern trotz sinkender Likelihoods (aufgrund von Ausreißer-Token-Verschiebungen), und demonstriert, dass die Nutzung von Low-Likelihood-Token zur Regularisierung eine effektive Strategie zur Neugestaltung von Belohnungsverteilungen ist. Sie merken an, dass sich ihre aktuelle Analyse auf Offline-Settings konzentriert, die Ergebnisse jedoch weitere Forschung zum granularen Verhalten von Belohnungsmodellen in der Präferenzoptimierung anregen.