💬 NLP

Offline Preference Optimization via Maximum Marginal Likelihood Estimation

Dieses Paper stellt MMPO vor, eine stabile und vereinfachte Methode zur Offline-Präferenzoptimierung, die Large Language Models durch die Maximierung der marginalen Log-Likelihood an menschliche Präferenzen anpasst, wodurch die Notwendigkeit expliziter Belohnungsmodelle entfällt und gleichzeitig die Baselines in Bezug auf die Qualität der Ausrichtung sowie die Erhaltung allgemeiner Fähigkeiten übertrifft.

Ursprüngliche Autoren: Saeed Najafi, Alona Fyshe

Veröffentlicht 2026-01-27

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Saeed Najafi, Alona Fyshe

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Einem Roboter beibringen, „höflich“ zu sein

Stellen Sie sich vor, Sie haben einen sehr intelligenten Roboter (ein Large Language Model), der fast alles im Internet gelesen hat. Er kann Geschichten schreiben, Matheaufgaben lösen und Fragen beantworten. Er ist jedoch ein wenig wie ein brillanter, aber chaotischer Teenager: Er weiß zwar, wie man spricht, aber er weiß nicht immer, was Menschen eigentlich hören wollen. Manchmal ist er unhöflich, manchmal verwirrend und manchmal erfindet er einfach Dinge dazu.

Um das zu beheben, müssen wir den Roboter an menschliche Vorlieben anpassen („aligning“). Die derzeitige Standardmethode hierfür heißt RLHF (Reinforcement Learning from Human Feedback). Denken Sie dabei an einen strengen Trainer, der den Roboter beobachtet, ihm Punkte für gute Antworten gibt und Punkte für schlechte Antworten abzieht. Aber dieser Prozess ist mühsam, teuer und der Roboter wird oft durch die inkonsistenten Regeln des Trainers verwirrt.

Vor kurzem wurde eine einfachere Methode namens DPO erfunden. Das ist so, als würde man den Trainer überspringen und dem Roboter stattdessen einfach zwei Antworten zeigen (eine gute und eine schlechte) und sagen: „Wähle die gute aus.“ Das funktioniert besser, hat aber immer noch einige Eigenheiten und kann instabil werden, wenn man die Einstellungen zu stark verändert.

Dieses Paper stellt eine neue Methode namens MMPO vor. Die Autoren sagen: „Lassen Sie uns einen völlig anderen Ansatz versuchen.“ Anstatt zu versuchen, dem Roboter beizubringen, den Gewinner zu wählen, behandeln sie das Problem als eine Schätzung der Marginalwahrscheinlichkeit (marginal likelihood).

Die Kernidee: Das Spiel mit der „besten Vermutung“

Um MMPO zu verstehen, stellen Sie sich vor, Sie versuchen, das Ende einer Krimi-Geschichte zu erraten. Sie kennen den Anfang (den Prompt) und haben zwei mögliche Enden:

Das gute Ende: Dasjenige, das Menschen bevorzugen.
Das schlechte Ende: Dasjenige, das Menschen missfallen.

Der alte Weg (DPO/RLHF):
Die alten Methoden sind wie ein Spiel von „Heiß oder Kalt“. Sie berechnen einen Wert für das gute Ende, einen Wert für das schlechte Ende und versuchen dann, das gute Ende nach oben und das schlechte Ende nach unten zu drücken. Es ist ein bisschen so, als würde man versuchen, eine Wippe auszubalancieren; wenn man eine Seite zu stark drückt, kippt das ganze System um (Instabilität).

Der neue Weg (MMPO):
Die Autoren schlagen einen anderen Ansatz vor, der auf der Maximum Marginal Likelihood (MML) basiert.

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht herauszufinden, wie wahrscheinlich es ist, dass ein bestimmtes „gutes Ende“ das tatsächliche Ende der Geschichte war, gegeben dass Sie nur wenige Hinweise haben (die zwei Enden, die Sie vor sich liegen haben).

Anstatt die beiden Enden direkt miteinander zu vergleichen, fragt MMPO: „Wenn wir uns alle möglichen Wege ansehen, wie diese Geschichte enden könnte, wie wahrscheinlich ist es, dass das ‚gute Ende‘ dasjenige ist, das tatsächlich passiert ist?“

Um dies zu tun, betrachtet die Mathematik sowohl das gute als auch das schlechte Ende als „Stichproben“ (Clues), um diese Wahrscheinlichkeit zu schätzen.

Es benötigt keinen separaten „Trainer“ (Reward Model), der ihm sagt, was gut ist.
Es muss den Roboter nicht künstlich dazu zwingen, „kreativ“ zu sein (Entropie-Maximierung), nur um der Mäßigkeit willen.

Der magische Trick: Wie es ohne Trainer funktioniert

Das Paper behauptet, dass der Roboter durch die Verwendung dieser „Besten Vermutung“-Mathematik implizit lernt, die gute Antwort zu bevorzugen, ohne dass ihm dies explizit gesagt werden muss.

Hier ist die Analogie:
Stellen Sie sich vor, Sie bringen einem Hund bei, sich hinzusetzen.

RLHF: Sie haben einen Trainer mit einem Clicker und Leckerlis. Sie klicken, wenn der Hund sitzt, und nicht, wenn er es nicht tut.
DPO: Sie zeigen dem Hund ein Bild von ihm beim Sitzen und ein Bild von ihm beim Stehen und sagen: „Ich mag das sitzende Bild lieber.“
MMPO: Sie schauen sich einfach das „Sitz“-Bild an und berechnen die Wahrscheinlichkeit, dass dies das korrekte Verhalten ist, basierend auf den Beweisen, die Sie haben.

Das Paper beweist mathematisch, dass wenn man diese Berechnung durchführt, die Mathematik den Roboter natürlicherweise dazu bringt, das „gute Ende“ häufiger zu wählen. Es ist, als ob die Mathematik selbst als Belohnungssystem fungiert. Der Roboter lernt, die Wahrscheinlichkeit der guten Antwort zu erhöhen und die der schlechten leicht zu senken – und das alles in einem einzigen, fließenden Vorgang.

Warum ist das besser? (Die Ergebnisse)

Die Autoren haben dies an Robotern unterschiedlicher Größe getestet (von kleinen „Spielzeug“-Robotern bis hin zu großen, „gehirnreichen“ Modellen). Hier ist, was sie herausgefunden haben:

Es ist stabiler:
Denken Sie an das Einstellen eines Radios. Bei den alten Methoden (DPO) kann es passieren, dass, wenn Sie den Regler (eine Einstellung namens $\beta$ ) nur ein winziges Stück drehen, die Musik in Rauschen übergeht oder ganz aussetzt. Mit MMPO bleibt das Radio klar, egal wie sehr Sie am Regler drehen. Es ist viel schwieriger, das Training zu „kaputtzumachen“.
Es bewahrt die Intelligenz des Roboters:
Manchmal, wenn man einem Roboter beibringt, höflich zu sein, vergisst er, wie man rechnet oder Witze erzählt. Er wird zu einem „Ja-Sager“, der zwar sicher, aber langweilig ist.
Das Paper zeigt, dass MMPO besser darin ist, die ursprüngliche Intelligenz des Roboters zu bewahren. Er lernt, höflich zu sein, oh% dabei zu vergessen, ein vielseitiger Assistent zu sein.
Es gewinnt öfter:
Als sie ihre neue Methode in einem Wettbewerb gegen die alten Methoden antraten (AlpacaEval), gewann MMPO konsistent oder teilte sich den ersten Platz, insbesondere bei den kleineren, effizienteren Modellen.

Die „Geheimzutat“-Zutaten

Das Paper führte auch Experimente durch, um zu sehen, welche Teile ihres Rezepts essenziell waren. Sie fanden zwei Schlüsselzutaten, die den Zauber ermöglichten:

In-Batch-Normalisierung: Dies ist so, als würde man sicherstellen, dass alle in einem Klassenzimmer nach derselben Skala benotet werden. Wenn ein Schüler eine Eins plus bekommt und ein anderer eine Sechs, passt der Lehrer die Noten an, damit der Vergleich fair ist. Dies verhindert, dass ein einzelnes seltsames Beispiel die gesamte Lektion durcheinanderbringt.
Keine „zusätzliche“ Entropie: Sie fanden heraus, dass der Versuch, den Roboter zur „Vielfalt“ zu zwingen (Entropie-Maximierung), die Leistung sogar verschlechterte. Sie ließen die Mathematik die Arbeit natürlich erledigen.

Zusammenfassung

Kurz gesagt sagt dieses Paper: „Hören Sie auf, ein komplexes Belohnungssystem zu bauen, um Robotern beizubringen, was Menschen mögen. Verwenden Sie statstattdessen einen einfachen statistischen Trick, der menschliche Vorlieben als Hinweise behandelt. Dieser Trick lehrt den Roboter auf natürliche Weise, hilfreich zu sein, hält ihn stabil und stellt sicher, dass er nicht vergisst, wie man intelligent ist.“

Sie nennen diese neue Methode MMPO (Maximum Marginal Likelihood Preference Optimization) und glauben, dass dies ein einfacherer und zuverlässigerer Weg ist, KI an menschlichen Werten auszurichten.

Technisches Resümee: Offline-Präferenzoptimierung mittels Maximum-Marginal-Likelihood-Schätzung

Problemstellung

Die Ausrichtung von Large Language Models (LLMs) an menschlichen Präferenzen ist ein entscheidender Schritt für den Einsatz in der realen Welt, was traditionell durch Reinforcement Learning from Human Feedback (RLHF) erreicht wird. Der Standard-RLHF-Prozess ist jedoch komplex und instabil, da er das Training eines separaten Belohnungsmodells (Reward Model) und die Verwendung sensibler Policy-Gradient-Algorithmen wie Proximal Policy Optimization (PPO) erfordert. Direct Preference Optimization (DPO) vereinfachte dies, indem es die Ausrichtung als Klassifizierungsproblem umformulierte, doch dessen Verlustfunktion leitet sich immer noch vom RLHF-Ziel ab, was implizit die Optimierung der Entropie des Sprachmodells fördert. Die Autoren untersuchen, ob eine effektive Ausrichtung unter noch entspannteren Annahmen erreicht werden kann, insbesondere durch den Verzicht auf die explizite Notwendigkeit sowohl einer Belohnungsfunktion als auch des in Standard-RLHF-Zielen inhärenten Entropie-Maximierungsterms.

Methodik: MMPO

Das Paper schlägt Maximum Marginal Likelihood Preference Optimization (MMPO) vor, einen neuartigen Algorithmus zur Offline-Präferenzausrichtung.

Theoretische Grundlage

MMPO formuliert das Ausrichtungsproblem durch die Linse der Maximum Marginal Likelihood (MML) Schätzung neu. Anstatt direkt auf Präferenzen zu optimieren, maximiert die Methode die marginale Log-Likelihood eines bevorzugten Textausgangs $y$ gegeben einen Input $x$ .

Formulierung: Das Ziel ist die Maximierung von $P_\theta(y|x) = \sum_z \pi_\theta(z|x) \times P^*(y|x, z)$ , wobei $z$ mögliche Textvervollständigungen darstellt und $P^*$ die wahre zugrunde liegende Verteilung ist.
Approximation: Da die Summation über alle möglichen $z$ unpraktikabel ist, approximiert die Methode die Marginalisierung unter Verwendung der bereitgestellten Präferenzpaare $(z_w, z_l)$ (gewählte und abgelehnte Antworten) als Stichproben.
Stabilität: Um die numerische Stabilität während des Trainings zu gewährleisten, wird das Ziel unter Verwendung der log-sum-exp-Operation reformuliert.

Theoretische Verbindung zur Präferenzoptimierung

Die Autoren zeigen (Theorem 3.2), dass die Optimierung des approximierten MML-Ziels auf einem Präferenzdatensatz implizit eine Präferenzoptimierung durchführt.

Impliziter Gradient: Die resultierende Gradientenaktualisierung erweist sich als äquivalent zu einer gewichteten Summe der Gradienten für die gewählten ( $z_w$ ) und die abgelehnten ( $z_l$ ) Antworten.
Gewichtungsmechanismus: Das Update gewichtet die gewählte Antwort im Verhältnis zur abgelehnten Antwort natürlich höher, moduliert durch eine Sigmoid-Funktion ihrer Score-Differenz ( $\sigma(s_w - s_l)$ ).
Wesentlicher Unterschied: Dieser Prozess erreicht die Präferenzausrichtung ohne die explizite Formulierung einer Belohnungsfunktion oder eines Entropie-maximierenden Terms.

Implementierung des Algorithmus

Die MMPO-Verlustfunktion beinhaltet mehrere spezifische Designentscheidungen:

Score-Definition: Die Scores $s_w$ und $s_l$ werden basierend auf Log-Wahrscheinlichkeiten und einem Belohnungsterm definiert (approximiert über die Log-Wahrscheinlichkeiten des Referenzmodells und einen Hyperparameter $\beta$ ).
In-Batch-Normalisierung: Um das Training zu stabilisieren und zu verhindern, dass Ausreißer die Gradienten dominieren, werden die Belohnungen innerhalb eines Mini-Batches normalisiert. Dies stellt sicher, dass relative Scores auf einer konsistenten Skala liegen.
Hilfsziel (Auxiliary Objective): Ein Hilfsterm, $\log \sigma(s_w - s_l)$ , wird hinzugefügt, um die Präferenzbeschränkung ( $s_w \ge s_l$ ) explizit zu verstärken, was ein direktes Aufsichtssignal liefert, ähnlich wie DPO, aber auf normalisierten Scores statt auf Log-Wahrscheinlichkeitsverhältnissen relativ zu einem SFT-Modell operiert.

Zentrale Beiträge

Einführung des Algorithmus: Der Vorschlag von MMPO, einem neuen Offline-Präferenzoptimierungsalgorithmus, der Präferenzpaare als Stichproben für die MML-Schätzung behandelt.
Theoretische Analyse: Ein Beweis, dass MMPO auf Präferenzpaaren äquivalent zu einer gewichteten Gradientenaktualisierung ist, die bevorzugte Antworten inhärent begünstigt, ohne explizite Belohnungsmodellierung oder Entropieterme.
Empirische Stabilität: Demonstration, dass MMPO im Vergleich zu DPO und SimPO signifikant stabiler gegenüber dem Schlüsselhyperparameter $\beta$ ist.
Erhalt der Fähigkeiten: Beleg dafür, dass MMPO die allgemeinen Sprachfähigkeiten (Schlussfolgerung und Verständnis) von Basis-Instruction-getunten Modellen besser bewahrt als bestehende Baselines.
Benchmark-Leistung: Erzielung kompetitiver oder überlegener Win-Raten auf dem AlpacaEval-2 Benchmark über Modelle mit 135M bis 8B Parametern hinweg.

Experimentelle Ergebnisse

Die Autoren evaluierten MMPO auf vier Modellgrößen (SmolLM2-135M, SmolLM2-360M, Llama3.2-1B und Llama3-8B) unter Verwendung der Orca DPO Pairs und UltraFeedback-Binarized Datensätze.

Stabilität: Im Gegensatz zu DPO und SimPO, die eine signifikante Sensitivität gegenüber dem Hyperparameter $\beta$ zeigten, behielt MMPO eine konsistente Leistung über einen Bereich von $\beta$ -Werten (0,01, 0,05, 0,5) bei.
Präferenzausrichtung: MMPO erreichte starke Win-Raten auf AlpacaEval-2. Beispielsweise verbesserte MMPO bei SmolLM2-135M die Win-Raten monoton auf 67,3 %, während DPO sehr niedrige Win-Raten lieferte und SimPO über die Trainingsepochen hinweg signifikant degradierte.
Erhalt der allgemeinen Fähigkeiten: Bewertet auf dem LM Harness Benchmark (10 diverse Aufgaben des Sprachverständnisses), verursachte MMPO minimale Degradationen in den allgemeinen Sprachfähigkeiten. Im Gegensatz dazu zeigten DPO und SimPO oft signifikante Einbußen in der Genauigkeit, insbesondere wenn sie für hohe Präferenzausrichtung getunt wurden.
Pareto-Optimalität: MMPO demonstrierte ein günstigeres Trade-off-Profil, indem es höhere Präferenz-Win-Raten mit minimalem Opfer der allgemeinen Denkfähigkeiten im Vergleich zu den Baselines lieferte.

Ablationsstudien

Experimente am SmolLM2-360M Modell ergaben:

Längen-Normalisierung: Verbesserte die allgemeine Genauigkeit, steigerte jedoch die Präferenz-Win-Raten nicht signifikant.
Entropie-Maximierung: Das explizite Hinzufügen eines Entropie-Terms verschlechterte die Leistung in beiden Benchmarks, was darauf hindeutet, dass die implizite Optimierung in MMPO ausreichend ist und eine explizite Förderung der Diversität in diesem Kontext kontraproduktiv ist.
Hilfsverlust & Normalisierung: Das Entfernen des DPO-ähnlichen Hilfsverlusts oder der In-Batch-Normalisierung verbesserte die Win-Raten leicht, verschlechterte jedoch die Spitzen-Genauigkeit der allgemeinen Fähigkeiten, was auf einen Trade-off hindeutet, bei dem der Kern-log-sum-exp-Term die Leistung antreibt, während die Hilfskomponenten helfen, die allgemeinen Fähigkeiten zu bewahren.

Bedeutung und Ansprüche

Das Paper behauptet, dass MMPO eine einfachere, stabilere Alternative zu aktuellen Ausrichtungs-Paradigmen bietet. Durch die Umformulierung der Ausrichtung als MML-Schätzproblem eliminiert es die Notwendigkeit expliziter Belohnungsmodelle und Entropie-Regularisierung und erreicht implizit die gewünschte Präferenzoptimierung. Die Autoren betonen, dass die Stabilität von MMPO eine inhärente Eigenschaft seiner Formulierung ist (resultierend aus der In-Batch-Normalisierung und der log-sum-exp-Operation) und nicht das Ergebnis komplexer Kalibrierungsmechanismen.

Die Arbeit legt nahe, dass eine effektive Ausrichtung nicht strikt die komplexe Maschinerie von RLHF oder die spezifischen Einschränkungen von DPO erfordert. Stattdessen bietet die Maximierung der marginalen Likelihood bevorzugter Ausgaben unter Verwendung von Präferenzpaaren als Stichproben einen robusten Weg zur Ausrichtung, der die grundlegenden Sprachfähigkeiten des Modells bewahrt. Die Autoren merken an, dass die aktuelle Evaluierung aufgrund von Ressourcenbeschränkungen auf Offline-Settings und Modelle bis zu 8B Parametern begrenzt ist, die Methode jedoch einen vielversprechenden Weg zur Vereinfachung der LLM-Ausrichtungs-Pipeline darstellt.