💬 NLP

Offline Preference Optimization via Maximum Marginal Likelihood Estimation

Dit artikel introduceert MMPO, een stabiele en vereenvoudigde offline preferentie-optimalisatiemethode die Large Language Models afstemt op menselijke voorkeuren door de marginale log-likelihood te maximaliseren, waardoor de noodzaak voor expliciete beloningsmodellen wordt geëlimineerd terwijl het baselines overtreft in zowel de kwaliteit van de afstemming als het behoud van algemene capaciteiten.

Oorspronkelijke auteurs: Saeed Najafi, Alona Fyshe

Gepubliceerd 2026-01-27

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Saeed Najafi, Alona Fyshe

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Een Robot Leren "Beleefd" te Zijn

Stel je voor dat je een zeer slimme robot hebt (een Large Language Model) die bijna alles op het internet heeft gelezen. Hij kan verhalen schrijven, wiskundige problemen oplossen en vragen beantwoorden. Echter, hij is een beetje als een briljante maar chaotische tiener: hij weet hoe hij moet praten, maar hij weet niet altijd wat mensen eigenlijk willen horen. Soms is hij onbeleefd, soms is hij verwarrend, en soms verzint hij gewoon dingen.

Om dit op te lossen, moeten we de robot "afstemmen" (alignen) op menselijke voorkeuren. De huidige standaardmethode om dit te doen is RLHF (Reinforcement Learning from Human Feedback). Zie dit als het inhuren van een strenge coach die de robot observeert, hem punten geeft voor goede antwoorden en punten aftrekt voor slechte antwoorden. Maar dit proces is rommelig, duur, en de robot raakt vaak in de war door de inconsistente regels van de coach.

Onlangs werd een eenvoudigere methode uitgevonden genaamd DPO. Dit is alsof je de coach overslaat en de robot simpelweg twee antwoorden laat zien (één goed, één slecht) en zegt: "Kies de goede." Dit werkt beter, maar het heeft nog steeds wat eigenaardigheden en kan instabiel zijn als je de instellingen te veel aanpast.

Dit paper introduceert een nieuwe methode genaamd MMPO. De auteurs zeggen: "Laten we een compleet andere invalshoek proberen." In plaats van de robot te leren om de winnaar te kiezen, behandelen ze het probleem als een schatting van de marginale waarschijnlijkheid (marginal likelihood).

Het Kernidee: Het "Beste Gok"-spel

Om MMPO te begrijpen, stel je voor dat je probeert de afloop van een mysterieverhaal te raden. Je kent het begin (de prompt), en je hebt twee mogelijke eindes:

Het Goede Einde: Het einde dat mensen verkiezen.
Het Slechte Einde: Het einde dat mensen niet leuk vinden.

De Oude Manier (DPO/RLHF):
De oude methoden zijn als een spelletje "Warm of Koud". Ze berekenen een score voor het Goede Einde, een score voor het Slechte Einde, en proberen vervolgens het Goede Einde omhoog te duwen en het Slechte Einde omlaag. Het is een beetje zoals het balanceren van een wipwap; als je te hard aan de ene kant duwt, slaat de hele boel om (instabiliteit).

De Nieuwe Manier (MMPO):
De auteurs stellen een andere aanpak voor op basis van Maximum Marginal Likelihood (MML).

Stel je voor dat je een detective bent die probeert te achterhalen hoe waarschijnlijk het is dat een specif kind "Goed Einde" het werkelijke einde van het verhaal was, gegeven dat je slechts een paar aanwijzingen hebt (de twee eindes waar je naar kijkt).

In plaats van de twee eindes direct met elkaar te vergelijken, vraagt MMPO: "Als we kijken naar alle mogelijke manieren waarop dit verhaal zou kunnen eindigen, hoe waarschijnlijk is het dan dat het 'Goede Einde' het einde is dat daadwerkelijk heeft plaatsgevonden?"

Om dit te doen, bekijkt de wiskunde zowel het Goede Einde als het Slechte Einde als "samples" (aanwijzingen) om die waarschijnlijkheid te schatten.

Het heeft geen aparte "Coach" (Reward Model) nodig om te vertellen wat goed is.
Het hoeft de robot niet te dwingen om "creatief" te zijn (Entropy Maximization) puur om het creëren van diversiteit.

De Magische Truk: Hoe het werkt zonder Coach

Het paper beweert dat door deze "Beste Gok"-wiskunde te gebruiken, de robot impliciet leert om het goede antwoord te verkiezen zonder dat dit expliciet wordt gezegd.

Hier is de analogie:
Stel je voor dat je een hond leert om te zitten.

RLHF: Je hebt een trainer met een clicker en snoepjes. Je klikt wanneer de hond zit, en doet dat niet wanneer hij dat niet doet.
DPO: Je laat de hond een foto zien van hemzelf terwijl hij zit en een foto van hemzelf terwijl hij staat, en je zegt: "Ik vind de zittende foto leuker."
MMPO: Je kijkt simpelweg naar de "zittende" foto en berekent de waarschijnlijkheid dat dit het juiste gedrag is op basis van de bewijzen die je hebt.

Het paper bewijst wiskundig dat wanneer je deze berekening uitvoert, de wiskunde de robot natuurlijk naar de "Goede Einde" duwt. Het is alsof de wiskunde zelf als het beloningssysteem fungeert. De robot leert de waarschijnlijkheid van het goede antwoord te verhogen en de slechte iets te verlagen, allemaal in één vloeiende beweging.

Waarom is dit beter? (De Resultaten)

De auteurs testten dit op robots van verschillende groottes (van kleine "speelgoed" robots tot grote "breinachtige" robots). Dit is wat ze vonden:

Het is Stabieler:
Denk aan het afstemmen van een radio. Met de oude methoden (DPO), als je de draaiknop (een instelling genaamd $\beta$ ) ook maar een klein beetje draait, kan de muziek veranderen in ruis of helemaal wegvallen. Met MMPO blijft de radio helder, ongeacht hoe je de knop draait. Het is veel moeilijker om de training te "breken".
Het Houdt de Robot Slim:
Soms, wanneer je een robot leert om beleefd te zijn, vergeet hij hoe hij moet rekenen of grappen moet maken. Hij wordt een "ja-knikker" die wel veilig is, maar saai.
Het paper laat zien dat MMPO beter is in het behouden van de oorspronkelijke intelligentie van de robot. Het leert de robot beleefd te zijn zonder te vergeten hoe hij een algemene assistent moet zijn.
Het Wint Vaker:
Wanneer ze hun nieuwe methode tegenover de oude methoden lieten strijden in een competitie (AlpacaEval), won MMPO consequent of eindigde het gelijk op de eerste plaats, vooral bij de kleinere, efficiëntere modellen.

De "Geheime Saus" Ingrediënten

De auteurs hebben ook experimenten uitgevoerd om te zien welke delen van hun recept essentieel waren. Ze ontdekten twee belangrijke ingrediënten die de magie lieten werken:

In-Batch Normalization: Dit is als ervoor zorgen dat iedereen in een klaslokaal op dezelfde schaal wordt beoordeeld. Als de ene leerling een A+ krijgt en de andere een F, past de docent de scores aan zodat de vergelijking eerlijk is. Dit voorkomt dat één vreemd voorbeeld de hele les verpest.
Geen "Extra" Entropie: Ze ontdekten dat het proberen te dwingen van de robot om "divers" te zijn (entropy maximization) het proces eigenlijk slechter maakte. Ze lieten de wiskunde het werk natuurlijk doen.

Samenvatting

Kortom, dit paper zegt: "Stop met het proberen te bouwen van een complex beloningssysteem om robots te leren wat mensen leuk vinden. Gebruik in plaats daarvan een eenvoudige statistische truc die menselijke voorkeuren behandelt als aanwijzingen. Deze truc leert de robot op natuurlijke wijze behulpzaam te zijn, houdt het stabiel en zorgt ervoor dat hij niet vergeet hoe hij slim moet zijn."

Ze noemen deze nieuwe methode MMPO (Maximum Marginal Likelihood Preference Optimization), en zij geloven dat dit een eenvoudigere, betrouwbaardere manier is om AI af te stemmen op menselijke waarden.

Technische Samenvatting: Offline Preference Optimization via Maximum Marginal Likelihood Estimation

Probleemstelling

Het afstemmen van Large Language Models (LLMs) op menselijke voorkeuren is een cruciale stap voor inzet in de echte wereld, traditioneel bereikt via Reinforcement Learning from Human Feedback (RLHF). De standaard RLHF-pipeline is echter complex en instabiel, waarbij een apart beloningsmodel vereist is en het gebruik wordt gemaakt van gevoelige policy gradient-algoritmen zoals Proximal Policy Optimization (PPO). Direct Preference Optimization (DPO) heeft dit vereenvoudigd door alignment te herformuleren als een classificatieprobleem, maar de verliesfunctie hiervan is nog steeds afgeleid van de RLHF-doelstelling, wat impliciet het optimaliseren van de entropie van het taalmodel aanmoedigt. De auteurs onderzoeken of effectieve alignment kan worden bereikt onder nog meer ontspannen aannames, specifiek door de expliciete noodzaak van zowel een beloningsfunctie als de entropie-maximalisatieterm die inherent is aan standaard RLHF-doelstellingen te verwijderen.

Methodologie: MMPO

Het artikel stelt Maximum Marginal Likelihood Preference Optimization (MMPO) voor, een nieuw offline preference alignment-algoritme.

Theoretische Fundering

MMPO herformuleert het alignment-probleem door de lens van Maximum Marginal Likelihood (MML) schatting. In plaats van direct te optimaliseren voor voorkeuren, maximaliseert de methode de marginale log-likelihood van een geprefereerde tekstoutput $y$ gegeven een input $x$ .

Formulering: Het doel is om $P_\theta(y|x) = \sum_z \pi_\theta(z|x) \times P^*(y|x, z)$ te maximaliseren, waarbij $z$ mogelijke tekstaanvullingen representeert en $P^*$ de werkelijke onderliggende distributie is.
Benadering: Omdat de sommatie over alle mogelijke $z$ onhandelbaar is, benadert de methode de marginalisering met behulp van het verstrekte voorkeurenpaar $(z_w, z_l)$ (gekozen en afgewezen responsen) als samples.
Stabiliteit: Om numerieke stabiliteit tijdens de training te garanderen, wordt de doelstelling geherformuleerd met behulp van de log-sum-exp operatie.

Theoretische Connectie met Preference Optimization

De auteurs demonstreren (Theorema 3.2) dat het optimaliseren van de benaderde MML-doelstelling op een dataset met voorkeuren impliciet preference optimization uitvoert.

Impliciete Gradiënt: Er wordt aangetoond dat de resulterende gradiënt-update equivalent is aan een gewogen som van gradiënten voor de gekozen ( $z_w$ ) en afgewezen ( $z_l$ ) responsen.
Wegingsmechanisme: De update verhoogt de weging van de gekozen respons ten opzichte van de afgewezen respons op natuurlijke wijze, gemoduleerd door een sigmoidfunctie van hun scoreverschil ( $\sigma(s_w - s_l)$ ).
Belangrijkste Onderscheid: Dit proces bereikt preference alignment zonder expliciet een beloningsfunctie of een entropie-maximalisatieterm te formuleren.

Algoritme Implementatie

De MMPO-verliesfunctie bevat verschillende specifieke ontwerpkeuzes:

Score Definitie: Scores $s_w$ en $s_l$ zijn gedefinieerd op basis van log-probabiliteiten en een beloningsterm (benaderd via de log-probabiliteiten van een referentiemodel en een hyperparameter $\beta$ ).
In-Batch Normalisatie: Om de training te stabiliseren en te voorkomen dat uitschieters de gradiënten domineren, worden beloningen binnen een mini-batch genormaliseerd. Dit zorgt ervoor dat relatieve scores op een consistente schaal liggen.
Auxiliary Objective: Een hulpdoelstelling, $\log \sigma(s_w - s_l)$ , wordt toegevoegd om de preference constraint ( $s_w \ge s_l$ ) expliciet te versterken, wat een directe supervisie-signaal biedt vergelijkbaar met DPO, maar werkend op genormaliseerde scores in plaats van log-probabiliteitsratio's ten opzichte van een SFT-model.

Belangrijkste Bijdragen

Introductie van het Algoritme: De voorstel van MMPO, een nieuw offline preference optimization algoritme dat voorkeurenparen behandelt als samples voor MML-schatting.
Theoretische Analyse: Een bewijs dat MMPO op voorkeurenparen equivalent is aan een gewogen gradiënt-update die inherent de geprefereerde responsen bevoordeelt zonder expliciete beloningsmodellering of entropie-termen.
Empirische Stabiliteit: Demonstratie dat MMPO significant stabieler is met betrekking tot de cruciale hyperparameter $\beta$ vergeleken met DPO en SimPO.
Behoud van Capaciteiten: Bewijs dat MMPO de algemene taalvaardigheden (redeneren en begrip) van base instruction-tuned modellen beter behoudt dan bestaande baselines.
Benchmark Prestaties: Het behalen van competitieve of superieure win-rates op de AlpacaEval-2 benchmark voor modellen variërend van 135M tot 8B parameters.

Experimentele Resultaten

De auteurs evalueerden MMPO op vier modelgroottes (SmolLM2-135M, SmolLM2-360M, Llama3.2-1B, en Llama3-8B) met de Orca DPO Pairs en UltraFeedback-Binarized datasets.

Stabiliteit: In tegen tegenstelling tot DPO en SimPO, die een significante gevoeligheid vertoonden voor de hyperparameter $\beta$ , behield MMPO een consistente prestatie over een reeks $\beta$ -waarden (0.01, 0.05, 0.5).
Preference Alignment: MMPO behaalde sterke win-rates op AlpacaEval-2. Bijvoorbeeld, op SmolLM2-135M verbeterde MMPO de win-rates monotoon naar 67,3%, terwijl DPO zeer lage win-rates opleverde en SimPO significant degradeerde over de trainingsepochs.
Behoud van Algemene Capaciteiten: Geëvalueerd op de LM Harness benchmark (10 diverse taalbegripstaken), veroorzaakte MMPO minimale degradatie in algemene taalvaardigheden. In contrast hiermee vertoonden DPO en SimPO vaak meer significante dalingen in nauwkeurigheid, vooral wanneer ze getuned werden voor hoge preference alignment.
Pareto Optimaliteit: MMPO demonstreerde een gunstiger trade-off profiel, waarbij hogere preference win-rates werden geleverd met minimale opoffering van algemene redeneercapaciteiten vergeleken met de baselines.

Ablatie Studies

Experimenten op het SmolLM2-360M model toonden aan:

Lengte Normalisatie: Verbeterde de algemene nauwkeurigheid maar gaf geen significante boost aan de preference win-rates.
Entropie Maximalisatie: Het expliciet toevoegen van een entropie-term degradeerde de prestaties op beide benchmarks, wat suggereert dat de impliciete optimalisatie in MMPO voldoende is en dat expliciete stimulering van diversiteit nadelig is in deze context.
Auxiliary Loss & Normalisatie: Het verwijderen van de DPO-stijl auxiliary loss of in-batch normalisatie verbeterde de win-rates licht, maar degradeerde de piek algemene nauwkeurigheid, wat wijst op een trade-off waarbij de kern log-sum-exp term de prestaties drijft terwijl de auxiliary componenten helpen de algemene capaciteiten te behouden.

Betekenis en Claims

Het artikel claimt dat MMPO een eenvoudiger, stabieler alternatief biedt voor huidige alignment paradigma's. Door alignment te herformuleren als een MML-schattingsprobleem, elimineert het de noodzaak voor expliciete beloningsmodellen en entropie-regularisatie, terwijl het impliciet de gewenste preference optimization bereikt. De auteurs benadrukken dat de stabiliteit van MMPO een inherente eigenschap is van de formulering (voortkomend uit in-batch normalisatie en de log-sum-exp operatie) en niet het resultaat is van complexe kalibratiemechanismen.

Het werk suggereert dat effectieve alignment niet strikt de complexe machinerie van RLHF of de specifieke beperkingen van DPO vereist. In plaats daarvan biedt het maximaliseren van de marginale likelihood van geprefereerde outputs met behulp van voorkeurenparen als samples een robuust pad naar alignment dat de fundamentele taalcapaciteiten van het model behoudt. De auteurs merken op dat hoewel de huidige evaluatie beperkt is tot offline settings en modellen tot 8B parameters (vanwege middelenbeperkingen), de methode een veelbelovende richting vertegenwoordigt voor het vereenvoudigen van de LLM alignment pipeline.