Technische Samenvatting: Adaptive Margin RLHF via Preference over Preference

Probleemstelling

In Reinforcement Learning from Human Feedback (RLHF) berust het afstemmen van Large Language Models (LLMs) op menselijke voorkeuren doorgaans op paarwijze voorkeursgegevens. Standaardbenaderingen, zoals het Bradley-Terry (BT) model en Direct Preference Optimization (DPO), behandelen alle voorkeursparen vaak als gelijkwaardig of vertrouwen op vaste marges. Hoewel marge-gebaseerde optimalisatie bekend staat om het verbeteren van generalisatie en robuustheid in classificatietaken, kampen bestaande RLHF-methoden met aanzienlijke beperkingen:

1. Geen marges of vaste marges: Veel methoden passen geen marge toe of een constante marge, waardoor ze niet rekening houden met de variërende sterkte van verschillende voorkeuren (d.w.z. sommige voorkeuren vertegenwoordigen een duidelijk onderscheid tussen reacties, terwijl andere ambigu zijn).
2. Ruisende scalaire beoordelingen: Bestaande adaptieve marge-benaderingen ontlenen marges vaak aan scalaire voorkeursscores (bijv. Likert-schalen) die door mensen of LLM's worden gegeven. Deze scores zijn vaak slecht gekalibreerd, inconsistent tussen annotatoren en ruisend, wat leidt tot onbetrouwbare marge-informatie.
3. Afhankelijkheid van accurate scores: Methoden die uitgaan van toegang tot accurate voorkeursscores worstelen in de praktijk, omdat mensen het moeilijk vinden om betrouwbare numerieke beoordelingen te geven voor de sterkte van een voorkeur.

Het kernprobleem is hoe men adaptieve marges kan afleiden—marges die per datapunt variëren op basis van de sterkte van de voorkeur—zonder te vertrouwen op ruisende scalaire annotaties.

Methodologie

De auteurs stellen een framework voor genaamd Adaptive Margin RLHF via Preference-over-Preference (PoP) supervisie. In plaats van annotatoren te vragen een numerieke score toe te kennen aan een enkele voorkeur, vraagt deze methode hen om twee voorkeursparen te vergelijken en te bepalen welk paar een sterkere distinctie reflecteert.

Kernconcept: Preference over Preference (PoP)

Gegeven twee voorkeursinstanties, $A \succ B$ en $C \succ D$, wordt een annotator (mens of LLM) gevraagd welke voorkeur sterker is. Als $(A \succ B)$ wordt beoordeeld als sterker dan $(C \succ D)$, impliceert dit dat het verschil in beloning $r(A) - r(B)$ groter is dan $r(C) - r(D)$.

• Inferentie: Het verschil in beloning van de zwakkere voorkeur dient als een ondergrens (marge) voor de sterkere voorkeur.
• Voordeel: Deze formulering reduceert de annotatietaak tot een binaire beoordeling over relatieve grootheden, wat cognitief natuurlijk is en geworteld is in de besluitvormingsanalyse (MACBETH). Het vermijdt de kalibratieproblemen van discrete beoordelingsschalen en biedt informatie die rijker is dan discrete beoordelingen, waardoor de inferentie van continue, werkelijk-getalige marges mogelijk wordt.

Algoritme: DPO-PoP

Het artikel instantieert dit framework binnen het Direct Preference Optimization (DPO) algoritme, wat resulteert in DPO-PoP.

1. Verliesfunctie: De standaard DPO-verliesfunctie wordt aangepast om een adaptieve marge te incorporeren die afgeleid is van een zwakker voorkeurspaar. Voor een sterker voorkeurspaar $(x_s, y^+_s, y^-_s)$ en een zwakker paar $(x_w, y^+_w, y^-_w)$, dwingt de verliesfunctie af dat het impliciete verschil in beloning van het sterke paar groter is dan dat van het zwakke paar.
   $$\min_{\theta} \mathbb{E}_{D_{PoP}} \left[ -\log \sigma \left( m_\theta(x_s, y^+_s, y^-_s) - \text{sg}[m_{\hat{\theta}}(x_w, y^+_w, y^-_w)] \right) \right]$$
   Waarbij $m_\theta$ de impliciete marge is, en $\text{sg}$ de stop-gradient operator is om te voorkomen dat de marge-term de update van de beleidsparameters direct beïnvloedt.
2. Stabilisatie: Om instabiele gradiënten aan te pakken die worden veroorzaakt door onbegrensde marges, doen de auteurs het volgende:
   • De margewaarden afkappen tot een vast interval $[0, M_{max}]$.
   • Een langzaam bijgewerkte doelbeleid $\hat{\theta}$ gebruiken (via Polyak-averaging) om de marge-referentie te berekenen, wat snelle fluctuaties tijdens de training voorkomt.
3. Samplingstrategieën: Het artikel verkent twee strategieën voor het construeren van de PoP-dataset ($D_{PoP}$):
   • Iteratieve Sampling: Elke voorkeur wordt vergeleken met $k$ zwakkere voorkeuren. Dit zorgt voor een gelijke representatie van alle voorkeuren, maar kan zwakke (ruisende) vergelijkingen oververtegenwoordigen.
   • Random Sampling: Voorkeursparen worden willekeurig geselecteerd en vergeleken. Dit resulteert in een dataset waarin sterkere voorkeuren vaker voorkomen.

Belangrijkste Bijdragen

1. PoP Supervisie Framework: Een nieuwe methode om adaptieve marges af te leiden uit ordinale vergelijkingen tussen voorkeuren in plaats van scalaire beoordelingen, wat de kalibratie en robuustheid verbetert.
2. DPO-PoP Algoritme: Een concrete uitbreiding van DPO die PoP-supervisie integreert, waardoor marge-bewuste afstemming mogelijk is met enkel supervised learning zonder een aparte trainingfase voor een beloningsmodel.
3. Ontdekking van een Trade-off: De auteurs identificeren een fundamentele trade-off tussen discriminatieve prestaties (classificatienauwkeurigheid op voorkeurslabels) en generatieve prestaties (kwaliteit van gegenereerde tekst).
   • DPO-PoP-Iter (iteratieve sampling) blinkt uit in discriminatieve taken, het correct classificeren van zwakke voorkeuren, maar lijdt onder generatieve kwaliteit, waarschijnlijk door overfitting op ruisende zwakke signalen.
   • DPO-PoP-Random (random sampling) bereikt superieure generatieve prestaties en robuuste discriminatieve nauwkeurigheid op out-of-distribution benchmarks, omdat het zich meer richt op sterke, duidelijke voorkeuren.
4. Theoretisch Inzicht: Het artikel biedt een generalisatiegrens voor adaptieve-marge classifiers, waarbij laat zien dat de generalisatiefout afhangt van de som van de inverse kwadraten van de marges ($\sum 1/m_i^2$). Dit verklaart waarom Random sampling (minder zwakke marges) betere generalisatiegrenzen oplevert dan Iterative sampling.

Resultaten

Experimenten werden uitgevoerd op de UltraFeedback dataset met Llama-3.2-3b en Llama-3.1-8b modellen, met evaluaties op RewardBench, AlpacaEval-2 en UltraRM win rates.

• Discriminatieve Prestaties: DPO-PoP-Iter behaalde de hoogste testclassificatienauwkeurigheid (ongeveer 80% op UltraFeedback), waarmee het baselines met ~8 procentpunten verslaat, zelfs die met toegang tot ground-truth marges. Het vertoonde echter een lagere correlatie met ground-truth marges op sterke voorkeuren.
• Generatieve Prestaties: DPO-PoP-Random presteerde consequent beter dan alle baselines, inclus\ de die met ground-truth marges, op generatieve metrieken.
  • Op AlpacaEval 2.0 behaalde DPO-PoP-Random een win rate van 14,2%, aanzienlijk hoger dan de dichtstbijzijnde concurrent (12,4%).
  • Op RewardBench behaalde DPO-PoP-Random de hoogste Overall score, wat stabiliteit demonstreert over de categorieën Chat, Safety en Reasoning.
• Small-Data Regime: In scenario's met weinig data verbeterde DPO-PoP-Random de win rates met 17 procentpunten ten opzichte van DPO-margin-gt, wat suggereert dat PoP-annotatie effectief is, zelfs met beperkte data.
• LLM Annotatie: Wanneer PoP-labels werden gegenereerd door een LLM (GPT-4.1-mini) in plaats van door ground-truth scores te gebruiken, behield DPO-PoP-Random nog steeds een robuuste prestatie, wat de praktische levensvatbaarheid van de aanpak valideert.

Betekenis en Claims

Het artikel claimt dat DPO-PoP een praktisch en effectief alternatief biedt voor numerieke beoordelingsschaal-annotaties voor RLHF. Door gebruik te maken van comparatieve oordelen tussen voorkeuren, leidt de methode fijnmazige marge-informatie af die betrouwbaarder gekalibreerd is over annotatoren heen.

De betekenis ligt in het vermogen om de discriminatieve-generatieve trade-off te navigeren:

• Praktische gebruikers die hoge in-domain classificatienauwkeurigheid zoeken, kunnen Iterative Sampling gebruiken.
• Praktische gebruikers die prioriteit geven aan hoogwaardige tekstgeneratie en robuustheid tegen distributieverschuivingen, kunnen Random Sampling gebruiken.

De auteurs benadrukken dat deze aanpak geen complexe beloningsmodellering of reinforcement learning-loops vereist, en naadloos integreert in bestaande DPO-pipelines met minimale computationele overhead (één extra forward pass). Het werk suggereert dat "voorkeuren over voorkeuren" een cognitief natuurlijke en informatierijke signaal is voor het verbeteren van LLM-afstemming.