Technische Samenvatting: AdaDPO

1. Probleemstelling

Direct Preference Optimization (DPO) is naar voren gekomen als een dominante alternatief voor Reinforcement Learning from Human Feedback (RLHF) voor het afstemmen van Large Language Models (LLM's), en biedt een vereenvoudigde pijplijn die de noodzaak van een apart beloningmodel elimineert. Echter, recente theoretische analyse door Feng et al. [2024] heeft een structurele asymmetrie in de DPO-verliesfunctie geïdentificeerd.

Het kernprobleem is gradient-ongelijkheid. In standaard DPO vermenigvuldigt dezelfde coëfficiënt $\beta$ de log-ratio's van zowel de geprefereerde ($y_w$) als de niet-geprefereerde ($y_l$) antwoorden. Naarmate het trainingsproces vordert en het beleid meer vertrouwen krijgt in het geprefereerde antwoord, krimpt de gradientgrootte met betrekking tot de geprefereerde waarschijnlijkheid ($P_w$ aanzienlijk sneller dan de gradient met betrekking tot de niet-geprefereerde waarschijnlijkheid ($P_l$). Specifiek daalt de verhouding van gradienten $|\partial L / \partial P_w| / |\partial L / \partial P_l|$ onder de 1, en nadert vaak de nul.

Gevolg hiervan leert het model voornamelijk om slechte antwoorden te onderdrukken in plaats van om goede antwoorden te bevorderen. Deze onbalans is een structurele eigenschap van het verlies, geen artefact van hyperparameters, en wordt bijzonder uitgesproken wanneer geprefereerde en niet-geprefereerde antwoorden semantisch dicht bij elkaar liggen. Deze dynamiek is gelinkt aan lengtebias, waarbij modellen gebruikmaken van woordrijkdom om beloningen te maximaliseren zonder noodzakelijkerwijs de kwaliteit te verbeteren.

2. Methodologie: AdaDPO

De auteurs stellen AdaDPO (Self-Adaptive Direct Preference Optimization) voor, een variant die is ontworpen om gelijkheid in gradientgroottes tussen geprefereerde en niet-geprefereerde waarschijnlijkheden af te dwingen bij elke optimalisatiestap.

Kernmechanisme

In plaats van een vaste coëfficiënt $\beta$ voor beide termen te gebruiken, introduceert AdaDPO coëfficiënten per voorkeurspaar: $\beta_w$ en $\beta_l$. De verliesfunctie wordt als volgt gewijzigd:
$$\Delta_{\text{AdaDPO}} = \beta_w \log \frac{P_w}{R_w} - \beta_l \log \frac{P_l}{R_l}$$
waarbij $P$ de beleidswahrscheinlijkheden voorstelt en $R$ de waarschijnlijkheden van het referentiemodel.

Theoretische Afleiding

Om gebalanceerde gradienten te bereiken ($|\partial L / \partial P_w| = |\partial L / \partial P_l|$), leiden de auteurs een noodzakelijke voorwaarde af voor de verhouding van de coëfficiënten:
$$\frac{\beta_w}{\beta_l} = \frac{P_w}{P_l}$$
(Of, in de ruimte van waarschijnlijkheidsverhoudingen: $\frac{\beta_w}{\beta_l} = \frac{P_w R_l}{P_l R_w}$).

Implementatiedetails

Om aan deze voorwaarde te voldoen zonder de optimalisatiedynamica te verbreken (d.w.z. het voorkomen dat de coëfficiënten differentieerbare parameters worden die gradienten voortplanten), hanteert AdaDPO een stop-gradient operator:
$$\beta_w = \beta \cdot \text{sg}\left( \frac{P_w R_l}{P_l R_w} \right)$$
Hierbij blijft $\beta_l$ gelijk aan de standaard DPO-hyperparameter $\beta$. De stop-gradient operator (sg) zorgt ervoor dat de verhouding als een constante wordt behandeld tijdens backpropagation, wat effectief de invers-waarschijnlijkheidsschaalering opheft die het probleem van "verdwijnende bevordering" in standaard DPO veroorzaakt.

Stabiele AdaDPO:
Om trainingsinstabiliteit op lange sequenties aan te pakken, waar log-waarschijnlijkheden die over tokens zijn opgeteld extreme verhoudingen kunnen opleveren, introduceren de auteurs een lengte-genormaliseerde variant die in hun hoofdexperimenten wordt gebruikt. Deze variant berekent de adaptieve verhouding op basis van gemiddelde log-waarschijnlijkheden per token en past een numerieke afkappijng ($C=2.0$) toe op de adaptieve coëfficiënt. Deze variant behoudt de oorspronkelijke DPO-hyperparameterstructuur en vereist slechts enkele regels code-aanpassing.

3. Belangrijkste Bijdragen

1. Theoretische Correctie: Het artikel leidt strikt de voorwaarde af voor gelijke gradientgroottes in DPO-achtige verliezen en bewijst dat AdaDPO deze voorwaarde exact voldoet via stop-gradient operatoren, waardoor een principiële correctie van de gradient-ongelijkheid wordt geboden.
2. Empirische Prestaties: Op Llama-3-8B-Instruct getraind op het UltraFeedback-dataset, presteert AdaDPO consistent beter dan standaard DPO over een breed scala aan hyperparametercombinaties.
3. Generaliseerbaarheid: Het zelf-adaptieve principe blijkt een "drop-in" aanpassing te zijn die toepasbaar is op een brede familie van pairwise contrastieve voorkeursverliezen, waaronder SimPO, R-DPO, IPO, CPO en ORPO, zonder hun bestaande hyperparameters te wijzigen.

4. Experimentele Resultaten

De auteurs evalueerden AdaDPO tegenover DPO- en SFT-baselines met behulp van Llama-3-8B-Instruct en het UltraFeedback-dataset, volgens een opzet die bijna identiek is aan die van SimPO.

Belangrijkste Bevindingen op AlpacaEval 2:

• Length-Controlled Win Rate (LC): AdaDPO behaalde de wereldwijd beste LC van 48,3% (tegenover 46,4% voor DPO).
• Raw Win Rate (WR): AdaDPO behaalde een wereldwijd beste WR van 46,1% (tegenover 44,5% voor DPO).
• Robuustheid van Hyperparameters: Over 16 verschillende $(lr, \beta)$-combinaties:
  • AdaDPO presteerde beter dan DPO in 81% van de combinaties wat betreft LC.
  • AdaDPO leverde een grotere LC-over-WR-marge op (wat wijst op verminderde lengtebias) in 88% van de combinaties.
  • AdaDPO bereikte kortere gemiddelde antwoordlengten terwijl het tegelijkertijd een hogere kwaliteit behield, wat suggereert dat de winsten niet worden gedreven door woordrijkdom.

Andere Benchmarks:

• Arena-Hard: DPO toonde een marginaal hogere ruwe winrate (42,9% versus 41,5%), maar de 95%-betrouwbaarheidsintervallen overlapten aanzienlijk, wat aangeeft dat er geen statistisch significant verschil is.
• MT-Bench: AdaDPO (8,03) overschreed DPO (8,01) marginaal, een verschil dat de auteurs opmerken onder de resolutie van de schaal van de benchmark ligt.

Optimalisatiedynamiek:
AdaDPO toonde een lagere evaluatieverlies, hogere beloningsnauwkeurigheid en grotere beloningsmarges in vergelijking met DPO, wat bevestigt dat gebalanceerde gradientupdates direct vertalen naar verbeterde afstemmingskwaliteit.

5. Betekenis en Claims

Het artikel stelt dat AdaDPO een fundamentele structurele tekortkoming in DPO en zijn varianten aanpakt: de neiging om te leren door onderdrukking in plaats van bevordering.

• Mechanisme van Verbetering: De auteurs stellen dat de waargenomen verbeteringen in lengte-gereguleerde prestaties en de reductie in lengtebias directe gevolgen zijn van het rechtzetten van de gradient-ongelijkheid. Door ervoor te zorgen dat het model ook wanneer het vertrouwen krijgt, een sterk versterkingssignaal blijft ontvangen voor geprefereerde antwoorden, voorkomt AdaDPO dat het optimalisatiesignaal stagneert.
• Praktijktoepasbaarheid: De methode vereist geen nieuwe dataverzameling, geen wijzigingen in modelarchitectuur en geen gevoelige nieuwe hyperparameters (bovenop de standaard $\beta$ en een robuuste afkappijngconstante). Het wordt gepresenteerd als een minimale code-aanpassing met maximale impact.
• Reikwijdte: De auteurs presenteren hun resultaten bescheiden als van toepassing op offline voorkeursoptimalisatie in de LLM Instruct-omgeving. Ze stellen expliciet dat cross-model validatie, overdracht naar andere datasets en uitbreiding naar online RL of veiligheidsdoelstellingen toekomstig werk zijn, en geen huidige claims.

Concluderend stelt het artikel dat gradientbalans, in plaats van zorgvuldige afstemming van hyperparameters, de primaire beperking is op de prestaties van DPO-achtige doelstellingen, en dat AdaDPO een algemene, theoretisch onderbouwde oplossing voor dit probleem biedt.