🤖 AI

Autoregressive Direct Preference Optimization

Dit artikel stelt Autoregressive Direct Preference Optimization (ADPO) voor, een nieuwe variant die de DPO-doelstelling herformuleert door expliciet autoregressieve aannames toe te passen voorafgaand aan het Bradley-Terry-model, wat resulteert in een verschoven verliesfunctie en de identificatie van afzonderlijke token- en feedbacklengtematen voor verbeterde preferentie-optimalisatie.

Oorspronkelijke auteurs: Masanari Oi, Mahiro Ukai, Masahiro Kaneko, Naoaki Okazaki, Nakamasa Inoue

Gepubliceerd 2026-06-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Masanari Oi, Mahiro Ukai, Masahiro Kaneko, Naoaki Okazaki, Nakamasa Inoue

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Een Robot Leren Beter te Schrijven

Stel je voor dat je een robot leert om verhalen te schrijven. Je hebt een "Gouden Standaard"-boek (het referentiemodel) en een "Student"-robot (het leerbare model). Je wilt dat de Student verhalen schrijft die mensen de voorkeur geven boven de verhalen van de Gouden Standaard.

Een lange tijd was de beste manier om dit te doen DPO (Direct Preference Optimization). Zie DPO als een leraar die het gehele verhaal leest dat de student heeft geschreven, het vergelijkt met het verhaal van de Gouden Standaard, en één cijfer geeft: "Goed" of "Slecht."

Het Probleem:
Het artikel betoogt dat dit "alles-of-niets"-beoordelingssysteem een beetje inefficiënt is. Grote taalmodellen (LLM's) schrijven verhalen niet in één grote sprong; ze schrijven ze woord voor woord (of token voor token), zoals een persoon een zin typt. Echter, de oude DPO-methode wacht tot het allerlaatste moment om feedback te geven. Het is als een coach die wacht tot het einde van een marathon om tegen een hardloper te zeggen: "Je hebt goed gerend," zonder ooit de vorm te corrigeren terwijl hij aan het rennen was.

De Oplossing: ADPO (Autoregressieve DPO)

De auteurs stellen een nieuwe methode voor genaamd ADPO. In plaats van te wachten tot het verhaal af is om een cijfer te geven, geeft ADPO stap voor stap feedback terwijl het verhaal wordt geschreven.

De "Film vs. Snapshot" Analogie

Oude DPO (De Snapshot): Stel je voor dat je een foto maakt van een voltooid schilderij. Je kijkt naar het hele plaatje en zegt: "Dit is beter dan dat." Je weet niet welke penseelstreken het beter hebben gemaakt.
Nieuwe ADPO (De Film): Stel je voor dat je de kunstenaar in realtime ziet schilderen. ADPO kijkt naar de eerste penseelstreek, dan de tweede, dan de derde. Het vraagt: "Was deze specifieke streek goed? Was de volgende streek beter?" Het leert het proces van het schrijven te verkiezen, niet alleen het eindresultaat.

De Twee "Lengte" Regels

Een van de meest interessante ontdekkingen van het artikel is dat er eigenlijk twee verschillende manieren zijn om lengte te meten wanneer deze modellen worden onderwezen, en de oude methode haalde deze door elkaar.

Token Lengte (Het Woordenaantal): Dit is hoeveel woorden het model daadwerkelijk typt. (bijv. "De kat zat" = 3 woorden).
Feedback Lengte (De Beoordelingseenheden): Dit is hoeveel stukjes de leraar in één keer besluit te beoordelen.

De Oude Manier: De leraar beoordeelde altijd het gehele verhaal als één enkel blok (Feedback Lengte = 1), ongeacht hoeveel woorden erin zaten.
De Nieuwe Manier (ADPO): De leraar kan ervoor kiezen om het verhaal in blokjes op te delen. Ze kunnen elk woord beoordelen (Feedback Lengte = Woordenaantal), of elke 10 woorden beoordelen, of elke paragraaf.

Het artikel laat zien dat door het verhaal in kleinere stukjes op te delen (door de "Feedback Lengte" gelijk te laten zijn aan de "Token Lengte"), het model sneller leert en beter schrijft.

Hoe het Werkt (De "Wiskunde" Simpel Gemaakt)

In de oude methode zag de wiskunde er zo uit:

Neem het hele verhaal, bereken het verschil, en pas dan een "sigmoid" toe (een gladstrijkende functie) om een score te krijgen.

In de nieuwe ADPO-methode verandert de volgorde van de wiskunde:

Bereken het verschil voor elke stap, pas de "sigmoid" toe op elke stap, en tel ze dan allemaal bij elkaar op.

De Analogie:

Oude Manier: Je mengt alle ingrediënten voor een cake, bakt de cake, proeft het geheel, en besluit dan of je meer suiker nodig hebt. (Te laat om het beslag nog te corrigeren).
Nieuwe Manier: Je proeft het beslag nadat je de bloem hebt toegevoegd, dan nadat je de eieren hebt toegevoegd, en dan nadat je de suiker hebt toegevoegd. Je past het recept aan terwijl je bezig bent.

De Resultaten: Werkt het?

De auteurs hebben deze nieuwe methode getest op twee soorten taken:

Wiskundige Problemen: Ze vroegen de modellen om complexe wiskundige tekstproblemen op te lossen.
Gesprekken: Ze vroegen de modellen om met mensen te chatten.

De Bevindingen:

Betere Cijfers: In bijna elke test behaalden de modellen die met ADPO waren getraind hogere scores dan de modellen die met de oude DPO-methode waren getraind.
Fijner is Beter: De modellen presteerden het best wanneer de "Feedback Lengte" zeer klein was (elke stap controleren bij elk woord). Dit bewees dat de modellen profiteren van constante, granulaire feedback.
Geen Extra Kosten: Hoewel het controleren van elk woord klinken lijkt alsof het meer tijd zou kosten, vonden de auteurs dat de extra tijd die vereist was verwaarloosbaar was (minder dan 6% langzamer).

Samenvatting

Het artikel introduceert ADPO, een slimmere manier om AI-modellen te trainen. In plaats van te wachten tot de AI een taak heeft voltooid om het een cijfer te geven, geeft ADPO feedback bij elke stap van het proces. Door het schrijven van de AI te behandelen als een reeks kleine stappen in plaats van één groot blok, leren de modellen betere keuzes te maken gedurende het hele generatieproces, wat resulteert in slimmer wiskundig redeneren en betere gesprekken.

Technische Samenvatting: Autoregressive Direct Preference Optimization (ADPO)

Probleemstelling

Direct Preference Optimization (DPO) is een standaardmethode geworden voor het afstemmen van Large Language Models (LLM's) op menselijke voorkeuren door analytisch de optimale policy af te leiden uit het Bradley-Terry (BT) model, waardoor expliciete beloningsmodellering wordt geëlimineerd. De auteurs identificeren echter een theoretische beperking in de standaard DPO-formulering: hoewel LLM's inherent autoregressief zijn (ze genereren tokens sequentieel), past de standaard DPO-doelstelling het BT-model toe op het niveau van volledige antwoorden nadat de autoregressieve aard van de policy is aangenomen.

Specifiek leidt de standaard DPO de doelstelling af met behulp van het BT-model over de outputruimte $\mathcal{Y}$ , en breidt pas daarna de log-waarschijnlijkheden uit naar een som van token-niveau termen. Dit resulteert in een verliesfunctie waarbij de sommatie van token-niveau log-ratio's plaatsvindt binnen de log-sigmoid functie. De auteurs stellen dat deze volgorde er niet in slaagt om de autoregressieve aanname volledig te benutten tijdens de afleiding van het voorkeursmodel, wat potentieel de granulariteit en theoretische consistentie van de optimalisatie beperkt.

Methodologie: Autoregressive DPO (ADPO)

Het artikel stelt Autoregressive DPO (ADPO) voor, een nieuwe variant die de autoregressieve aanname expliciet incorporeert voordat het Bradley-Terry model wordt toegepast.

Theoretische Formulering

Prefix Closure en Energiefuncties: ADPO breidt het domein van de beloningsfunctie uit van de volledige outputruimte $\mathcal{Y}$ naar de prefix closure $\mathcal{Y}^*$ (de verzameling van alle onvolledige antwoorden). Het definieert "prefix-gewijze" energiefuncties $E^*_1$ en $E^*_2$ over deze prefixes.
Prefix-gewijs Bradley-Terry Model: In plaats van voorkeuren te modelleren over volledige sequenties, definieert ADPO een prefix-gewijs BT-model. De waarschijnlijkheid van een geprefereerde sequentie $y_w$ boven een minder geprefereerde sequentie $y_l$ wordt geformuleerd als het product van de voorkeurswaarschijnlijkheden bij elke prefix-stap $i$ .
Afleiding van de Loss: Door de autoregressieve aanname toe te passen op het referentiemodel $\pi_{ref}$ $π_{r e f}$ en het leerbare model $\pi_\theta$ $π_{θ}$ binnen het prefix-gewijze BT-raamwerk, leiden de auteurs een nieuwe verliesfunctie af.
- Belangrijk Structureel Verschil: In standaard DPO is de loss $-\log \sigma(\sum_i \Delta_i)$ . In ADPO wordt de sommatie verschoven buiten de log-sigmoid functie:
  $\mathcal{L}_{ADPO} = -\mathbb{E} \left[ \sum_{i=1}^{T'} \log \sigma \left( \beta \log \frac{\pi_\theta(y_{w,i}|y_{w,<i}, x)}{\pi_{ref}(y_{w,i}|y_{w,<i}, x)} - \beta \log \frac{\pi_\theta(y_{l,i}|y_{l,<i}, x)}{\pi_{ref}(y_{l,i}|y_{l,<i}, x)} \right) \right]$
- Deze formulering behandelt de voorkeursoptimalisatie als een reeks beslissingen op token-niveau (of sub-sequentie niveau) in plaats van een enkele sequentie-niveau beslissing.

Theoretische Analyse: Lengtematen

Het artikel introduceert een theoretisch onderscheid tussen twee lengtematen, wat de relatie tussen DPO en ADPO verheldert:

Token Lengte ( $\mu$ ): Het aantal tokens in een sequentie, inherent aan de autoregressieve aard van de LLM.
Feedback Lengte ( $\mu'$ ): De granulariteit waarop menselijke feedback wordt toegepast.
- Standaard DPO komt overeen met het speciale geval waar $\mu'(y) = 1$ voor alle sequenties (feedback wordt alleen gegeven op het volledige antwoord).
- ADPO staat toe dat $\mu'$ onafhankelijk is van $\mu$ , wat training mogelijk maakt op willekeurige granulariteiten (bijv. token-niveau, zin-niveau, of vaste venster-niveaus).

De auteurs bewijzen dat elke beloningsfunctie die consistent is met het prefix-gewijze BT-model kan worden herparameteriseerd door een autoregressief model, wat garandeert dat ADPO theoretisch consistent blijft met het KL-beperkte beloningsmaximalisatieprobleem.

Belangrijkste Bijdragen

ADPO Formulering: De introductie van ADPO, die de voorkeursoptimalisatie-doelstelling afleidt door het energiedomein uit te breiden naar de prefix closure $\mathcal{Y}^*$ , waardoor de autoregressieve aanname expliciet in het BT-model wordt geïntegreerd.
Innovatie in de Verliesfunctie: Het afleiden van een verliesfunctie waarbij de sommatie van token-niveau log-ratio's buiten de log-sigmoid functie is verschoven, wat een theoretisch consistente manier biedt om training met fijnere granulariteit te faciliteren.
Theoretisch Inzicht in Granulariteit: Het identificeren en onderscheiden van de token lengtemaat ( $\mu$ ) en de feedback lengtemaat ( $\mu'$ ). Het artikel toont aan dat DPO een speciaal geval is van ADPO waarbij $\mu' \equiv 1$ , en dat het variëren van $\mu'$ een familie van algoritmen mogelijk maakt die variëren van volledige-antwoord tot token-niveau optimalisatie.
Volledigheid van Reparametrisatie: Het bewijzen dat onder milde aannames elke beloningsfunctie kan worden herparameteriseerd door een autoregressief model binnen het prefix-gewijze raamwerk.

Experimentele Resultaten

De auteurs hebben ADPO geëvalueerd op wiskundige redenering en conversatietaken over meerdere LLM-architecturen (Llama-3, Qwen, Gemma, DeepSeek-Math).

Wiskundige Redenering (GSM8K, MATH500):
- ADPO-varianten presteerden consistent beter dan standaard DPO en de token-niveau contrastieve methode cDPO over alle modellen.
- De beste resultaten werden behaald met cADPO (ADPO gecombineerd met kritieke token identificatie), waarbij Qwen-3-8B een nauwkeurigheid van 91,74% bereikte op GSM8K.
- Granulariteitsanalyse: Experimenten met de "Static" (vaste venstergrootte $k$ ) en "Adaptive" (vast aantal segmenten $m$ ) families toonden aan dat fijnere granulariteit over het algemeen de prestaties verbeterde. Specifiek leverden token-niveau ( $k=1$ ) en hoge segment adaptieve instellingen ( $m \ge 128$ ) superieure resultaten op vergeleken met volledige-antwoord DPO.
Conversatietaken (AlpacaEval 2, Arena-Hard, MT-Bench):
- ADPO presteerde beter dan DPO en presteerde vergelijkbaar met of beter dan SimPO op alle benchmarks.
- De adaptieve familie met $m=256$ behaalde de hoogste Length-Controlled Win Rate (45,8%) op AlpacaEval 2.
Trainingsdynamiek: Analyse van log-waarschijnlijkheden liet zien dat ADPO effectiever het onderscheid tussen geprefereerde en minder geprefereerde sequenties versterkt, vooral naarmate de granulariteit toeneemt.
Efficiëntie: De extra prefix-gewijze berekeningen geïntroduceerd door ADPO resulteerden in een verwaarloosbare trainingsoverhead (ongeveer 5,7% toename in wall-clock tijd).

Betekenis en Claims

Het artikel claimt dat ADPO een theoretisch consistente uitbreiding van DPO biedt die beter aansluit bij de autoregressieve aard van LLM's. Door de sommatie buiten de log-sigmoid functie te verschuiven, stelt ADPO optimalisatie op willekeurige granulariteiten mogelijk zonder de fundamentele principes van voorkeursoptimalisatie te schenden.

De auteurs benadrukken dat hun werk het eerste is dat expliciet onderscheid maakt tussen token lengte en feedback lengte, en daarmee een verenigd raamwerk biedt dat zowel volledige-antwoord (DPO) als token-niveau benaderingen omvat. De empirische resultaten suggereren dat het benutten van deze fijnere granulariteit leidt tot robuustere afstemming, vooral bij complexe redeneertaken, zonder significante computationele kosten. Het artikel concludeert door op te merken dat hoewel ADPO steunt op het oorspronkelijke KL-beperkte raamwerk, toekomstig werk de divergentie metrieken zou kunnen generaliseren of de energie-definities voor niet-autoregressieve modellen zou kunnen aanpassen.