🤖 AI

Autoregressive Direct Preference Optimization

Dieses Paper schlägt Autoregressive Direct Preference Optimization (ADPO) vor, eine neuartige Variante, die das DPO-Ziel unter expliziter Anwendung autoregressiver Annahmen vor dem Bradley-Terry-Modell reformuliert, was zu einer verschobenen Verlustfunktion und der Identifizierung distinkter Token- und Feedback-Längenmaße zur verbesserten Präferenzoptimierung führt.

Ursprüngliche Autoren: Masanari Oi, Mahiro Ukai, Masahiro Kaneko, Naoaki Okazaki, Nakamasa Inoue

Veröffentlicht 2026-06-11

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Masanari Oi, Mahiro Ukai, Masahiro Kaneko, Naoaki Okazaki, Nakamasa Inoue

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Einem Roboter das Schreiben beibringen

Stellen Sie sich vor, Sie bringen einem Roboter bei, Geschichten zu schreiben. Sie haben ein „Goldstandard“-Buch (das Referenzmodell) und einen „Schüler“-Roboter (das lernbare Modell). Sie möchten, dass der Schüler Geschichten schreibt, die Menschen lieber mögen als die Geschichten des Goldstandards.

Lange Zeit war die beste Methode hierfür DPO (Direct Preference Optimization). Betrachten Sie DPO als einen Lehrer, der die gesamte Geschichte liest, die der Schüler geschrieben hat, sie mit der Geschichte des Goldstandards vergleicht und eine einzige Note gibt: „Gut“ oder „Schlecht“.

Das Problem:
Das Paper argumentiert, dass dieses „Alles-oder-Nichts“-Bewertungssystem etwas ineffizient ist. Große Sprachmodelle (LLMs) schreiben Geschichten nicht in einem einzigen riesigen Sprung; sie schreiben sie Wort für Wort (oder Token für Token), wie ein Mensch, der einen Satz tippt. Das alte DPO-Verfahren wartet jedoch bis ganz am Ende, um Feedback zu geben. Es ist wie ein Trainer, der erst am Ende eines Marathons zum Läufer sagt: „Du bist gut gelaufen“, ohne den Läufer während des Laufs jemals korrigiert zu haben.

Die Lösung: ADPO (Autoregressive DPO)

Die Autoren schlagen eine neue Methode namens ADPO vor. Anstatt zu warten, bis die Geschichte fertig ist, um eine Note zu geben, gibt ADPO das Feedback Schritt für Schritt, während die Geschichte geschrieben wird.

Die „Film vs. Schnappschuss“-Analogie

Altes DPO (Der Schnappschuss): Stellen Sie sich vor, Sie machen ein Foto von einem fertigen Gemälde. Sie betrachten das ganze Bild und sagen: „Dieses ist besser als jenes.“ Sie wissen nicht, welche Pinselstriche es besser gemacht haben.
Neues ADPO (Der Film): Stellen Sie sich vor, Sie beobachten den Künstler beim Malen des Bildes in Echtzeit. ADPO schaut sich den ersten Pinselstrich an, dann den zweiten, dann den dritten. Es fragt: „War dieser spezifische Strich gut? War der nächste besser?“ Es lernt, den Prozess des Schreibens zu bevorzugen, nicht nur das Endergebnis.

Die zwei „Längen“-Regeln

Eine der interessantesten Entdeckungen des Papers ist, dass es tatsächlich zwei verschiedene Arten gibt, die Länge zu messen, wenn man diese Modelle lehrt, und die alte Methode diese verwechselte.

Token-Länge (Die Wortanzahl): Dies ist die Anzahl der Wörter, die das Modell tatsächlich tippt. (z. B. „Die Katze saß“ = 3 Wörter).
Feedback-Länge (Die Bewertungseinheiten): Dies ist die Anzahl der Chunks (Stücke), die der Lehrer auf einmal bewertet.

Der alte Weg: Der Lehrer bewertete immer die gesamte Geschichte als einen einzigen Chunk (Feedback-Länge = 1), unabhängig davon, wie viele Wörter darin enthalten waren.
Der neue Weg (ADPO): Der Lehrer kann entscheiden, die Geschichte in Chunks zu unterteilen. Er könnte jedes einzelne Wort bewerten (Feedback-Länge = Wortanzahl), oder er könnte alle 10 Wörter bewerten, oder jeden Absatz.

Das Paper zeigt, dass das Modell schneller lernt und besser schreibt, wenn man die Geschichte in kleinere Chunks unterteilt (indem man die „Feedback-Länge“ an die „Token-Länge“ anpasst).

Wie es funktioniert (Die „Mathematik“ vereinfacht)

In der alten Methode sah die Mathematik so aus:

Nimm die ganze Geschichte, berechne den Unterschied, dann wende eine „Sigmoid“-Funktion (eine Glättungsfunktion) an, um einen Score zu erhalten.

In der neuen ADPO-Methode dreht sich die Reihenfolge der Mathematik um:

Berechne den Unterschied für jeden Schritt, wende die „Sigmoid“-Funktion auf jeden Schritt an und addiere sie dann alle auf.

Die Analogie:

Alter Weg: Sie mischen alle Zutaten für einen Kuchen, backen ihn, probieren das fertige Gebäck und entscheiden dann, ob Sie mehr Zucker benötigen. (Zu spät, um den Teig zu korrigieren).
Neuer Weg: Sie probieren den Teig nach dem Hinzufügen des Mehls, dann nach den Eiern, dann nach dem Zucker. Sie passen das Rezept während des Prozesses an.

Die Ergebnisse: Funktioniert es?

Die Autoren testeten diese neue Methode bei zwei Arten von Aufgaben:

Mathematische Probleme: Sie baten die Modelle, komplexe mathematische Textaufgaben zu lösen.
Konversationen: Sie ließen die Modelle mit Menschen chatten.

Die Erkenntnisse:

Bessere Noten: In fast jedem Test erhielten die mit ADPO trainierten Modelle höhere Punktzahlen als die mit der alten DPO-Methode trainierten Modelle.
Feiner ist besser: Die Modelle schnitten am besten ab, wenn die „Feedback-Länge“ sehr klein war (also jedes einzelne Wort überprüft wurde). Dies bewies, dass die Modelle von ständigem, granularem Feedback profitieren.
Keine zusätzlichen Kosten: Obwohl das Überprüfen jedes Wortes nach mehr Zeit klingt, fanden die Autoren heraus, dass der zusätzliche Zeitaufwand vernachlässigbar war (weniger als 6 % langsamer).

Zusammenfassung

Das Paper stellt ADPO vor, eine intelligentere Art, KI-Modelle zu trainieren. Anstatt darauf zu warten, dass die KI eine Aufgabe abschließt, um ihr eine Note zu geben, gibt ADPO bei jedem einzelnen Schritt Feedback. Indem es das Schreiben der KI als eine Sequenz kleiner Schritte statt als einen großen Block behandelt, lernt das Modell, über den gesamten Generierungsprozess hinweg bessere Entscheidungen zu treffen, was zu besserer mathematischer Logik und besseren Konversationen führt.

Technisches Resümee: Autoregressive Direct Preference Optimization (ADPO)

Problemstellung

Direct Preference Optimization (DPO) hat sich zu einer Standardmethode für die Ausrichtung von Large Language Models (LLMs) an menschlichen Präferenzen entwickelt, indem das optimale Policy analytisch aus dem Bradley-Terry (BT)-Modell abgeleitet wird, was die Notwendigkeit eines expliziten Reward-Modells eliminiert. Die Autoren identifizieren jedoch eine theoretische Einschränkung in der Standard-DPO-Formulierung: Während LLMs inhärent autoregressiv sind (sie generieren Token sequenziell), wendet die Standard-DPO-Zielfunktion das BT-Modell auf der Ebene vollständiger Antworten an, nachdem sie die autoregressive Natur der Policy vorausgesetzt hat.

Konkret leitet die Standard-DPO die Zielfunktion unter Verwendung des BT-Modells über den Output-Raum $\mathcal{Y}$ ab und expandiert erst im Anschluss die Log-Wahrscheinlichkeiten in eine Summe von Token-basierten Termen. Dies führt zu einer Verlustfunktion, bei der die Summation der Token-basierten Log-Verhältnisse innerhalb der Log-Sigmoid-Funktion erfolgt. Die Autoren argumentieren, dass diese Reihenfolge die autoregressive Annahme während der Ableitung des Präferenzmodells nicht vollständig ausnutzt, was die Granularität und die theoretische Konsistenz der Optimierung potenziell einschränkt.

Methodik: Autoregressive DPO (ADPO)

Die Arbeit schlägt Autoregressive DPO (ADPO) vor, eine neuartige Variante, die die autoregressive Annahme explizit vor der Anwendung des Bradley-Terry-Modells integriert.

Theoretische Formulierung

Präfix-Abschluss und Energiefunktionen: ADPO erweitert den Definitionsbereich der Reward-Funktion vom vollständigen Output-Raum $\mathcal{Y}$ auf dessen Präfix-Abschluss $\mathcal{Y}^*$ (die Menge aller unvollständigen Antworten). Es definiert „präfixweise“ Energiefunktionen $E^*_1$ und $E^*_2$ über diese Präfixe.
Präfixweises Bradley-Terry-Modell: Anstatt Präferenzen über vollständige Sequenzen zu modellieren, definiert ADPO ein präfixweises BT-Modell. Die Wahrscheinlichkeit einer bevorzugten Sequenz $y_w$ gegenüber einer weniger bevorzugten Sequenz $y_l$ wird als das Produkt der Präferenzwahrscheinlichkeiten an jedem Präfix-Schritt $i$ formuliert.
Ableitung des Verlusts: Durch Anwendung der autoregressiven Annahme auf das Referenzmodell $\pi_{ref}$ $π_{r e f}$ und das lernbare Modell $\pi_\theta$ $π_{θ}$ innerhalb des präfixweisen BT-Frameworks leiten die Autoren eine neue Verlustfunktion ab.
- Wesentlicher struktureller Unterschied: In der Standard-DPO ist der Verlust $-\log \sigma(\sum_i \Delta_i)$ . In ADPO wird die Summation außerhalb der Log-Sigmoid-Funktion verschoben:
  $\mathcal{L}_{ADPO} = -\mathbb{E} \left[ \sum_{i=1}^{T'} \log \sigma \left( \beta \log \frac{\pi_\theta(y_{w,i}|y_{w,<i}, x)}{\pi_{ref}(y_{w,i}|y_{w,<i}, x)} - \beta \log \frac{\pi_\theta(y_{l,i}|y_{l,<i}, x)}{\pi_{ref}(y_{l,i}|y_{l,<i}, x)} \right) \right]$
- Diese Formulierung behandelt die Präferenzoptimierung als eine Folge von Token-basierten (oder Sub-Sequenz-basierten) Entscheidungen anstatt als eine einzige Sequenz-basierte Entscheidung.

Theoretische Analyse: Längenmaße

Die Arbeit führt eine theoretische Unterscheidung zwischen zwei Längenmaßen ein, welche die Beziehung zwischen DPO und ADPO klärt:

Token-Länge ( $\mu$ ): Die Anzahl der Token in einer Sequenz, die der autoregressiven Natur des LLM inhärent ist.
Feedback-Länge ( $\mu'$ ): Die Granularität, auf der menschliches Feedback angewendet wird.
- Standard-DPO entspricht dem Spezialfall, in dem $\mu'(y) = 1$ für alle Sequenzen gilt (Feedback wird nur auf die vollständige Antwort gegeben).
- ADPO ermöglicht es, dass $\mu'$ unabhängig von $\mu$ ist, was ein Training bei beliebigen Granularitäten ermöglicht (z. B. Token-Ebene, Satz-Ebene oder feste Fenster-Ebene).

Die Autoren beweisen, dass jede Reward-Funktion, die mit dem präfixweisen BT-Modell konsistent ist, durch ein autoregressives Modell reparametrisiert werden kann, wodurch sichergestellt wird, dass ADPO theoretisch konsistent mit dem KL-beschränkten Reward-Maximierungsproblem bleibt.

Zentrale Beiträge

ADPO-Formulierung: Die Einführung von ADPO, das die Zielfunktion der Präferenzoptimierung ableitet, indem es den Definitionsbereich der Energie auf den Präfix-Abschluss $\mathcal{Y}^*$ erweitert und somit die autoregressive Annahme explizit in das BT-Modell integriert.
Innovation der Verlustfunktion: Ableitung einer Verlustfunktion, bei der die Summation der Token-basierten Log-Verhältnisse außerhalb der Log-Sigmoid-Funktion liegt, was einen theoretisch konsistenten Weg zur Ermöglichung von Training mit feinerer Granularität bietet.
Theoretische Einsicht in die Granularität: Identifizierung und Unterscheidung zwischen dem Token-Längenmaß ( $\mu$ ) und dem Feedback-Längenmaß ( $\mu'$ ). Die Arbeit zeigt, dass DPO ein Spezialfall von ADPO ist, bei dem $\mu' \equiv 1$ , und dass die Variation von $\mu'$ eine Familie von Algorithmen ermöglicht, die von Vollantwort- bis hin zu Token-Ebene-Optimierung reicht.
Vollständigkeit der Reparametrisierung: Beweis, dass unter milden Annahmen jede Reward-Funktion innerhalb des präfixweisen Frameworks durch ein autoregressives Modell reparametrisiert werden kann.

Experimentelle Ergebnisse

Die Autoren evaluierten ADPO bei mathematischen Denkaufgaben und Konversationsaufgaben über mehrere LLM-Architekturen hinweg (Llama-3, Qwen, Gemma, DeepSeek-Math).

Mathematisches Denken (GSM8K, MATH500):
- ADPO-Varianten übertrafen konsistent Standard-DPO und die token-basierte kontrastive Methode cDPO über alle Modelle hinweg.
- Die besten Ergebnisse wurden mit cADPO (ADPO kombiniert mit kritischer Token-Identifikation) erzielt, wobei Qwen-3-8B eine Genauigkeit von 91,74 % auf GSM8K erreichte.
- Granularitätsanalyse: Experimente mit der „Statischen“ (feste Fenstergröße $k$ ) und der „Adaptiven“ Familie (feste Anzahl von Segmenten $m$ ) zeigten, dass eine feinere Granularität generell die Leistung verbesserte. Insbesondere die Token-Ebene ( $k=1$ ) und die hoch-segmentierte adaptive Einstellung ( $m \ge 128$ ) lieferten überlegene Ergebnisse im Vergleich zu Full-Response-DPO.
Konversationsaufgaben (AlpacaEval 2, Arena-Hard, MT-Bench):
- ADPO übertraf DPO und war vergleichbar mit oder besser als SimPO in allen Benchmarks.
- Die adaptive Familie mit $m=256$ erreichte die höchste Length-Controlled Win Rate (45,8 %) auf AlpacaEval 2.
Trainingsdynamik: Die Analyse der Log-Wahrscheinlichkeiten zeigte, dass ADPO die Unterscheidung zwischen bevorzugten und weniger bevorzugten Sequenzen effektiver verstärkt, insbesondere wenn die Granularität steigt.
Effizienz: Der zusätzliche präfixweise Rechenaufwand durch ADPO führte zu einem vernachlässigbaren Trainings-Overhead (ca. 5,7 % Steigerung der Wandzeit).

Bedeutung und Ansprüche

Die Arbeit behauptet, dass ADPO eine theoretisch konsistente Erweiterung von DPO darstellt, die besser mit der autoregressiven Natur von LLMs harmoniert. Durch das Verschieben der Summation außerhalb der Log-Sigmoid-Funktion ermöglicht ADPO die Optimierung auf beliebigen Granularitäten, ohne die grundlegenden Prinzipien der Präferenzoptimierung zu verletzen.

Die Autoren betonen, dass ihre Arbeit die erste ist, die explizit zwischen Token-Länge und Feedback-Länge unterscheidet und somit ein vereinheitlichtes Framework bietet, das sowohl Full-Response- als auch Token-Ebene-Ansätze umfasst. Die empirischen Ergebnisse legen nahe, dass die Nutzung dieser feineren Granularität zu einer robusteren Ausrichtung führt, insbesondere bei komplexen Denkaufgaben, ohne signifikante Rechenkosten zu verursachen. Die Arbeit schließt mit dem Hinweis, dass die Arbeit zwar auf dem ursprünglichen KL-beschränkten Framework basiert, zukünftige Arbeiten jedoch die Generalisierung der Divergenzmetriken oder die Anpassung der Energiedefinitionen für nicht-autoregressive Modelle untersuchen könnten.