💬 NLP

TokenRatio: Principled Token-Level Preference Optimization via Ratio Matching

Dieser Beitrag stellt Token-Level Bregman Preference Optimization (TBPO) vor, eine neuartige Methode, die aus herkömmlichen sequenzweiten Vergleichen ein Token-Level Bradley-Terry-Präferenzmodell ableitet, um die Ausrichtung, Trainingsstabilität und Vielfalt der Ausgaben zu verbessern, während die Einfachheit von Direct Preference Optimization (DPO) erhalten bleibt.

Ursprüngliche Autoren: Truong Nguyen, Tien-Phat Nguyen, Linh Ngo Van, Duy Minh Ho Nguyen, Khoa Doan, Trung Le

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Truong Nguyen, Tien-Phat Nguyen, Linh Ngo Van, Duy Minh Ho Nguyen, Khoa Doan, Trung Le

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lehren einen Roboter, eine Geschichte zu schreiben. Sie zeigen ihm zwei Versionen derselben Geschichte: eine ist ein „Gewinner" (gut, hilfreich, sicher) und die andere ein „Verlierer" (schlecht, nicht hilfreich oder gefährlich). Ihr Ziel ist es, den Roboter so anzupassen, dass er lernt, die „Gewinner"-Version zu schreiben.

Lange Zeit war der Standardweg dafür (genannt DPO) wie das Benoten der gesamten Geschichte auf einmal. Sie würden sagen: „Diese ganze Geschichte ist großartig, diese ganze Geschichte ist schlecht." Der Roboter würde dann versuchen, sein Gehirn anzupassen, um die gesamte Geschichte zu verbessern.

Das Problem:
Die Arbeit argumentiert, dass dies ein bisschen so ist, als würde man einen Marathonläufer nur nach seiner Zielzeit beurteilen, ohne auf seinen Laufschritt zu achten. Sprachmodelle schreiben keine ganzen Geschichten auf einmal; sie schreiben ein Wort nach dem anderen. Jedes einzelne Wort, das sie wählen, ist eine winzige Entscheidung basierend auf dem, was davor kam. Wenn der Roboter beim allerersten Wort einen kleinen Fehler macht, kann die ganze Geschichte aus dem Ruder laufen, selbst wenn die Note für die „gesamte Geschichte" sich schließlich verbessert.

Bestehende „Token-Level"-Methoden versuchten, dies zu beheben, indem sie die Geschichte aufbrachen, aber sie verteilten im Wesentlichen immer noch nur die Note der „gesamten Geschichte" auf die Wörter, anstatt dem Roboter beizubringen, die richtige Wahl bei jedem einzelnen Schritt zu treffen.

Die Lösung: TokenRatio (TBPO)
Die Autoren schlagen eine neue Methode vor, die Token-level Bregman Preference Optimization (TBPO) heißt. Hier ist ihre Erklärung mit einfachen Analogien:

1. Die Analogie „GPS mit Schritt-für-Schritt-Anweisungen"

Stellen Sie sich vor, Sie fahren von New York nach Los Angeles.

Alte Methode (Sequenz-Ebene): Sie schauen auf das Endziel. Wenn Sie in LA ankommen, erhalten Sie einen goldenen Stern. Wenn Sie in Kanada enden, erhalten Sie ein rotes Licht. Sie versuchen, Ihre Fahrweise anzupassen, um diesen goldenen Stern zu bekommen, aber Sie wissen nicht genau, welche Abbiegung der Fehler war.
TBPO-Methode (Token-Ebene): Diese Methode wirkt wie ein GPS, das Ihnen eine Punktzahl für jede Abbiegung gibt. An jeder einzelnen Kreuzung (bei jedem Wort) fragt es: „Haben Sie die Straße gewählt, die zur guten Geschichte führt, oder die zur schlechten?" Es lehrt den Roboter, bei jedem einzelnen Schritt die perfekte Wahl zu treffen, nicht nur zu hoffen, dass das Endergebnis gut ist.

2. Das Problem der „Zwei verschiedenen Straßen"

Hier ist der knifflige Teil, den die Arbeit löst. Beim Vergleich einer „Gewinner"-Geschichte und einer „Verlierer"-Geschichte sehen diese oft schon sehr früh unterschiedlich aus.

Das Szenario: Stellen Sie sich vor, die Gewinner-Geschichte beginnt mit „Die Katze saß..." und die Verlierer-Geschichte beginnt mit „Der Hund rannte..."
Das Problem: Wenn Sie nur das nächste Wort vergleichen, vergleichen Sie nicht nur das Wort; Sie vergleichen zwei völlig unterschiedliche Ausgangspunkte. Es ist wie der Vergleich eines Läufers, der oben am Hang startete, mit einem, der unten startete. Derjenige oben hat einen unfairen Vorteil.
Die Lösung: Die Arbeit führt einen „Korrekturfaktor" ein (genannt Baseline).
- TBPO-Q: Diese Version baut einen kleinen, leichten „Rechner", der abschätzt, wie „gut" der Ausgangspunkt (das Präfix) war. Sie zieht diesen Vorteil ab, sodass Sie nur das nächste Wort beurteilen, nicht die gesamte Historie.
- TBPO-A: Diese Version führt dieselbe Mathematik durch, verwendet aber einen anderen Trick (genannt „Vorteilsnormalisierung"), um die Unterschiede im Ausgangspunkt zu kompensieren, ohne einen separaten Rechner zu benötigen.

3. Die Magie des „Dichte-Verhältnisses"

Die Arbeit verwendet ein ausgeklügeltes mathematisches Konzept namens Density Ratio Matching (speziell unter Verwendung von etwas, das Bregman-Divergenz heißt).

Einfache Analogie: Stellen Sie sich vor, Sie haben einen Sack voller roter Murmeln (gute Wörter) und blauer Murmeln (schlechte Wörter). Sie wollen dem Roboter beibringen, rote Murmeln zu wählen.
Anstatt sie nur zu zählen, betrachtet die Methode der Arbeit das Verhältnis roter zu blauer Murmeln in den „guten" Geschichten im Vergleich zu den „schlechten" Geschichten. Sie versucht, das interne Verhältnis des Roboters perfekt an das „gute" Verhältnis anzupassen.
Indem dies auf Wortebene geschieht, lernt der Roboter eine „Richtlinie" (eine Reihe von Regeln), die in jedem einzelnen Moment optimal ist, nicht nur für das Endergebnis.

Was haben sie herausgefunden?

Die Autoren testeten diese neue Methode an zwei beliebten KI-Modellen (Mistral und Llama 3) über viele verschiedene Aufgaben hinweg:

Intelligenteres Schlussfolgern: Die Modelle wurden besser in Mathe- und Logikrätseln (wie GSM8K und MMLU).
Bessere Ausrichtung: Sie wurden hilfreicher und sagten seltener schädliche Dinge.
Mehr Vielfalt: Ein häufiges Problem beim KI-Training ist, dass Modelle langweilig und repetitiv werden (wie eine kaputte Schallplatte). TBPO hielt die Modelle vielfältig und kreativ, während andere Methoden sie roboterhafter machten.
Effizienz: Sie erzielten diese Ergebnisse, ohne komplexe, teure Verstärkungslern-Schleifen zu benötigen. Es war eine „Plug-and-Play"-Verbesserung gegenüber den Standardmethoden.

Auf den Punkt gebracht:
Die Arbeit sagt: „Hören Sie auf, den ganzen Aufsatz auf einmal zu benoten. Lehren Sie die KI, die richtige Wahl für jedes einzelne Wort zu treffen, während Sie korrigieren, dass einige Geschichten mit einem Vorsprung starten." Das Ergebnis ist eine KI, die intelligenter, hilfreicher und weniger repetitiv ist.

Technische Zusammenfassung: TokenRatio (TBPO)

1. Problemstellung

Direct Preference Optimization (DPO) hat sich als Standard für die Ausrichtung von Large Language Models (LLMs) an menschliche Präferenzen etabliert, indem die Komplexität des Reinforcement Learning (RL) vermieden wird. Es besteht jedoch ein grundlegender Missverhältnis: LLMs generieren Text autoregressiv (indem sie pro-Token-Entscheidungen treffen, die von einem Präfix abhängig sind), während DPO und seine Varianten typischerweise Präferenzen über ganze Sequenzen als unteilbare Objekte modellieren.

Bestehende „Token-Level"-Erweiterungen (z. B. TDPO, TIS-DPO) versuchen, dies zu beheben, indem sie ein sequenzweises Bradley–Terry-Ziel über die Zeitschritte zerlegen. Die Arbeit argumentiert, dass diese Methoden dennoch fundamental ein sequenzweises Modell optimieren und die Optimalität pro Präfix (zustandsweise) implizit lassen. Dies führt zu einer suboptimalen Kreditvergabe, bei der kleine Fehler in frühen Tokens kaskadieren können, und das Modell nicht explizit darauf trainiert wird, bei jedem Generierungsschritt lokal optimale Kompromisse zu treffen. Das Kernproblem besteht darin, wie man Token-Level-Präferenzoptimalität allein mit standardmäßigen sequenzweisen paarweisen Vergleichsdaten wiederherstellen kann, ohne die Einfachheit und Effizienz zu opfern, die DPO attraktiv machen.

2. Methodik: Token-Level Bregman Preference Optimization (TBPO)

Die Autoren schlagen Token-Level Bregman Preference Optimization (TBPO) vor, ein Framework, das Präferenzen auf Token-Ebene explizit durch Dichteverhältnis-Matching modelliert, wobei es sich ausschließlich auf sequenzweise Daten stützt.

2.1. Token-Level Bradley–Terry-Modell

Anstatt eine vollständige Antwort als einzelne Einheit zu behandeln, postuliert TBPO ein Token-Level-Bradley–Terry-Modell. Für ein Präferenzpaar $(y_w, y_l)$ und einen spezifischen Zeitschritt $t$ vergleicht das Modell den nächsten Token $y^w_t$ aus dem gewinnenden Präfix $s^w_t = [x, y^w_{<t}]$ mit dem nächsten Token $y^l_t$ aus dem verlierenden Präfix $s^l_t = [x, y^l_{<t}]$ .

Die Präferenzwahrscheinlichkeit ist definiert als:
$p_{data}(y^w_t \succ y^l_t | s^w_t, s^l_t) = \sigma(S(s^w_t, y^w_t) - S(s^l_t, y^l_t))$
wobei $S(s, a)$ eine Token-Level-Score-Funktion ist und $\sigma$ die Sigmoid-Funktion darstellt.

2.2. Zwei Instanziierungen

Das Framework ergibt zwei Varianten basierend auf der Wahl der Score-Funktion $S$ :

TBPO-Q: Verwendet die State-Action-Wertfunktion der Referenzrichtlinie $Q^{\pi_{ref}}$ als Score. Dies behandelt das Präferenzlabel als verrauschten Vergleich von Ein-Schritt-Vorausblick-Nutzen.
TBPO-A: Verwendet die Vorteilfunktion der Referenzrichtlinie $A^{\pi_{ref}}$ als Score. Dies ermutigt die Richtlinie, die Vorteilslücke zwischen gewinnenden und verlierenden Erweiterungen in jedem Zustand zu vergrößern.

2.3. Dichteverhältnis-Matching und Gewichte pro Zustand

Eine kritische theoretische Erkenntnis ist, dass der Vergleich von Aktionen über verschiedene Präfixe (Zustände) hinweg einen Korrekturterm erfordert. Die Autoren leiten eine Gleichung her, die die optimale Richtlinie $\pi^*_\theta$ mit der Referenzrichtlinie $\pi_{ref}$ verknüpft, die ein Gewicht pro Zustand $w_t$ enthält:
$\frac{\pi^*_\theta(y^w_t | s^w_t)}{\pi^*_\theta(y^l_t | s^l_t)} = \frac{\pi_{ref}(y^w_t | s^w_t)}{\pi_{ref}(y^l_t | s^l_t)} \times \left( \frac{p_{data}(y^w_t \succ y^l_t)}{p_{data}(y^l_t \succ y^w_t)} \right)^{1/\beta} \times w_t$

In TBPO-Q ist $w_t$ das Verhältnis der Partitionfunktionen (Soft-Werte) der beiden Präfixe.
In TBPO-A ist $w_t$ die Differenz der KL-Divergenz-Baselines zwischen den beiden Präfixen.

Um dies handhabbar zu machen, schlagen die Autoren praktische Schätzer vor:

TBPO-Q: Lernt einen leichten MLP-Baseline-Kopf, um die Log-Partition-Funktion vorherzusagen, und stoppt die Gradienten in das Haupt-LLM-Rückgrat.
TBPO-A: Schätzt die KL-Divergenz-Differenz unter Verwendung eines unverzerrten Monte-Carlo-Schätzers (K3-Schätzer) basierend auf der aktuellen Richtlinie und der Referenzrichtlinie.

2.4. Optimierungsziel

Das Framework fasst Präferenzoptimierung als ein Bregman-Divergenz-Dichteverhältnis-Matching-Problem auf. Durch Minimierung der Bregman-Divergenz zwischen dem empirischen Datenverhältnis und dem Modellverhältnis auf Token-Ebene leitet die Methode eine handhabbare Verlustfunktion ab. Dies verallgemeinert den logistischen/DPO-Verlust, während die durch das Token-Level-Modell induzierte optimale Richtlinie erhalten bleibt. Die Verlustfunktion wird über die Zeitschritte der kürzeren Sequenz in einem Paar gemittelt.

3. Hauptbeiträge

Framework: Einführung von TBPO, dem ersten Framework, das Token-Level-Präferenzen explizit durch Dichteverhältnis-Matching unter Verwendung ausschließlich sequenzweiser Vergleichsdaten modelliert.
Theorie: Eine rigorose Herleitung, die zeigt, dass die Minimierung des TBPO-Ziels unter ausreichender Modellkapazität eine Token-Level-optimale Richtlinie wiederherstellt. Die Autoren beweisen, dass der Minimierer der gewünschten optimalen Richtlinie entspricht, die durch das Token-Level-Bradley–Terry-Modell definiert ist.
Varianten: Der Vorschlag zweier spezifischer Instanziierungen (TBPO-Q und TBPO-A), die zustandsabhängige Korrekturterme unterschiedlich behandeln (durch gelernte Baselines vs. Vorteil-Normalisierung).
Flexibilität: Die Formulierung ermöglicht eine „Plug-and-Play"-Familie von paarweisen Präferenzverlusten durch Variation der Bregman-Generator-Funktion (z. B. Verwendung der skalierten Basu-Power-Divergenz für Anpassungsflexibilität).

4. Empirische Ergebnisse

Die Autoren evaluierten TBPO auf Mistral 7B v0.1 und Llama 3 8B über mehrere Benchmarks:

Allgemeine Fähigkeiten: Auf dem Open LLM Leaderboard (ARC, HellaSwag, MMLU, TruthfulQA, Winogrande, GSM8K) übertrafen TBPO-Varianten konsistent starke Baselines (SFT, DPO, TDPO, TIS-DPO, BPO).
- TBPO-Q erzielte den höchsten Durchschnittswert auf Mistral 7B (60,95) und TBPO-A auf Llama 3 8B (70,50).
- Bemerkenswerte Gewinne wurden bei rechenintensiven Aufgaben (z. B. GSM8K, MMLU) beobachtet.
Generierungsqualität (MT-Bench): TBPO erzielte höhere paarweise Gewinnquoten gegenüber früheren Baselines bei niedrigen Verlustquoten, bewertet durch LLM-Richter (Llama 3 70B und Mixtral-8x22B).
Hilfsbereitschaft und Harmlosigkeit: Auf dem Anthropic HH-RLHF-Datensatz erzielten TBPO-Varianten die höchsten längenkontrollierten (LC) Gewinnquoten, während sie kürzere Antworten als die Konkurrenz produzierten. Dies deutet darauf hin, dass die Verbesserungen nicht durch Wortfülle getrieben werden, sondern durch echte Qualitätsausrichtung.
Vielfalt: Im Gegensatz zu einigen Token-Level-Methoden, die die Vielfalt kollabieren lassen (hohes Self-BLEU, niedrige Entropie), erreichte TBPO einen besseren Kompromiss, wobei die prädiktive Entropie und Distinct-1-Werte hoch gehalten wurden, während Self-BLEU niedrig blieb.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass TBPO die Lücke zwischen der autoregressiven Natur der Sprachgenerierung und der sequenzweisen Präferenzoptimierung schließt. Durch die explizite Erzwingung von Optimalität auf Token-Ebene vermeidet TBPO die indirekten Probleme der Kreditvergabe sequenzweiser Methoden.

Die Autoren betonen, dass ihr Ansatz:

Token-Level-Optimalität wiederherstellt: Er bietet eine theoretische Garantie, dass die erlernte Richtlinie in jedem Zustand (Präfix) optimal ist, nicht nur im Durchschnitt über Sequenzen.
Einfachheit bewahrt: Er behält die „DPO-ähnliche" Einfachheit bei, die kein explizites Belohnungsmodell oder on-policy RL erfordert, und fügt nur eine leichte Baseline-Schätzungskomponente hinzu.
Stabilität und Vielfalt verbessert: Empirische Ergebnisse deuten darauf hin, dass TBPO eine bessere Trainingsstabilität bietet und die Ausgabe-Vielfalt besser erhält als bestehende Token-Level-Baselines.

Die Arbeit wird als methodischer Beitrag zum Entwurf zuverlässigerer und besser verständlicher maschineller Lernsysteme für die Ausrichtung präsentiert, ohne eine unmittelbare Bereitstellung in spezifischen Hochrisikobereichen zu beanspruchen.