Technische Samenvatting: TokenRatio (TBPO)

1. Probleemstelling

Direct Preference Optimization (DPO) is een standaard geworden voor het afstemmen van Large Language Models (LLM's) op menselijke voorkeuren, door de complexiteit van Reinforcement Learning (RL) te vermijden. Er bestaat echter een fundamentele mismatch: LLM's genereren tekst autoregressief (waarbij per-token beslissingen worden genomen op basis van een voorvoegsel), terwijl DPO en zijn varianten voorkeuren doorgaans modelleren over volledige sequenties als ondeelbare objecten.

Bestaande "token-level" uitbreidingen (zoals TDPO, TIS-DPO) proberen dit aan te pakken door een Bradley–Terry-doelstelling op sequentieniveau te ontleden over tijdstappen. Het paper betoogt dat deze methoden fundamenteel nog steeds een model op sequentieniveau optimaliseren, waardoor optimaliteit per voorvoegsel (toestandsgewijs) impliciet blijft. Dit leidt tot suboptimale credit-toewijzing, waarbij kleine fouten in vroege tokens een cascade-effect kunnen veroorzaken, en het model niet expliciet wordt getraind om lokaal optimale afwegingen te maken bij elke generatiestap. Het kernprobleem is hoe token-level voorkeursoptimaliteit kan worden hersteld met uitsluitend standaard sequentieniveau-paarwijze vergelijkingsdata, zonder in te leveren op de eenvoud en efficiëntie die DPO aantrekkelijk maken.

2. Methodologie: Token-level Bregman Preference Optimization (TBPO)

De auteurs stellen Token-level Bregman Preference Optimization (TBPO) voor, een raamwerk dat voorkeuren expliciet op token-niveau modelleert via dichtheidsverhoudingsmatching, terwijl het uitsluitend steunt op sequentieniveau-data.

2.1. Token-level Bradley–Terry Model

In plaats van een volledige respons als één eenheid te behandelen, postuleert TBPO een token-level Bradley–Terry-model. Voor een voorkeurspaar $(y_w, y_l)$ en een specifiek tijdstip $t$, vergelijkt het model de volgende token $y^w_t$ van het winnende voorvoegsel $s^w_t = [x, y^w_{<t}]$ met de volgende token $y^l_t$ van het verliezende voorvoegsel $s^l_t = [x, y^l_{<t}]$.

De voorkeurswaarschijnlijkheid wordt gedefinieerd als:
$$p_{data}(y^w_t \succ y^l_t | s^w_t, s^l_t) = \sigma(S(s^w_t, y^w_t) - S(s^l_t, y^l_t))$$
waarbij $S(s, a)$ een token-level scorefunctie is en $\sigma$ de sigmoidfunctie.

2.2. Twee Instantiaties

Het raamwerk levert twee varianten op, gebaseerd op de keuze van de scorefunctie $S$:

1. TBPO-Q: Gebruikt de state-action value-functie $Q^{\pi_{ref}}$ van het referentiebeleid als score. Dit behandelt het voorkeurslabel als een ruisbeïnvloede vergelijking van een-staps-vooruitkijkende nuttigheidswaarden.
2. TBPO-A: Gebruikt de advantage-functie $A^{\pi_{ref}}$ van het referentiebeleid als score. Dit moedigt het beleid aan om de advantage-kloof tussen winnende en verliezende uitbreidingen bij elke toestand te vergroten.

2.3. Dichtheidsverhoudingsmatching en Toestandsgewijze Weegfactoren

Een cruciaal theoretisch inzicht is dat het vergelijken van acties over verschillende voorvoegsels (toestanden) een correctieterm vereist. De auteurs leiden een gelijkheid af die het optimale beleid $\pi^*_\theta$ koppelt aan het referentiebeleid $\pi_{ref}$, inclusief een toestandsgewijze weegfactor $w_t$:
$$\frac{\pi^*_\theta(y^w_t | s^w_t)}{\pi^*_\theta(y^l_t | s^l_t)} = \frac{\pi_{ref}(y^w_t | s^w_t)}{\pi_{ref}(y^l_t | s^l_t)} \times \left( \frac{p_{data}(y^w_t \succ y^l_t)}{p_{data}(y^l_t \succ y^w_t)} \right)^{1/\beta} \times w_t$$

• Bij TBPO-Q is $w_t$ de verhouding van partitiefuncties (soft-values) van de twee voorvoegsels.
• Bij TBPO-A is $w_t$ het verschil in KL-divergentie-baselines tussen de twee voorvoegsels.

Om dit hanteerbaar te maken, stellen de auteurs praktische schatters voor:

• TBPO-Q: Leert een lichtgewicht MLP-baseline-head om de log-partitiefunctie te voorspellen, met stopzetting van gradiënten naar de hoofd-LLM-ruggengraat.
• TBPO-A: Schat het verschil in KL-divergentie met behulp van een onbevooroordeelde Monte Carlo-schatter (K3-schatter) gebaseerd op het huidige beleid en het referentiebeleid.

2.4. Optimalisatiedoelstelling

Het raamwerk presenteert voorkeursoptimalisatie als een Bregman-divergentie dichtheidsverhoudingsmatching-probleem. Door de Bregman-divergentie te minimaliseren tussen de empirische data-verhouding en de modelverhouding op token-niveau, leidt de methode tot een hanteerbare verliesfunctie. Dit generaliseert de logistische/DPO-verliesfunctie, terwijl de optimale politiek die door het token-level-model wordt geïnduceerd, behouden blijft. De verliesfunctie wordt gemiddeld over de tijdstappen van de kortere sequentie in een paar.

3. Belangrijkste Bijdragen

1. Raamwerk: Introductie van TBPO, het eerste raamwerk dat voorkeuren op token-niveau expliciet modelleert via dichtheidsverhoudingsmatching met uitsluitend sequentieniveau-vergelijkingsdata.
2. Theorie: Een rigoureuze afleiding die aantoont dat het minimaliseren van de TBPO-doelstelling een token-level optimale politiek herstelt onder voldoende modelcapaciteit. De auteurs bewijzen dat de minimalizer overeenkomt met de gewenste optimale politiek zoals gedefinieerd door het token-level Bradley–Terry-model.
3. Varianten: Het voorstellen van twee specifieke instantiaties (TBPO-Q en TBPO-A) die de toestand-afhankelijke correctietermen op verschillende manieren behandelen (via geleerde baselines versus advantage-normalisatie).
4. Flexibiliteit: De formulering maakt een "plug-and-play"-familie van paarwijze voorkeursverliezen mogelijk door de Bregman-generatorfunctie te variëren (bijvoorbeeld het gebruik van Scaled Basu's power divergence voor afstemmingsflexibiliteit).

4. Empirische Resultaten

De auteurs hebben TBPO geëvalueerd op Mistral 7B v0.1 en Llama 3 8B over meerdere benchmarks:

• Algemene Capabiliteiten: Op de Open LLM Leaderboard (ARC, HellaSwag, MMLU, TruthfulQA, Winogrande, GSM8K) presteerden TBPO-varianten consequent beter dan sterke baselines (SFT, DPO, TDPO, TIS-DPO, BPO).
  • TBPO-Q behaalde de hoogste gemiddelde score op Mistral 7B (60,95) en TBPO-A op Llama 3 8B (70,50).
  • Opmerkelijke winsten werden waargenomen in redenering-gerichte taken (zoals GSM8K, MMLU).
• Generatiekwaliteit (MT-Bench): TBPO behaalde hogere paarwijze winpercentages tegen eerdere baselines met lage verliespercentages, zoals geëvalueerd door LLM-rechters (Llama 3 70B en Mixtral-8x22B).
• Behulpzaamheid en Onschadelijkheid: Op het Anthropic HH-RLHF-dataset behaalden TBPO-varianten de hoogste lengte-geregelde (LC) winpercentages terwijl ze kortere responsen produceerden dan concurrenten. Dit suggereert dat de verbeteringen niet worden gedreven door woordigheid, maar door echte kwaliteitsafstemming.
• Diversiteit: In tegenstelling tot sommige token-level methoden die diversiteit doen instorten (hoge Self-BLEU, lage entropie), behaalde TBPO een betere afweging, waarbij hoge voorspellende entropie en Distinct-1-scores werden behouden terwijl Self-BLEU laag bleef.

5. Betekenis en Claims

Het paper claimt dat TBPO de kloof overbrugt tussen de autoregressieve aard van taalgeneratie en voorkeursoptimalisatie op sequentieniveau. Door optimaliteit expliciet af te dwingen op token-niveau, vermijdt TBPO de indirecte problemen van credit-toewijzing van methoden op sequentieniveau.

De auteurs benadrukken dat hun aanpak:

• Token-level Optimaliteit Herstelt: Het biedt een theoretische garantie dat het geleerde beleid optimaal is bij elke toestand (voorvoegsel), niet slechts gemiddeld over sequenties.
• Eenvoud Behoudt: Het behoudt de "DPO-achtige" eenvoud van het niet vereisen van een expliciet beloningmodel of on-policy RL, terwijl er slechts een lichtgewicht component voor baseline-schatting wordt toegevoegd.
• Stabiliteit en Diversiteit Verbetert: Empirische resultaten suggereren dat TBPO betere trainingsstabiliteit biedt en output-diversiteit beter behoudt dan bestaande token-level baselines.

Het werk wordt gepresenteerd als een methodologische bijdrage aan het ontwerp van betrouwbaardere en beter begrepen machine learning-systemen voor afstemming, zonder claims te doen over directe inzet in specifieke hoog-risico domeinen.