Technische Samenvatting: Voorbij Paren: Uw Taalmodel Optimaliseert Stiekem een Voorkeursgrafiek

1. Probleemstelling

Huidige uitlijningsmethoden voor Large Language Models (LLM's), met name Direct Preference Optimization (DPO), vertrouwen voornamelijk op paarsgewijze voorkeursvergelijkingen. Hoewel DPO een stabiel alternatief biedt voor Reinforcement Learning from Human Feedback (RLHF) door expliciete beloningsmodellering te elimineren, loopt het tegen een fundamentele bottleneck aan wanneer het wordt toegepast op praktische dataverzamelingsregimes.

In veel real-world scenario's (bijv. redeneren, programmasynthese) bestaat trainingsdata uit meerdere rollouts per prompt die worden gerangschikt via menselijke beoordeling, uitvoeringsgebaseerde verificatie of heuristieken. Standaard DPO behandelt dit door deze multi-sample ranglijsten te ontleden in onafhankelijke paarsgewijze vergelijkingen ($O(K^2)$ instanties). Deze reductionistische aanpak introduceert drie kritieke beperkingen:

1. Verlies van Transitiviteit: Het verwijdert de globale transitieve structuur die inherent is aan gerangschikte lijsten (bijv. als $A \succ B$ en $B \succ C$, dwingt standaard DPO $A \succ C$ niet expliciet af).
2. Redundante/Conflicterende Supervisie: Het behandelt geïsoleerde paren als aparte constraints, wat mogelijk ruis introduceert wanneer samples gelijk zijn of wanneer de rangschikking partiëel is.
3. Incompatibiliteit met Partiële Ordeningen: Veel evaluatiesignalen (bijv. correctheid in wiskunde of code) produceren equivalentieklassen of partiële ordeningen die niet trouw kunnen worden weergegeven als strikte total-order lijsten die door bestaande listwise-methoden (bijv. PRO, LiPO) worden vereist.

2. Methodologie: Graph Direct Preference Optimization (GraphDPO)

De auteurs stellen GraphDPO voor, een principiële generalisatie van DPO die voorkeursmodellering verschuift van geïsoleerde paren of strikte lijsten naar gerichte acyclische voorkeursgrafieken (DAG's).

2.1 Representatie van de Voorkeursgrafiek

Voor een gegeven prompt $x$ en een set van $K$ kandidaat-antwoorden $\{y_1, \dots, y_K\}$ construeert GraphDPO een DAG $G_x = (V, E)$:

• Knopen: Representeren de gesamplede antwoorden.
• Randen: Encoderen dominantierelaties. Een rand $i \to j$ bestaat als antwoord $y_i$ wordt verkiezen boven $y_j$ ($y_i \succ_x y_j$).
• Equivalentieklassen: Om discrete signalen (bijv. correct/fout) te hanteren waarbij meerdere antwoorden hetzelfde voorkeursniveau delen, groepeert de methode antwoorden in equivalentieklassen $C_1 \succ C_2 \succ \dots \succ C_G$. Randen zijn alleen toegestaan tussen verschillende klassen; intra-klasseranden worden gemaskeerd. Dit voorkomt spurious gradiënten die willekeurig gelijke samples ordenen.

2.2 Grafiekgestructureerd Doel

GraphDPO optimaliseert een waarschijnlijkheid gedefinieerd over gedomineerde buurten. Voor elk antwoord $y_i$ wordt het model getraind om een hogere score toe te kennen dan alle antwoorden die het domineert ($N^-(i)$).

• Lokale Loss: Met behulp van een door Plackett–Luce (PL) geïnspireerde formulering is de loss voor knoop $i$:
  $$\ell_i = -\tilde{s}_i + \log \sum_{k \in \{i\} \cup N^-(i)} \exp(\tilde{s}_k)$$
  waarbij $\tilde{s}_i$ de gecentreerde log-ratio score is ten opzichte van een referentiebeleid.
• Globale Aggregatie: De totale loss aggregeert deze lokale termen. Deze formulering dwingt globale transitiviteit af: als $y_i$ $y_j$ domineert, moedigt het doel $s_i > s_j$ aan, en transitive relaties propageren natuurlijk via gedeelde buurten.
• Complexiteit: Ondanks het benutten van de volledige grafiek, behoudt de methode lineaire complexiteit $O(K)$ per prompt onder de constructie van equivalentieklassen (gelaagde DAG), waardoor de $O(K^2)$ enumeratie van paarsgewijze vergelijkingen of de permutatienormalisatie van listwise-methoden wordt vermeden.

2.3 Verankering in Ground-Truth

Wanneer geverifieerde oplossingen (oracle-antwoorden) beschikbaar zijn, integreert GraphDPO deze als dominante knopen in de grafiek.

• Verankeringsloss: Een aparte term moedigt het oracle-antwoord aan om alle gegenereerde antwoorden te domineren.
• Geannealed Schema: Om vroege training te stabiliseren terwijl flexibiliteit later behouden blijft, wordt het gewicht van de verankeringsterm $\lambda_{gt}(t)$ hoog geïnitieerd en geleidelijk afgebouwd naar 1.0. Dit voorkomt dat het beleid te vroeg overfit op het oracle, terwijl het zorgt voor consistente voorkeurspropagatie.

2.4 Trainingsdoel

Het uiteindelijke doel combineert de grafiekloss, optionele ground-truth verankering en een token-level KL-regularisatieterm om afwijking van het referentiebeleid te voorkomen:
$$L(x) = L_{graph}(x) + \lambda_{gt}(t) L_{anchor}(x) + \lambda_{KL}(t) L_{KL}(x)$$
Standaard paarsgewijze DPO wordt hersteld als een speciaal geval wanneer $K=2$ met een strikte voorkeur.

3. Belangrijkste Bijdragen

1. Grafiekgestructureerde Voorkeursoptimalisatie: GraphDPO herformuleert voorkeursleren om een globaal consistente voorkeurs-DAG te construeren over meerdere rollouts, dwingt transitiviteit af en herstelt standaard DPO als een speciaal geval.
2. Groepsrangschikking met Behandeling van Gelijkwaardige Voorkeuren: Het ondersteunt natuurlijk equivalentieklassen, waarbij vergelijkingen alleen worden uitgevoerd tussen voorkeursgroepen om spurious gradiënten van bijna-identieke samples te vermijden.
3. Lineaire-Tijd Volledige-Grafiekleren: De methode vangt globale rangschikkingsinformatie via efficiënte log-sum-exp aggregatie over gedomineerde sets, waardoor de rekenkundige overhead van paarsgewijze enumeratie of listwise permutatienormalisatie wordt vermeden.
4. Stabiliserende Ground-Truth Verankering: Het introduceert een geanneald verankeringsmechanisme dat vroege optimalisatie stabiliseert met behulp van geverifieerde oplossingen, zonder beleidsdiversiteit in latere stadia op te offeren.

4. Experimentele Resultaten

De auteurs evalueerden GraphDPO op benchmarks voor wiskundig redeneren (GSM8K, MATH-500) en programmasynthese (APPS) met behulp van Qwen3 basismodellen.

• Prestaties: GraphDPO presteerde consistent beter dan baselines, waaronder Supervised Fine-Tuning (SFT), GRPO, SPIN en listwise-methoden (PRO, LiPO).
  • GSM8K: Bereikte 92,42% (zonder verankering) en 92,75% (met verankering), en overtrof de beste listwise-baseline (LiPO: 89,23%).
  • MATH-500: Bereikte 87,40% (zonder GT) en 88,87% (met GT), met een grotere kloof ten opzichte van listwise-methoden dan bij GSM8K, wat suggereert dat de voordelen schalen met taakcomplexiteit.
  • APPS: Bereikte 72,93% (zonder GT) en 73,76% (met GT), en presteerde beter dan groepsgebaseerde (GRPO) en listwise-methoden.
• Ablatiebevindingen:
  • Grafiek versus Listwise: De prestatiekloof tussen GraphDPO en PRO (dat grafiekrandcodering verwijdert) bevestigt dat het modelleren van partiële ordeningen en transitieve structuur superieur is aan strikte total-order-aannames.
  • Aantal Rollouts ($K$): Het verhogen van $K$ verbeterde over het algemeen de prestaties door rijker voorkeursgrafieken te induceren, waardoor het model transitive dominantierelaties kon benutten die niet waarneembaar zijn in paarsgewijze sampling.
  • Verankering: Ground-truth verankering bood consistente winsten, met name voor kleinere rollout-budgetten en moeilijkere taken (MATH-500), waar het voorkeurspropagatie stabiliseerde.

5. Betekenis en Claims

Het artikel beweert dat het modelleren van voorkeursstructuur als grafieken een schaalbaar en robuust alternatief biedt voor zowel paarsgewijze als listwise uitlijningsdoelen.

• Schaalbaarheid: Door lineaire complexiteit te behouden terwijl het globale structuur wordt vastgelegd, is GraphDPO geschikt voor uitlijningsscenario's met veel rollouts, zoals die vaak voorkomen bij redeneer- en coding-taken.
• Robuustheid: De methode behandelt partiële ordeningen, equivalentieklassen en schaarse vergelijkbaarheidsrelaties die strikte listwise-aannames breken.
• Inductieve Bias: De resultaten suggereren dat het expliciet modelleren van gestructureerde relaties tussen rollouts (transitiviteit en dominantie) cruciaal is voor het schalen van uitlijning naar complexe probleemdomeinen waar eenvoudige ordeningsaannames falen.

De auteurs concluderen dat GraphDPO een eenvoudige, effectieve inductieve bias biedt voor LLM-uitlijning, en de kloof overbrugt tussen de eenvoud van DPO en de structurele rijkdom van multi-sample rangschikkingen.