Transitivity Meets Cyclicity: Explicit Preference Decomposition for Dynamic Large Language Model Alignment

Technische Samenvatting: Transitiviteit ontmoet Cyclisiteit: Expliciete Voorkeursdecompositie voor Dynamische Afstemming van Grootte Taalmodellen

Probleemstelling
Standaard Reinforcement Learning from Human Feedback (RLHF) vertrouwt op het Bradley-Terry (BT)-model, dat ervan uitgaat dat menselijke voorkeuren transitief zijn en kunnen worden weergegeven door scalair beloningen ($A \succ B \land B \succ C \implies A \succ C$). Echter, real-world menselijke voorkeuren vertonen vaak intransitieve, cyclische patronen (bijvoorbeeld Rock-Paper-Scissors-dynamiek) die scalar modellen fundamenteel niet kunnen vangen. Hoewel recente benaderingen zoals het General Preference Model (GPM) cyclisiteit adresseren met behulp van schuifsymmetrische bilineaire vormen, identificeren de auteurs een kritieke theoretische beperking: de impliciete formulering van GPM verstrengelt hiërarchische (transitieve) en cyclische dynamiek. Deze verstrengeling voorkomt dat GPM de representatie van "dominante oplossingen" (kandidaten die strikt alle anderen verslaan) in willekeurige cyclische contexten garandeert, aangezien de geometrische capaciteit die nodig is voor globale hiërarchieën kan worden "weggedrukt" door complexe lokale cycli.

Methodologie
Het artikel stelt een tweeledig kader voor om deze structurele en optimalisatie-uitdagingen aan te pakken:

1. Hybrid Reward-Cyclic (HRC)-model:

   • Theoretische Basis: Gebaseerd op game-theoretische decompositie (Balduzzi et al., 2019), formaliseren de auteurs voorkeursmodellering als een Symmetrisch Zero-Sum Functional-Form Spel. Zij bewijzen dat elke voorkeursfunctie uniek kan worden ontbonden in een orthogonale transitieve component ($\phi_T$) en een cyclische component ($\phi_C$).
   • Architectuur: HRC instantieert deze decompositie expliciet. Het combineert een scalair beloningshoofd (dat de transitieve component vastlegt via een BT-achtige structuur) met een vectorgebaseerd cyclisch hoofd (dat intransitieve dynamiek vastlegt via een GPM-achtige schuifsymmetrische operator).
   • Mechanisme: De uiteindelijke voorkeursscore is de som van het transitieve scalair verschil en de cyclische vectorinteractie: $s_{HRC} = (r(y_i) - r(y_j)) + (v_i^\top W v_j)$. Het model legt eenheidsnorm-beperkingen op aan embeddings en maakt gebruik van een contextbewust sluitmechanisme om de cyclische intensiteit te moduleren.
   • Voordeel: In tegenstelling tot GPM, dat moeite heeft om een dominante kandidaat naast een cyclus weer te geven zonder specifieke hoog-dimensionale beperkingen, garandeert HRC wiskundig de behoud van dominante hiërarchieën door de twee dynamieken te ontkoppelen. Het behoudt lineaire inferentiecomplexiteit $O((2d+1)K)$.

2. Dynamic Self-Play Preference Optimization (DSPPO):

   • Concept: Standaard self-play-algoritmen (bijvoorbeeld SPPO) optimaliseren tegen een statische voorkeursoorakel. De auteurs betogen dat dit de mogelijkheid van het model beperkt om het multi-dimensionale landschap te navigeren dat door HRC wordt onthuld.
   • Mechanisme: DSPPO behandelt afstemming als een tijdsvariërend spel. Het plant het voorkeurssignaal over training-iteraties, met een geleidelijke overgang van een robuuste transitieve ruggengraat naar verfijnde cyclische nuances.
   • Schema: De voorkeursscore op iteratie $t$ wordt gedefinieerd als $s_t = (1 + \frac{\lambda}{\sqrt{t}})s_T + (1 - \frac{\lambda}{\sqrt{t}})s_C$. Deze curriculum learning-benadering stabiliseert training door een globale kwaliteitsbasislijn te vestigen voordat complexe lokale dynamiek wordt geïntroduceerd, wat theoretisch convergentie naar het Nash-evenwicht garandeert met een $O(1/\sqrt{T})$-snelheid.

Belangrijkste Bijdragen

• Theoretische Unificatie: Het artikel levert een theoretisch bewijs dat HRC het BT-model en GPM unificeert door voorkeuren expliciet te ontbinden in orthogonale transitieve en cyclische componenten, waardoor de structurele onmogelijkheid van GPM om dominante oplossingen in gemengde settings te garanderen, wordt opgelost.
• Algoritmische Innovatie: De introductie van DSPPO, een dynamisch optimalisatiekader dat de ontbonden HRC-signalen benut om beleidsontwikkeling te sturen, en een robuustere convergentietraject biedt dan statische baselines.
• Empirische Validatie: Uitgebreide experimenten tonen aan dat HRC BT en GPM overtreft in nauwkeurigheid van voorkeursmodellering, met name in domeinen die omgaan met "Gelijkspelen" en complex redeneren. Het HRC+DSPPO-kader verbetert de downstream generatiekwaliteit aanzienlijk.

Resultaten

• Voorkeursmodellering (RewardBench 2): HRC overtrof consistent BT- en GPM-baselines. Op Gemma-2B-it bereikte HRC een gemiddelde nauwkeurigheid van 57,63%, wat de sterkste baseline (GPM) met 1,23% overtrof. Opmerkelijk is dat HRC in het domein "Gelijkspelen" 74,51% bereikte, vergeleken met 73,53% voor zowel BT als GPM, wat zijn vermogen valideert om niet-strikte voorkeuren te hanteren.
• Downstream Afstemming:
  • AlpacaEval 2.0: Met Gemma-2B-it als basis bereikte HRC+DSPPO een piek van 44,75% bij lengte-gereguleerde win-rates, wat SPPO-baselines die met BT of GPM werden getraind aanzienlijk overtrof.
  • Arena-Hard-v0.1: HRC+DSPPO bereikte een win-rate van 46,8% op Gemma-2B-it, een verbetering van 3,2% ten opzichte van de beste baseline, wat een superieur vermogen op uitdagende prompts aantoont.
  • MT-Bench: Het kader toonde robuuste prestaties in meer-draads conversaties, waarbij HRC+DSPPO een gemiddelde score van 8,29 bereikte op Gemma-2B-it.
• Synthetische Data: Experimenten op synthetische "dominant + cyclus"-datasets bevestigden dat HRC sneller convergeert en een hogere nauwkeurigheid bereikt dan GPM in gemengde transitief-cyclische settings, terwijl laag-dimensionale GPM faalde om cyclische structuren te vangen.

Betekenis
Het artikel beweert dat het getrouw weergeven van de complexe, heterogene aard van menselijke voorkeuren – specifiek de dualiteit tussen globale transitieve hiërarchieën (bijvoorbeeld veiligheid, behulpzaamheid) en lokale intransitieve cycli (bijvoorbeeld stilistische trade-offs) – essentieel is voor robuuste AI-afstemming. Door deze componenten expliciet te ontwarren, overwint het voorgestelde kader de structurele beperkingen van bestaande scalar en puur cyclische modellen. De auteurs stellen dat deze aanpak AI-systemen in staat stelt om effectiever diverse ethische en culturele landschappen te navigeren, wat meer vertrouwen in geautomatiseerde besluitvorming bevordert door de niet-strikte, multi-dimensionale aard van menselijk oordeel te respecteren. Het werk suggereert dat toekomstige afstemmingsstrategieën moeten gaan voorbij statische scalar beloningen om dynamische, game-theoretische decomposities van voorkeur te omarmen.