Technische Samenvatting: Terug naar Blackwell: De Cirkel Sluiten rond Intransitiviteit in Multi-Doel Voorkeurs-Finetuning

1. Probleemstelling

Het artikel adresseert een fundamentele uitdaging in Voorkeurs-Finetuning (PFT) voor Large Language Models (LLMs): intransitieve (cyclische) voorkeuren. Intransitiviteit treedt op wanneer een LLM-beoordelaar optie $A \succ B$ en $B \succ C$ rangschikt, maar faalt in het rangschikken van $A \succ C$. Dit fenomeen ontstaat uit twee primaire bronnen:

1. Inconsistente rangschikkingen langs een enkel doel.
2. Scalarisatie van meerdere doelen tot één metriek, wat inconsistenties kan introduceren zelfs als individuele doelen consistent zijn.

Standaard PFT-pijplijnen vertrouwen op het leren van een totale ordening via een beloningsmodel. Echter, onder intransitieve voorkeuren bestaat er geen goed gedefinieerd optimaal beleid (Condorcet-winnaar), waardoor de kernveronderstellingen van standaard PFT worden verbroken. Hoewel eerdere werken hebben geprobeerd dit te mitigeren door (a) geaggregeerde oordelen te splitsen in meerdere doelen of (b) PFT te kaderen als een nul-sum spel om een robuust beleid te vinden tegen worst-case vergelijkers, is het combineren van deze benaderingen technisch moeilijk. Specifiek maakt het splitsen van doelen in een multi-doel setting de Minimax-stelling ongeldig, waardoor standaard spel-oplossingsmachines (zoals self-play) falen.

2. Methodologie

2.1 Oplossingsconcept: Maximum Entropy Blackwell Winner (MaxEntBW)

De auteurs stellen een nieuw speltheoretisch oplossingsconcept voor, genaamd de Maximum Entropy Blackwell Winner (MaxEntBW). In tegenstelling tot de Minimax-winnaar (die in multi-doel settings zonder de Minimax-stelling slecht gedefinieerd is), is de MaxEntBW zelfs onder meerdere, globaal inconsistente voorkeuren goed gedefinieerd.

Formeel is een MaxEntBW een beleid $\pi^*$ dat de spelwaarde $V(\pi)$ maximaliseert, gedefinieerd als:
$$V(\pi) \triangleq \min_{w: \mathcal{X} \to \Delta^{m(x)}} \min_{\pi' \in \Pi} \mathbb{E}_x \left[ \langle w(x), P(\pi \succ \pi' \mid x) \rangle + \beta D_{KL}(\pi'(x) \parallel \pi_{ref}(x)) \right]$$
Waarbij:

• $P(\pi \succ \pi' \mid x)$ de vector is van paarwijze win-kansen over $m(x)$ doelen.
• $w(x)$ de weging van doelen door de adversary voorstelt.
• $\pi'$ het comparator-beleid van de adversary is.
• $\beta D_{KL}(\pi' \parallel \pi_{ref})$ een KL-regularisatieterm is die de adversary beperkt om dicht bij een referentiebeleid $\pi_{ref}$ te blijven.

Deze formulering zorgt ervoor dat het beleid robuust is tegen de worst-case doelweging en comparator-beleid binnen zijn lokale omgeving, zonder dat de Minimax-stelling hoeft te gelden.

2.2 Algorithmus: PROSPER

Om MaxEntBW's op schaal te berekenen, leiden de auteurs PROSPER af (PReference Optimization with a Single Player over Entire Rubrics). Het algoritme reduceert het complexe drie-speler spel (Lerend, Adversariële Doelwegingen, Adversariële Beleid) tot een hanteerbaar single-player optimalisatieprobleem via drie sleutelstappen:

1. Gesloten-Vorm Adversariële Beleid: Door het lerend $\pi$ en de wegingen $w$ vast te leggen, staat de innerlijke minimalisatie over het adversary-beleid $\pi'$ een gesloten-vorm oplossing toe via entropie-regularisatie (geïnspireerd door Ziebart et al., 2008). Dit elimineert de noodzaak voor adversariële trainingslussen.
2. Prompt-Wijze Minimalisatie: De optimalisatie over doelwegingen $w$ blijkt concaaf te zijn. Bijgevolg is de optimale $w$ voor elke prompt een hoekpunt van het simplex (d.w.z. het selecteren van een enkel worst-case doel). Dit stelt het algoritme in staat om simpelweg prompt-wijze te minimaliseren over doelen, waardoor de noodzaak om $w$ te optimaliseren wordt verwijderd.
3. Regressie-gebaseerde Optimalisatie: De resterende doelstelling is concaaf in $\pi$. In plaats van online mirror descent direct uit te voeren (wat onhaalbaar is voor grote modellen), gebruikt PROSPER een regressie-gebaseerde herformulering. Het schat gradiënten via sampling en update de beleidsparameters $\theta$ door een vierkantsverlies-regressieprobleem op te lossen:
   $$\theta_{t+1} = \arg \min_{\theta} \mathbb{E}_{x, z, z'} \left[ \left( \frac{1}{\eta} \left( \ln \frac{\pi_\theta(z|x)}{\pi_{\theta_t}(z|x)} - \ln \frac{\pi_\theta(z'|x)}{\pi_{\theta_t}(z'|x)} \right) - (g(z) - g(z')) \right)^2 \right]$$
   waarbij $g(z)$ de geschatte gradiënt is afgeleid van het worst-case doel en het referentiebeleid.

3. Belangrijkste Bijdragen

1. MaxEntBW Definitie: Het artikel introduceert de Maximum Entropy Blackwell Winner, een oplossingsconcept dat Blackwell-winnaars generaliseert naar multi-doel settings en goed gedefinieerd blijft onder intransitieve voorkeuren zonder afhankelijkheid van de Minimax-stelling.
2. PROSPER Algoritme: De auteurs leiden een bewijsbaar efficiënt, regressie-gebaseerd algoritme af om MaxEntBW's te berekenen. De methode fuseert inzichten uit inverse versterkingslering en recente voorkeurs-optimalisatietechnieken om inner-lus optimalisaties te elimineren, en reduceert het probleem tot eenvoudige regressie.
3. Empirische Validatie: Het artikel demonstreert dat multi-doel LLM-beoordelaar feedback in de praktijk substantieel intransitief is. Het toont aan dat PROSPER baselines overtreft bij het finetunen van LLMs (3B en 7B schalen) vanuit multi-doel feedback, specifiek in instructievolging en algemene chat-benchmarks.

4. Experimentele Resultaten

De auteurs evalueerden PROSPER met behulp van de WILDCHECKLISTS dataset, waarbij LLM-beoordelaars antwoorden evalueren tegen prompt-specifieke rubrieken.

• Intransitiviteitsanalyse: Experimenten bevestigden dat het splitsen van rubrieken in individuele items (multi-doel) intransitiviteit vermindert maar niet elimineert. Een aanzienlijk deel van de prompts vertoont nog steeds cycli en mist een Condorcet-winnaar.
• Benchmark Prestaties:
  • Instructievolging & Chat: Op AlpacaEval 2.0 en Arena-Hard behaalde PROSPER (7B) de hoogste scores onder alle baselines, inclusief de RLCF (Reinforcement Learning from Checklist Feedback) baseline en ablatievarianten (PROSPER-JC en PROSPER-VB).
  • Algemene Capaciteiten: Op out-of-domain benchmarks (IFEval, MMLU, ARC, HellaSwag, TruthfulQA) behield PROSPER prestaties vergelijkbaar met het basismodel en RLCF, wat aangeeft dat de adversariële aard van de training de algemene redeneer- of kenniscapaciteiten niet degradeerde.
• Ablatiestudies:
  • PROSPER-JC (Single-Doel/Geaggregeerde Score): Presteerde slechter dan de volledige PROSPER, wat de noodzaak benadrukt om expliciet om te gaan met meerdere doelen.
  • PROSPER-VB (Vaste Competitor): Presteerde slechter dan volledige PROSPER, wat de waarde demonstreert van het adversariële geselecteerde competitor-beleid.

5. Betekenis en Claims

Het artikel claimt dat PROSPER een robuust kader biedt voor het afstemmen van LLMs op complexe, multi-criteria menselijke (of AI) voorkeuren die inherent inconsistent zijn. Door weg te bewegen van scalarisatie en standaard speltheoretische aannames die falen in multi-doel settings, bieden de auteurs een "first-principles" oplossing die:

• Omgaat met Intransitiviteit: Richt zich direct op de cyclische aard van voorkeuren zonder een totale ordening te forceren die mogelijk niet bestaat.
• Schaalbaarheid: Bereikt efficiëntie door het probleem te reduceren tot single-player regressie, en vermijdt de rekenkosten van adversariële training.
• Praktische Nut: Demonstreert dat het benutten van gedetailleerde, multi-doel rubriekfeedback (in plaats van geaggregeerde scores) leidt tot kwalitatief sterkere beleidslijnen in real-world chat- en instructievolgingsscenario's.

De auteurs geven getrainde model checkpoints vrij op 3B en 7B parameter schalen om verder onderzoek in dit domein te faciliteren.