Technische Samenvatting: Voorbij RLHF: Een Unificerend Theoretisch Kader voor Alignering

Probleemstelling

Reinforcement Learning from Human Feedback (RLHF) is het dominante paradigma geworden voor het aligneren van Large Language Models (LLM's) met menselijke voorkeuren. De paper identificeert echter aanzienlijke theoretische gaten in het huidige begrip van RLHF en gerelateerde aligneringsmethoden:

1. Gebrek aan Rechtvaardiging: Bestaande theorieën behandelen het RLHF-doel vaak als een tautologie (convergerend naar de populatieversie van het doel zelf) in plaats van een leertheoretische rechtvaardiging te bieden voor waarom het convergeert naar het doel-taalmodel.
2. Incompatibele Kaders: Verschillende methoden (bijv. DPO, RLHF, REBEL) worden geanalyseerd onder uiteenlopende theoretische kaders, wat directe vergelijking van hun convergentiegaranties verhindert.
3. Het RLHF-Dilemma: Het standaard RLHF-doel staat voor een asymptotisch dilemma met betrekking tot de regularisatiesterkte $\beta$. Als $\beta$ constant blijft, onderpast het model (blijft te dicht bij het referentiebeleid); als $\beta$ naar nul afneemt naarmate de data toeneemt, kan de oplossing degenereren.
4. Empirische versus Theoretische Kloof: Empirisch presteren on-policy doelen zoals RLHF vaak beter dan likelihood-gebaseerde methoden zoals Direct Preference Optimization (DPO), maar bestaande theorieën kunnen deze superioriteit niet verklaren omdat ze ad-hoc garanties bieden voor elke methode afzonderlijk.

De auteurs stellen voor om alignering niet te herformuleren als beloningsmaximalisatie, maar als distributieleer van paarsgewijze voorkeuren. De kernvraag is: Onder welke aannames kunnen we trainingsdoelen afleiden die bewezen convergeren naar een doel-taalmodel ($\pi^*$)?

Methodologie

De paper postuleert het bestaan van een doel (orakel)-taalmodel $\pi^*$ en modelleert expliciet hoe voorkeursfeedback informatie onthult over $\pi^*$.

1. Het Voorkeursmodel

De auteurs nemen een Bradley-Terry (BT)-model aan waarbij de waarschijnlijkheid om antwoord $a$ te verkiezen boven $b$ gegeven prompt $x$ direct wordt bepaald door de kansen van het doelmodel, in plaats van door een externe beloningsfunctie:
$$P(a \succ b | x) = \frac{\pi^*(a | x)^\gamma}{\pi^*(a | x)^\gamma + \pi^*(b | x)^\gamma}$$
Hierbij is $\gamma > 0$ een hyperparameter. Deze aanname impliceert dat het voorkeursmodel expliciet een taalmodel is, in tegenstelling tot DPO dat steunt op de "all-policy"-aanname om een relatie tussen beloningen en het LM af te leiden.

2. Voorgestelde Doelen

Op basis van dit perspectief van distributieleer leiden de auteurs drie principiële aligneringsdoelen af:

• Preference Maximum Likelihood Estimation (PMLE):
  Dit doel maximaliseert de waarschijnlijkheid van de waargenomen paarsgewijze voorkeuren onder de BT-aanname, geregulariseerd door een KL-divergentie naar een referentiebeleid $\pi_0$.
  $$L_{PMLE, \beta}(\pi) = \frac{1}{n} \sum -\ln \sigma\left(\gamma \ln \frac{\pi(a^+|x)}{\pi(a^-|x)}\right) + \beta KL(\pi \| \pi_0)$$
  In tegenstelling tot DPO, dat een likelihood-ratio minimaliseert zonder een expliciete regularisator (wat kan leiden tot degenererende distributies), bevat PMLE een expliciete KL-term om stabiliteit te waarborgen.

• Preference Distillation:
  Deze benadering leert eerst een beloningsmodel $\hat{R}$ (equivalent aan het leren van een voorkeurssimulator) en distilleert vervolgens deze voorkeursdistributie in het taalmodel. In plaats van kwadratische fout (zoals bij REBEL) te gebruiken, minimaliseert het de KL-divergentie tussen de binaire voorkeursdistributies van de geleerde simulator en het doelbeleid:
  $$L_{Distill}(\pi) = \frac{1}{n} \sum KL(\text{Bern}(P_{\hat{\pi}}(a^+ \succ a^-|x)) \| \text{Bern}(P_{\pi}(a^+ \succ a^-|x))) + \beta KL(\pi \| \pi_0)$$
  Deze formulering is expliciet afgeleid uit het BT-model en vermijdt de statistische rechtvaardigingsproblemen van kwadratische fout.

• Reverse KL (RKL) Minimalisatie:
  Inzichtelijk makend dat het doel distributieleer is, stellen de auteurs voor om de reverse KL-divergentie $E_x[KL(\hat{\pi}(x) \| \pi^*(x))]$ te minimaliseren. Aangezien $\pi^*$ onbekend is, substitueren ze een schatter $\hat{\pi}$ afgeleid van het beloningsmodel.
  $$L_{RKL, \beta}(\pi) = \frac{1}{n} \sum \left( -E_{a \sim \pi(x)}[\hat{R}(x, a)] - \gamma H(\pi(x)) + \beta KL(\pi(x) \| \pi_0(x)) \right)$$
  Dit doel lijkt op RLHF, maar bevat een extra entropieterm ($-\gamma H(\pi(x))$). De auteurs betogen dat dit werkt als een correctie op RLHF, het asymptotische dilemma oplost waarbij standaard RLHF faalt om te convergeren naar het ware $\pi^*$ naarmate $n \to \infty$.

3. Theoretische Garanties

De paper biedt niet-asymptotische $O(1/n)$ convergentiegaranties voor alle drie methoden. Specifiek bewijzen ze dat de forward KL-fout $E_x[KL(\pi^*(x) \| \hat{\pi}(x))]$ convergeert naar nul met een snelheid van $O(1/n)$, waarbij $n$ de datasetgrootte is.

• PMLE en Preference Distillation: Bereiken grenzen die afhankelijk zijn van de dekkingcoëfficiënt van de beleidsklasse $\Pi$.
• Reverse KL: Bereikt een strakkere grens die afhankelijk is van de dekkingcoëfficiënt van de door beloning geïnduceerde modelklasse $\mathcal{P}_\gamma(\mathcal{R})$, die vaak kleiner is dan die van $\Pi$. Dit verklaart theoretisch waarom on-policy methoden (zoals RKL/RLHF) empirisch vaak beter presteren dan likelihood-gebaseerde methoden (zoals PMLE/DPO).

Belangrijkste Resultaten

Theoretische Bevindingen

• Rechtvaardiging voor RLHF: Het RKL-doel biedt een sterke theoretische rechtvaardiging voor het RLHF-doel, aantonend dat het een speciaal geval is (met $\gamma \to 0$) van een consistent distributieleerdoel, mits een entropiecorrectie wordt toegepast.
• Oplossing van het Dilemma: Theoretische analyse en toy-experimenten (Figuur 1) tonen aan dat terwijl standaard RLHF lijdt aan inconsistentie (verzadiging bij een niet-nul fout) naarmate $n \to \infty$ vanwege het regularisatiedilemma, de voorgestelde RKL-methode convergeert naar het ware doelmodel.
• Superioriteit van On-Policy Methodes: De theorie bevestigt dat Reverse KL (vergelijkbaar met RLHF) een superieure convergentiegarantie geniet ten opzichte van PMLE (vergelijkbaar met DPO), omdat het gebruikmaakt van de kleinere complexiteit van de beloningsmodelklasse in plaats van de volledige beleidsklasse.

Empirische Bevindingen

Experimenten werden uitgevoerd op twee taken:

1. TL;DR Samenvatting: Met Pythia-2.8B en Pythia-6.9B modellen.
   • Winstpercentages: De voorgestelde methoden (PMLE, Preference Distillation, Reverse KL) behaalden consistent hogere GPT-4 winpercentages in vergelijking met hun baselines (DPO, REBEL, RLHF).
   • KL-Divergentie: PMLE behaalde een aanzienlijk lagere KL-divergentie met het referentiemodel in vergelijking met DPO, wat het voordeel van de expliciete regularisator valideert.
2. Algemene Chat (UltraFeedback): Met LLaMA-3-8B-Instruct.
   • Geëvalueerd op MT-Bench, AlpacaEval 2.0 en Arena Hard.
   • PMLE en Preference Distillation presteerden beter dan DPO en REBEL op de meeste benchmarks, met name met sterke winsten in AlpacaEval 2.0 en Arena Hard.

Betekenis en Claims

De paper claimt het eerste unificerende theoretische kader te bieden voor alignering dat het probleem behandelt als distributieleer van paarsgewijze voorkeuren. De primaire bijdragen zijn:

1. Unificerend Perspectief: Het verenigt bestaande methoden (DPO, RLHF, REBEL) onder één probabilistische aanname, waardoor hun verborgen aannames expliciet worden gemaakt.
2. Theoretische Grondslag: Het biedt rigoureuze, niet-asymptotische $O(1/n)$ convergentiegaranties voor het leren van een doeldistributie uit paarsgewijze feedback, een resultaat dat voor deze setting eerder niet beschikbaar was.
3. Verklaring van Empirische Trends: Het biedt de eerste theoretische bevestiging voor de empirische observatie dat on-policy doelen (RLHF) vaak beter presteren dan likelihood-gebaseerde doelen (DPO), en schrijft dit toe aan de dekkingseigenschappen van de beloningsmodelklasse versus de beleidsklasse.
4. Correctie op RLHF: Het identificeert een specifiek gebrek in het standaard RLHF-doel (het ontbreken van een entropieterm wat leidt tot inconsistentie) en stelt een gecorrigeerd doel voor (RKL) dat de praktische voordelen van RLHF behoudt terwijl het theoretische consistentie waarborgt.

De auteurs concluderen dat hoewel hun methoden concurrerend zijn met sterke baselines, de primaire waarde ligt in het theoretische kader dat verklaart waarom deze methoden werken en hoe ze kunnen worden verbeterd. Toekomstig werk dat wordt voorgesteld, omvat het verkennen van mode-zoekende versus mode-dekkende doelen en het uitbreiden van het kader naar alternatieve divergenties.