Technische Samenvatting: Multi-Objective Preference Optimization (MOPO)

1. Probleemstelling

Huidige benaderingen voor het afstemmen van Large Language Models (LLMs) op menselijke voorkeuren, zoals Reinforcement Learning from Human Feedback (RLHF) en Direct Preference Optimization (DPO), vertrouwen voornamelijk op single-objective optimalisatie. Deze methoden reduceren doorgaans meerdere menselijke voorkeuren (bijv. behulpzaamheid, ongevaarlijkheid, feitelijkheid, diversiteit) tot een enkel scalair beloningssignaal via gewogen sommen of heuristische scalarisatie.

Het paper betoogt dat deze aanpak fundamenteel beperkt is omdat:

1. Conflicterende doelstellingen: Menselijke voorkeuren zijn vaak multidimensionaal en conflicterend (bijv. het maximaliseren van behulpzaamheid kan de ongevaarlijkheid verminderen).
2. Verlies van Pareto-optimaliteit: Scalarisatie verbergt afwegingen en faalt in het terugvinden van de Pareto-front — de verzameling niet-gedomineerde oplossingen waarbij geen enkel doel verbeterd kan worden zonder een ander doel te verslechteren.
3. Inferentie-rigiditeit: Bestaande multi-objective methoden vereisen vaak expliciete gebruikersvoorkeursvectoren tijdens inferentie (bijv. "0,6 behulpzaam, 0,4 veilig"), wat gebruikers zelden expliciet formuleren, of ze vertrouwen op hertraining voor elke gewichtconfiguratie.

Het kernprobleem dat wordt aangepakt is Multi-Objective Preference Alignment: het leren van een enkel beleid dat gelijktijdig meerdere, potentieel conflicterende doelstellingen balanceert op basis van paarwijze voorkeursdata, zonder dat daarvoor expliciete scalarisatie of door de gebruiker verstrekte gewichten nodig zijn tijdens inferentie.

2. Methodologie: MOPO

De auteurs stellen Multi-Objective Preference Optimization (MOPO) voor, een offline, geconstreind optimalisatiekader dat direct leert van paarwijze voorkeursdata.

2.1 Formulering

MOPO formuleert het afstemmingsprobleem als een Concave Constrained Optimization Problem (COP). In plaats van een gewogen som van beloningen te maximaliseren, maximaliseert het een primaire doelstelling terwijl het ondergrenzen (lower-bound constraints) oplegt aan secundaire doelstellingen.

Gegeven een referentiebeleid $\pi_{ref}$, een primaire voorkeursfunctie $p(\cdot)$, en een vector van secundaire voorkeursfuncties $q(\cdot)$, is het probleem:
$$\begin{aligned} \max_{\pi} \quad & \mathbb{E}_{x, y, y'} [p(y \succ y' | x)] - \tau \text{KL}(\pi \parallel \pi_{ref}) \\ \text{s.t.} \quad & \mathbb{E}_{x, y, y'} [q(y \succ y' | x)] \geq \mathbf{b} \end{aligned}$$
waarbij $\mathbf{b}$ de instelbare veiligheidsdrempels voor de secundaire doelstellingen vertegenwoordigt, en $\tau$ een regularisatieparameter is.

2.2 Algoritmische Componenten

Om dit zonder puntwijze beloningen op te lossen, maakt MOPO gebruik van de volgende mechanismen:

• Importance Sampling Ratio ($\rho$): Het beleid wordt gerepresenteerd via de ratio $\rho(y) = \pi(y) / \pi_{ref}(y)$. De optimalisatie wordt uitgevoerd over $\rho$ om een gesloten oplossing te verkrijgen voor het optimale beleid.
• Lagrangiaanse Duale Formulering: Het geconstreinde probleem wordt omgezet in een duaal probleem met behulp van Lagrange-multiplicatoren $\lambda$. De optimale $\rho$ wordt afgeleid als:
  $$\rho^*_\lambda(y) = \exp\left( \tau^{-1} \mathbb{E}_{y' \sim \mu} [p(y \succ y') + \lambda^T q(y \succ y')] - 1 \right)$$
  Hier fungeert $\lambda$ als een straf die toeneemt als het beleid onderpresteert op secundaire doelstellingen.
• Robuuste Ondergrens Schatting: Om fouten in de schatting bij eindige datasets op te vangen, legt MOPO niet direct een beperking op aan de ruwe empirische verwachting. In plaats daarvan legt het een ondergrens van de voorkeurschattingen op. Dit wordt bereikt door een hulp-adversariële optimalisatie op te lossen om een distributie $\pi_k$ te vinden die de voorkeur voor doelstelling $k$ minimaliseert binnen een KL-divergentiebudget ($\epsilon$). Dit levert een robuuste ondergrens-schatting op die wordt gebruikt in de hoofdoptimalisatielus.
• Iteratieve Updates: Het algoritme wisselt af tussen:
  1. Het updaten van de ondergrens-parameters ($\chi$) om de constraint-schattingen aan te scherpen.
  2. Het updaten van de Lagrange-multiplicatoren ($\lambda$) om doelstellingen te balanceren.
  3. Het updaten van de beleidsparameters ($\psi$) via importance-weighted behavioral cloning.

2.3 Praktische Implementatie

• Lagged Reference Policy: Om instorting (collapse) te voorkomen en een stabiele progressie naar de Pareto-front te garanderen, wordt de referentiebeleid $\pi_{ref}$ periodiek (elke $t_0$ stappen) bijgewerkt naar het huidige beleid $\pi^{(t-t_0)}$, in plaats van constant te blijven.
• Adaptief Constraint Schema: Omdat exacte drempelwaarden $\mathbf{b}$ onbekend zijn, worden ze adaptief ingesteld op basis van de prestaties van het eerder geoptimaliseerde beleid, geschaald door een relaxatieparameter $\beta$.
• Multi-Head Architectuur: Voor inferentie gebruikt MOPO een gedeelde transformer-backbone met meerdere policy-heads. Tijdens inferentie selecteert de gebruiker een primaire doelstelling, waarna de bijbehorende head wordt gebruikt, waardoor één enkel model kan adapteren aan verschillende voorkeursprioriteiten zonder hertraining.

3. Belangrijkste Bijdragen

1. MOPO Framework: Introductie van een offline, geconstreind optimalisatiealgoritme dat gelijktijdig voor meerdere doelstellingen optimaliseert en Pareto-optimaliteit bereikt zonder voorkeuren te reduceren tot een enkele scalar.
2. Theoretische Garanties: Demonstratie dat de voorgestelde geconstreinde formulering beleid terugvindt dat op de ware Pareto-front ligt, in tegen tegenstelling tot standaard scalarisatiemethoden (DPO, RLHF) die falen om de volledige front te dekken.
3. Robuustheid tegen Schattingsfouten: De ontwikkeling van een ondergrens-constraint mechanisme dat het beleid robuust maakt tegen ruis in de voorkeurschatting, waardoor schendingen van de constraints tijdens gebruik worden voorkomen.
4. Empirische Validatie:
   • Synthetische Benchmarks: MOPO herstelt exact het optimale beleid en de Pareto-front in synthetische settings waar de grondwaarheid bekend is.
   • Real-World LLMs: Experimenten op 7B-parameter modellen (bijv. Zephyr-7b-beta, Llama-3.1-8B) op taken zoals "Helpful Assistant" en "Reddit Summarization" tonen aan dat MOPO hogere beloningen behaalt en de baselines (inclusief RiC, PARM, MODPO en DPO varianten) Pareto- domineert.
   • Stabiliteit: Ablatie-studies bevestigen de stabiliteit van het algoritme bij variërende hyperparameters (constraint relaxatie $\beta$, lag $t_0$, en regularisatie $\tau$).

4. Resultaten

• Pareto Recovery: In synthetische experimenten benadert MOPO succesvol de Pareto-front, terwijl DPO getraind op enkele doelstellingen of gescalariseerde beloningen aanzienlijke delen van de front mist.
• Prestaties op LLMs: Op de Helpful Assistant en Reddit Summary taken presteert MOPO (specifiek de Lagrangiaanse variant, MOPO-Lag) consistent beter dan of gelijk aan state-of-the-art baselines op het gebied van meerdere doelstellingen (behulpzaamheid, ongevaarlijkheid, humor, trouw).
• Schaalbaarheid: De methode schaalt van kleine modellen (phi-1.5) naar grotere 7B/8B modellen.
• Constraint Satisfactie: In taken met een verbositeit-constraint (het controleren van de lengte van reacties), slaagt MOPO erin om de reactielengtes binnen de opgegeven grenzen te houden terwijl de behulpzaamheid wordt verbeterd.

5. Betekenis en Claims

Het paper claimt dat MOPO een kritieke kloof in huidige alignment-paradigma's aanpakt: het onvermogen om multi-dimensionale menselijke voorkeuren te behandelen zonder willekeurige scalarisatie of gebruikersinterventie tijdens inferentie.

• Paradigmaverschuiving: Het beweegt verder dan de aanname van een "enkele beloningssignaal" van standaard RLHF/DPO, en biedt een principiële manier om afwegingen te maken tussen conflicterende doelen (bijv. veiligheid vs. behulpzaamheid).
• Praktisch Nut: Door Pareto-optimale beleidsregels offline te herstellen, maakt MOPO de inzet van modellen mogelijk die robuust en aanpasbaar zijn aan diverse gebruikersbehoeften zonder dat daarvoor expliciete voorkeursvectoren of hertraining voor elke nieuwe gewichtconfiguratie nodig zijn.
• Toekomstige Richtingen: De auteurs merken bescheiden op dat hoewel de empirische resultaten sterk zijn, een rigoureuze theoretische analyse van de convergentie en optimaliteitsgaranties van MOPO een belangrijke toekomstige richting blijft.

Het werk suggereert dat voor complexe generatieve modellen, het behandelen van alignment als een geconstreind multi-objective probleem superieur is aan het behandelen ervan als een single-objective optimalisatie met gewogen beloningen.