💬 NLP

Distributionally Robust Reinforcement Learning with Human Feedback

Dit artikel introduceert distributie-robuuste varianten van beloningsgebaseerde RLHF en beloningsvrije DPO voor het finetunen van grote taalmodellen, waarbij minibatch gradiëntafdaling-algoritmen worden voorgesteld met convergentiegaranties die de prestaties op out-of-distribution taken aanzienlijk verbeteren vergeleken met standaardmethoden.

Oorspronkelijke auteurs: Debmalya Mandal, Paulius Sasnauskas, Goran Radanovic

Gepubliceerd 2026-06-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Debmalya Mandal, Paulius Sasnauskas, Goran Radanovic

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme robotassistent leert hoe hij e-mails moet schrijven, wiskundige problemen moet oplossen of met mensen moet chatten. Je doet dit door hem duizenden voorbeelden van "goede" antwoorden versus "slechte" antwoorden te laten zien. Dit proces wordt Reinforcement Learning from Human Feedback (RLHF) genoemd.

Echter, er is een probleem. Als je een robot traint op uitsluitend voorbeelden van het schrijven van vriendelijke e-mails, en je vraagt hem plotseling om een juridisch contract of een wetenschappelijk rapport te schrijven, kan hij in de war raken. Hij is "overgespecialiseerd" op de trainingsdata en kan niet omgaan met nieuwe, verschillende situaties. Dit is als een student die de antwoorden op een specifieke oefentoets uit het hoofd leert, maar faalt voor het echte examen omdat de vragen anders zijn geformuleerd.

Dit paper stelt een nieuwe manier voor om deze robots te trainen zodat ze robuust zijn — wat betekent dat ze slim en behulpzaam blijven, zelfs wanneer de vragen veranderen of de omgeving iets anders is dan hij tijdens de training heeft gezien.

Hier is hoe ze het deden, met behulp van enkele eenvoudige analogieën:

1. Het Probleem: De "Echo-kamer"

Huidige trainingsmethoden zijn als het plaatsen van een student in een echo-kamer. Ze horen alleen één type stem (de trainingsdata). Als de echte wereld een ander accent of een andere toon heeft, raakt de student de weg kwijt. De auteurs noemen dit een gebrek aan Out-of-Distribution (OOD) robuustheid.

2. De Oplossing: De "Worst-Case" Coach

De auteurs introduceren een concept genaamd Distributionally Robust Optimization (DRO).

Stel je voor dat je een marathonloper traint.

Standaard Training: Je rent alleen op een vlak, zonnig parcours.
Robuuste Training: Je zegt tegen de loper: "Ik wil dat je klaar bent voor elke conditie die iets anders is dan dit parcours. Misschien is het een beetje winderig, misschien is de grond een beetje modderig, misschien is de temperatuur iets warmer."

De robot leert niet alleen goed te zijn op de "perfecte" data. In plaats daarvan leert hij goed te zijn, zelfs als de data licht verschuift naar een "worst-case" scenario binnen een redelijke marge. Hij bereidt zich voor op het onverwachte.

3. Hoe ze het deden (Het tweestappenproces)

Het paper richt zich op twee hoofdfasen van het trainen van de robot:

Stap A: Het leren van de "Rechter" (Reward Estimation)
Eerst heeft de robot een "Rechter" (een reward model) nodig om hem te vertellen of een antwoord goed of slecht is.

De Truc: In plaats van alleen de gemiddelde scores uit de trainingsdata te nemen, leren de auteurs de Rechter om sceptisch te zijn. Ze vragen: "Wat als de data waar we naar kijken licht bevooroordeeld of verschoven is? Wat is de slechtst mogelijke score die we zouden kunnen krijgen van een licht afwijkende versie van deze data?"
Het Resultaat: De Rechter wordt strenger en betrouwbaarder. Hij laat zich niet misleiden door eigenaardigheden in de trainingsdata. Het paper laat zien dat dit de Rechter veel beter maakt in redeneertaken (zoals wiskunde of logica) wanneer deze worden getest op nieuwe data.

Stap B: Het leren van de "Acteur" (Policy Optimization)
Zodra de Rechter klaar is, probeert de robot (de "Acteur") antwoorden te schrijven om de Rechter te plezieren.

De Truc: De auteurs hebben twee populaire methoden hiervoor bijgewerkt:
1. PPO (Proximal Policy Optimization): Een methode waarbij de robot probeert de score van de Rechter te maximaliseren terwijl hij dicht bij zijn oorspronkelijke persoonlijkheid blijft.
2. DPO (Direct Preference Optimization): Een kortere methode die de "Rechter" overslaat en direct leert van de "goede versus slechte" voorbeelden.
De Innovatie: Ze hebben dezelfde "Worst-Case" denkwijze toegepast op deze stappen. De robot leert goed te presteren, zelfs als de distributie van de prompts (de vragen die hij krijgt) licht verschuift.

4. De Resultaten: "Super-Redeneren"

Het team heeft hun nieuwe "Robuuste" robots getest tegen standaard robots met behulp van twee verschillende modellen (een klein model van 2 miljard parameters en een groter model van 7 miljard parameters).

De Test: Ze trainden de robots op een enorme dataset genaamd "Unified-Feedback", maar testten ze vervolgens op volkomen andere datasets (zoals "HHH-Alignment" of "MT-Bench") die de robots nog nooit eerder hadden gezien.
De Uitkomst:
- De Robuuste robots presteerden beter op deze nieuwe, onbekende taken dan de standaard robots.
- De grootste verbetering zat in Redeneren. Net zoals een student die de principes van wiskunde leert in plaats van alleen antwoorden te memoriseren, werd de robuuste robot aanzienlijk beter in logica- en redeneertaken wanneer de vragen veranderden.
- Ze ontdekten een "sweet spot" voor hoeveel "worst-case" denken ze moesten gebruiken (een parameter genaamd $\rho$ ). Als ze de robot te veel lieten piekeren over worst-case scenario's, raakte hij in de war. Maar met de juiste hoeveelheid werd hij een kampioen in het omgaan met nieuwe situaties.

Samenvatting

Kortom, dit paper leert AI-modellen om te stoppen met het memoriseren van de trainingsdata en te beginnen met het begrijpen van de onderliggende regels. Door hen te trainen om lichte veranderingen in de data te verwachten en op te vangen (door gebruik te maken van een "Worst-Case" strategie), worden de modellen veel betrouwbaarder en slimmer wanneer ze werkelijke taken tegenkomen die verschillen van hun training.

Kernboodschap: Je wilt niet alleen een robot die de antwoorden op de oefentoets kent; je wilt een robot die het echte examen kan halen, zelfs als de vragen in een andere stijl zijn geschreven. Dit paper laat zien hoe je dat soort robot bouwt.

Technische Samenvatting: Distributionally Robust Reinforcement Learning met Human Feedback

Probleemstelling

Reinforcement Learning from Human Feedback (RLHF) is een standaardtechniek geworden voor het afstemmen van Large Language Models (LLM's) op menselijke intenties. De huidige RLHF-pipelines lijden echter aan een gebrek aan robuustheid. Wanneer de distributie van prompts die tijdens inferentie (downstream taken) worden aangetroffen significant verschilt van de distributie van de voorkeursdataset die gebruikt is tijdens de fine-tuning, verslechtert de prestatie van het model vaak. Dit probleem wordt verergerd door verschijnselen zoals overoptimalisatie, waarbij beleidsmodellen (policies) proxy-beloningen verbeteren ten koste van de werkelijke beloningsfuncties, en distributieverschuivingen veroorzaakt door veranderende omgevingen of verschuivende menselijke voorkeuren. Eerdere benaderingen van robuustheid richtten zich op specifieke adversariële corruptiemodellen, verschuivingen in voorkeursmodellen of heuristische methoden zoals modelmerging, die vaak falen bij milde distributieve verschuivingen.

Methodologie

De auteurs stellen een Distributionally Robust Optimization (DRO) framework voor voor RLHF. Het kerndoel is om ervoor te zorgen dat de gefinetunede modellen (zowel beloningsmodellen als policies) hun prestaties behouden, zelfs wanneer de prompt-distributie verschuift binnen een begrensde afstand van de trainingsdistributie. De auteurs formuleren dit door een minimax-optimalisatieprobleem te introduceren waarbij de leerder de loss minimaliseert tegen de slechtst denkbare distributie binnen een $\phi$ -divergentiebal (specifiek de Total Variation afstand) rond de empirische trainingsdistributie.

Het artikel ontwikkelt robuuste varianten voor twee primaire RLHF-pipelines:

Robuuste Beloningsschatting (Robust Reward Estimation):
- Formulering: Het beloningsmodel $r$ wordt getraind om de slechtst denkbare verwachte loss te minimaliseren over distributies $D$ waarvoor geldt dat $d_{TV}(D, D_{src}) \leq \rho$ .
- Algoritme: Een minibatch gradient descent algoritme (Algoritme 1) wordt voorgesteld. In elke iteratie samplet het algoritme een minibatch en berekent optimale gewichten $q^*_t$ die overeenkomen met de slechtst denkbare distributieverschuiving binnen de afstand $\rho$ . De gradiënt wordt vervolgens hergewogen door deze optimale gewichten voordat de beloningsparameters worden bijgewerkt.
- Convergentie: Onder de aanname van een lineaire beloningsfunctiesklasse bewijzen de auteurs dat het algoritme convergeert naar een $\epsilon$ -optimale oplossing met $T = O(1/\epsilon^2)$ iteraties en $n = \tilde{O}(1/\epsilon^2)$ samples per iteratie.
Robuuste Beleidsoptimalisatie (Robust Policy Optimization):
- Formulering: De policy $\pi$ wordt geoptimaliseerd om de slechtst denkbare KL-geregulariseerde waarde-functie te maximaliseren.
- Algoritme: De auteurs stellen een robuuste Natural Policy Gradient (NPG) methode voor (Algoritme 2). Vergelijkbaar met de beloningsschatting berekent het de slechtst denkbare gewichten voor de minibatch. Cruciaal is dat het de policy bijwerkt met een gewogen Fisher-informatie-matrix afgeleid van deze slechtst denkbare gewichten, in plaats van de standaard empirische Fisher-matrix.
- Convergentie: Uitgaande van een log-lineaire policy-klasse en standaard concentratievoorwaarden, bereikt de methode een lineaire convergentiesnelheid ( $T = O(\log(1/\epsilon))$ ), maar vereist het een hogere sample-complexiteit van $n = \tilde{O}(1/\epsilon^4)$ per iteratie om last-iterate convergentie te garanderen.
Robuuste Directe Voorkeursoptimalisatie (Robust Direct Preference Optimization - DPO):
- Formulering: Een distributioneel robuuste versie van DPO wordt geformuleerd, waarbij de policy direct wordt geoptimaliseerd zonder een expliciet beloningsmodel.
- Algoritme: Algoritme 3 past minibatch stochastic gradient descent toe met hergewogen gradiënten op basis van de slechtst denkbare distributieverschuiving.
- Convergentie: De analyse laat een iteratiecomplexiteit zien van $T = O(1/\epsilon^2)$ en een sample-complexiteit van $n = \tilde{O}(1/\epsilon^2)$ , vergelijkbaar met de fase van de robuuste beloningsschatting.

Belangrijkste Bijdragen

Theoretisch Kader: Het artikel vestigt de eerste distributioneel robuuste formuleringen voor zowel de beloningsschattingsfase als de beleidsoptimalisatiefase van RLHF, evenals voor DPO.
Algoritmen: Het introduceert praktische, op minibatch gebaseerde algoritmen voor Robuuste Beloningsschatting, Robuuste NPG en Robuuste DPO. Deze algoritmen zijn ontworpen om minimaal invasief te zijn voor bestaande pipelines, waarbij enkel de berekening van herwegingsfactoren (opgelost via convexe optimalisatie) en gradiënt-herweging vereist zijn.
Convergentiegaranties: De auteurs leveren theoretische bewijzen voor de convergentie van deze algoritmen. Ze stellen grenzen vast aan de sample- en iteratiecomplexiteit voor lineaire beloningsmodellen en log-lineaire policies, waarmee wordt aangetoond dat robuustheid kan worden bereikt met bewijsbare garanties.
Empirische Validatie: De methoden worden geëvalueerd op out-of-distribution (OOD) taken met behulp van de Unified-Feedback dataset voor training en RewardBench, HHH-Alignment en MT-Bench voor evaluatie.

Experimentele Resultaten

De auteurs evalueerden hun methoden met de basismodellen Gemma-2B-it en Mistral-7B-Instruct-v0.2.

Beloningsmodellen: Op de RewardBench benchmark toonden de distributioneel robuuste beloningsmodellen (DR RM) een verbeterde gemiddelde nauwkeurigheid vergeleken met standaard Bradley-Terry (BTL) modellen, met name wanneer de robuustheidsparameter $\rho$ werd ingesteld op 0.1 of 0.2. Opvallend genoeg verbeterde de prestatie op de Reasoning subset aanzienlijk (bijv. +23.4% op één subset met $\rho=0.1$ ). Echter, de prestaties verslechterden wanneer $\rho$ te hoog werd ingesteld (bijv. $\rho \geq 0.6$ ), wat wijst op een trade-off tussen robuustheid en het fitten van de trainingsdistributie.
Beleidsoptimalisatie (PPO): Wanneer de robuuste beloningsmodellen werden gebruikt om policies te trainen via PPO, presteerden de robuuste varianten (DR PPO) over het algemeen gelijk aan of beter dan de standaard PPO op zowel in-distributie (Unified-Feedback) als OOD (HHH-Alignment, MT-Bench) datasets. Een duidelijke verbetering werd waargenomen in reasoning-taken, met een toename van +10.0% in nauwkeurigheid voor $\rho=0.1$ .
Directe Voorkeursoptimalisatie (DPO): De robuuste DPO (DR DPO) verbeterde consequent de prestaties op OOD-datasets vergeleken met standaard DPO. Voor HHH-Alignment werd de beste prestatie bereikt bij $\rho=0.8$ , en voor MT-Bench bij $\rho=0.5$ . DR DPO presteerde over het algemeen beter dan DR PPO op OOD-taken.

Betekenis en Claims

Het artikel claimt dat distributionally robust optimization een fundamentele aanpak biedt om de generalisatie van LLM's naar onbekende taken en distributieverschuivingen te verbeteren. De auteurs benadrukken dat hun methoden minimale aanpassingen vereisen aan bestaande efficiënte RLHF-pipelines (bijv. die van Hugging Face libraries), terwijl ze wel theoretische convergentiegaranties bieden.

Een belangrijke bevinding die door de auteurs wordt belicht, is de onverwachte verbetering in redeneervermogen (reasoning capabilities) op OOD-datasets wanneer distributionele robuustheid wordt afgedwongen. De auteurs merken op dat het niet onmiddellijk duidelijk is waarom DRO de reasoning positief zou beïnvloeden, wat suggereert dat dit fenomeen verder onderzoek verdient naar de verbanden tussen reasoning en distributionele robuustheid.

Dit werk positioneert zichzelf als een stap naar het werkelijk afstemmen van LLM's op menselijke intenties in dynamische real-world omgevingen waar datadistributies niet statisch zijn, waarmee de beperkingen van standaard RLHF worden overstegen die vaak faalt in het generaliseren buiten de specifieke voorkeurvoorbeelden die tijdens de training zijn gezien.