🤖 machine learning

Best Policy Learning from Trajectory Preference Feedback

Dit paper introduceert PSPL, een nieuw Bayesians algoritme voor het identificeren van de beste policy in preferentiegebaseerd versterkend leren, dat posterior sampling combineert met online exploratie om robuustere resultaten te bereiken dan bestaande methoden, zelfs bij gebruik van onvolmaakte menselijke feedback.

Oorspronkelijke auteurs: Akhil Agnihotri, Rahul Jain, Deepak Ramachandran, Zheng Wen

Gepubliceerd 2026-04-23

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Akhil Agnihotri, Rahul Jain, Deepak Ramachandran, Zheng Wen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer getalenteerde, maar nog wat onervaren kok bent die een perfecte maaltijd wil bereiden. Je hebt al een enorme stapel recepten (de offline data) van een andere kok, maar die andere kok was niet altijd even goed. Soms maakte hij lekkere gerechten, soms was het wat minder. Je wilt nu leren om de beste maaltijd te maken, maar je hebt niet de tijd om alles zelf uit te proberen zonder hulp.

Dit is precies het probleem dat deze paper aanpakt, maar dan in de wereld van kunstmatige intelligentie (AI) en robots. Hier is de uitleg in simpele taal:

1. Het Probleem: De "Valse" Recepten

Normaal gesproken leren AI's (zoals chatbots of beeldgenerators) door mensen te vragen: "Is dit antwoord goed of slecht?" (een cijfer geven). Maar mensen zijn niet altijd eerlijk of consistent. Soms geven ze een hoge score aan iets dat eigenlijk slecht is, of ze worden verleid door "trucs" van de AI (zoals een robot die een taak snel doet, maar op een gevaarlijke manier).

De auteurs zeggen: "Laten we niet vragen naar een cijfer, maar laten we mensen twee opties laten vergelijken."

Voorbeeld: "Vind je deze foto van een hond mooier dan die van een kat?"
Dit is veiliger en natuurlijker. Maar... wat als de persoon die de foto's beoordeelt (de "rater") zelf niet zo goed is? Misschien is het een beginner die niet weet wat een goede foto is.

2. De Oplossing: PSPL (De Slimme Leerling)

De auteurs hebben een nieuwe methode bedacht, genaamd PSPL (Posterior Sampling for Preference Learning). Je kunt dit zien als een slimme leerling die twee dingen doet:

Hij leest de oude recepten (Offline Data): Hij kijkt naar de stapel foto's die al beoordeeld zijn. Maar hij is niet naïef. Hij vraagt zich af: "Hoe goed was de kok die deze beoordelingen gaf?"
- Als de kok een expert was, luistert hij goed.
- Als de kok een beginner was, neemt hij de beoordelingen met een korreltje zout. Hij weet dat de "competentie" van de beoordelaar belangrijk is.
Hij doet zelf experimenten (Online Exploration): Omdat de oude recepten misschien niet alles dekken, gaat de AI zelf aan de slag. Hij maakt twee nieuwe foto's, laat ze beoordelen, en leert daaruit.
- Het slimme aan PSPL is dat hij niet zomaar willekeurig probeert. Hij gebruikt een soort "gokkerij" (gebaseerd op waarschijnlijkheid). Hij denkt: "Ik denk dat optie A goed is, maar ik ben niet 100% zeker. Laten we ook optie B proberen om te zien of ik gelijk heb."

3. De Creatieve Metafoor: De Gokker en de Kaarten

Stel je voor dat je in een casino zit en je wilt de beste gokstrategie vinden.

De Offline Data is een stapel kaarten die iemand anders al heeft gespeeld. Maar je weet niet of die persoon een pro was of een toerist die toeval had.
De "Competentie" is het niveau van die persoon. Als het een pro was, zijn zijn kaarten goud waard. Als het een toerist was, zijn ze misschien waardeloos.
PSPL is de speler die:
1. De stapel kaarten bestudeert en inschat hoe goed de vorige speler was.
2. Zelf kaarten trekt (online data) om te zien of zijn eigen theorie klopt.
3. Altijd zijn "geloof" (zijn posterior) update. Als hij ziet dat zijn theorie fout was, past hij zijn strategie direct aan.

4. Waarom is dit zo belangrijk?

In de echte wereld (zoals bij het trainen van AI's voor chatbots of het maken van kunst) willen we niet dat de AI "cumulatief" leert (dus elke fout die hij maakt telt mee als een straf). We willen dat de AI aan het einde van het proces de beste mogelijke versie heeft.

De oude manier: De AI probeert alles en maakt veel fouten onderweg, en die fouten blijven hangen.
De PSPL manier: De AI gebruikt de oude data als een springplank, maar corrigeert zichzelf snel als hij merkt dat de oude data niet perfect was. Het resultaat is dat hij aan het einde van de rit een veel betere "meesterkok" is dan met de oude methoden.

Samenvatting in één zin

Deze paper introduceert een slimme manier voor AI om te leren van de meningen van mensen (zelfs als die mensen niet perfect zijn), door die meningen te combineren met eigen experimenten, zodat de AI aan het einde van de rit de allerbeste beslissingen kan nemen.

Het is alsof je een leerling hebt die niet alleen luistert naar wat de leraar zegt, maar ook zelf nadenkt over hoe goed die leraar eigenlijk is, en daarnaast zelf oefent om zeker te weten dat hij het juiste antwoord heeft.

Titel: Best Policy Learning from Trajectory Preference Feedback

Auteurs: Akhil Agnihotri, Rahul Jain, Deepak Ramachandran, Zheng Wen (USC, Google DeepMind, OpenAI)
Context: AISTATS 2026

1. Probleemstelling

Het artikel adresseert een fundamenteel probleem in het afstemmen van generatieve modellen (zoals Large Language Models) op menselijke intenties: de kwetsbaarheid van Reinforcement Learning from Human Feedback (RLHF) voor reward-misspecificatie en reward-hacking.

Traditionele RLHF-methoden vertrouwen op het leren van een scalar reward-model uit menselijke annotaties, wat fouten kan introduceren. Preference-based Reinforcement Learning (PbRL) biedt een robuuster alternatief door direct gebruik te maken van binaire vergelijkingen (preferenties) tussen trajecten (sequenties van acties en toestanden) in plaats van absolute scores.

De specifieke uitdaging die dit artikel aanpakt, is het Best Policy Identification (BPI) probleem in een onbekende MDP (Markov Decision Process) met de volgende beperkingen:

Offline Data: Er is een vooraf bestaand dataset van preferenties tussen trajecten, verzameld door een "rater" (beoordelaar) die mogelijk suboptimaal is (subpar competence) en/of bias bevat.
Online Exploratie: Het doel is om dit offline dataset te combineren met een beperkte hoeveelheid online interactie (pure exploratie) om het beste beleid te identificeren.
Doel: Minimaliseren van de Simple Regret (het verschil in prestatie tussen het gevonden beleid en het optimale beleid aan het einde van het leerproces), in plaats van cumulatieve regret. Dit is cruciaal voor post-training optimalisatie waar de eindkwaliteit telt, niet de tussenstappen.

2. Methodologie: PSPL Algorithm

De auteurs stellen Posterior Sampling for Preference Learning (PSPL) voor, een nieuw algoritme dat is geïnspireerd op Top-Two Thompson Sampling. Het algoritme combineert offline data met online exploratie via een Bayesiaanse benadering.

Kerncomponenten:

Model van de Rater:
- De rater wordt gemodelleerd met twee competentieparameters:
  - $\beta$ : De mate van zekerheid of deliberatie in de beslissing (hoe "gierig" de rater is).
  - $\lambda$ : De mate van kennis van de ware reward-structuur $\theta$ (hoe goed de rater de omgeving begrijpt).
- De preferentie volgt een Bradley-Terry model: $P(Y=0 | \tau_0, \tau_1) = \sigma(\beta \langle \phi(\tau_0) - \phi(\tau_1), \vartheta \rangle)$ , waarbij $\vartheta$ de geschatte reward-vector van de rater is ( $\vartheta \sim \mathcal{N}(\theta, I/\lambda^2)$ ).
Informed Priors (Achtergrondkennis):
- In plaats van te starten met een oninformatieve prior, gebruikt PSPL het offline dataset ( $D_0$ ) om de priorverdelingen voor de reward-parameter ( $\theta$ ) en de overgangsdynamica ( $\eta$ ) bij te werken.
- Dit creëert een "informed prior" die rekening houdt met de kwaliteit (competentie) van de offline data.
Het Algoritme (Algorithm 1):
- Stap 1: Construeer de informed priors $\nu_1(\theta)$ en $\chi_1(\eta)$ op basis van $D_0$ .
- Stap 2 (Per episode $k$ ):
  - Steek twee sets parameters ( $\theta^{(0)}, \eta^{(0)}$ ) en ( $\theta^{(1)}, \eta^{(1)}$ ) uit de huidige posteriors.
  - Bereken twee beleidspolitieken ( $\pi^{(0)}_k, \pi^{(1)}_k$ ) gebaseerd op deze gesamplede parameters.
  - Genereer twee trajecten en vraag de rater om een binaire preferentie ( $Y_k$ ).
  - Update de posteriors met de nieuwe data.
- Stap 3: Na $K$ episodes, output het beleid dat is afgeleid van de Maximum-A-Posteriori (MAP) schatting.
Praktische Benadering (Bootstrapped PSPL):
- Omdat exacte posterior updates vaak niet in gesloten vorm oplosbaar zijn (verlies van conjugatie), stellen de auteurs een Bootstrapped Posterior Sampling methode voor (Algorithm 2).
- Dit gebruikt een gestoorde (perturbed) surrogate loss-functie met multiplicatieve ruis en prior-sampling om benaderende posterior samples te genereren, wat het algoritme computatieel haalbaar maakt voor complexe taken zoals image generation.

3. Belangrijkste Bijdragen

Formeel Framework: Het introduceren van een formeel kader voor het leren van het beste beleid (BPI) in onbekende MDP's, waarbij zowel offline traject-preferenties als online pure exploratie worden gecombineerd.
PSPL Algoritme: Het ontwikkelen van het eerste algoritme voor deze setting dat posteriors over zowel reward als dynamica onderhoudt, specifiek ontworpen voor traject-level feedback.
Theoretische Garantie: Het leveren van de eerste Bayesiaanse simple regret garanties voor PbRL. De analyse toont aan dat de regret exponentieel daalt naarmate de offline dataset groter wordt en de rater meer expert-achtig wordt (hoge $\lambda$ en $\beta$ ).
Empirische Superioriteit: Het aantonen dat PSPL (en de bootstrapped variant) significant beter presteert dan bestaande baselines (zoals DPO, IPO, LPbRL, DPS) op zowel synthetische benchmarks (MountainCar, RiverSwim) als real-world image generation taken (Pick-a-Pic dataset).

4. Resultaten

De experimenten tonen de volgende inzichten:

Impact van Offline Data: Het warm-starten met offline data verlaagt de simple regret aanzienlijk. Hoe groter de dataset ( $N$ ), hoe beter de prestatie.
Rater Competentie: De prestaties zijn sterk afhankelijk van de geschatte competentie van de rater.
- Hogere $\lambda$ (betere kennis van de reward) en hogere $\beta$ (zekerere beslissingen) leiden tot lagere regret.
- Zelfs met een "mediocre" expert ( $\beta=5$ ) levert PSPL betere resultaten op dan baselines die geen gebruik maken van de competentie-informatie.
Robuustheid: Het algoritme is robuust tegen mis-specificatie van de parameters $\lambda$ en $\beta$ . Zelfs als de geschatte competentie van de rater afwijkt van de werkelijkheid, blijft PSPL superieur aan concurrenten.
Image Generation: Op de Pick-a-Pic dataset (text-to-image) presteert PSPL beter dan Dueling Posterior Sampling (DPS), wat resulteert in hogere finale rewards voor gegenereerde afbeeldingen.

5. Significantie en Conclusie

Dit werk is significant omdat het de kloof overbrugt tussen offline preferentie-data en online leerprocessen in RLHF.

Theoretisch: Het biedt de eerste wiskundige onderbouwing voor het gebruik van offline data om de simple regret te minimaliseren, wat direct relevant is voor het finetunen van LLM's waar de eindkwaliteit van het model cruciaal is.
Praktisch: Het biedt een praktische, schaalbare oplossing (via bootstrapping) die beter presteert dan state-of-the-art methoden zoals DPO en IPO, vooral in scenario's waar menselijke feedback beperkt, duur of suboptimaal is.
Toekomst: Het stelt een fundament voor verdere ontwikkeling in PbRL en RLHF, met name voor multi-turn interacties en complexe generatieve taken waar traject-level feedback essentieel is.

Samenvattend introduceert PSPL een robuuste, Bayesiaanse aanpak om het beste beleid te identificeren door slimme integratie van imperfecte offline data met gerichte online exploratie, wat leidt tot superieure prestaties in zowel simulaties als real-world generatieve taken.