🤖 AI

Unbiased Alignment for Large Language Models with Noisy Preferences

Dit artikel introduceert een theoretisch kader met een Unbiased Reward Model (URM) en Unbiased Direct Preference Optimization (UDPO) loss om grote taalmodellen in staat te stellen robuuste, ruisbestendige afstemming te bereiken direct vanuit ruisgevoelige voorkeursdatasets zonder dat daarvoor schone grondwaarheid-supervisie vereist is.

Oorspronkelijke auteurs: Jialiang Wang, Xianming Liu, Xiong Zhou, Hui Liu, Haoliang Li

Gepubliceerd 2026-07-07

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jialiang Wang, Xianming Liu, Xiong Zhou, Hui Liu, Haoliang Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante maar onervaren student (een Large Language Model) probeert te leren hoe je goede verhalen schrijft of vragen beantwoordt. Je hebt een stapel feedbackkaarten van een groep mensen, die de student vertellen welke antwoorden "goed" en welke "slecht" zijn.

Het probleem? De mensen die de feedback geven zijn niet perfect. Sommigen zijn moe, anderen zijn in de war, en sommigen kunnen persoonlijke vooroordelen hebben. In de echte wereld zijn ongeveer 20% tot 40% van deze feedbackkaarten misschien fout. Als je de kaarten blindelings volgt, leert de student de verkeerde lessen en begint hij fouten te maken.

Dit artikel introduceert een nieuwe manier om de student te onderwijzen die de "ruis" (de fouten) in de feedbackkaarten negeert en zich richt op de waarheid die eronder ligt.

Het kernidee: De "ruisonderdrukkende" koptelefoon

Beschouw de ruizige feedback als een liedje dat wordt afgespeeld met veel statische interferentie. Standaard onderwijsmethoden proberen het liedje te leren door naar de hele bende te luisteren, wat resulteert in een verstoorde melodie.

De auteurs van dit artikel hebben een wiskundig "ruisonderdrukkend" systeem gebouwd. Ze realiseerden zich dat als je weet hoe de ruis ontstaat (bijv. "20% van de tijd draaien mensen hun antwoorden om"), je het proces wiskundig kunt omkeren. Het is alsof je een recept hebt dat zegt: "Als de cake te zout proeft, trek dan precies deze hoeveelheid zout af om de perfecte smaak terug te krijgen."

Ze hebben twee specifieke hulpmiddelen ontwikkeld:

URM (Unbiased Reward Model): Dit is voor de eerste fase van het onderwijs. Normaal gesproken leert het model een "score" te geven aan antwoorden. Als de feedback ruizig is, raakt het scoresysteem in de war. URM werkt als een filter dat de scores opschoont voordat het model ze zelfs maar ziet, waardoor het model het juiste onderscheid tussen "goed vs. slecht" leert.
UDPO (Unbiased Direct Preference Optimization): Dit is voor de tweede fase, waarbij het model daadwerelijk leert schrijven. In plaats van simpelweg de ruizige feedback direct te volgen, gebruikt UDPO een speciale wiskundige formule om de verwarring te "ongedaan te maken". Het stelt het model in staat om het juiste gedrag te leren, zelfs als de leraar af en toe fout zit.

Hoe het werkt: De "magische formule"

Het artikel beweert dat je niet precies hoeft te weten welke specifieke feedbackkaarten fout zijn. Je moet alleen de algemene "ruisrate" weten (hoe rommelig de feedback is).

Ze gebruiken een variabele genaamd $a$ (die gebaseerd is op de ruisrate).

De truc van de neerwaartse compatibiliteit: Stel je voor dat je raadt hoe rommelig de feedback is. Als je raadt dat het zeer rommelig is (een hoge ruisrate), maar het blijkt slechts enigszins rommelig te zijn, dan werkt je methode nog steeds perfect. Het is alsof je zware regenlaarzen draagt op een zonnige dag; je blijft droog, zelfs als het maar een beetje miezert. Echter, als je denkt dat het zonnig is maar het regent eigenlijk pijpenstelen, dan word je nat. De auteurs hebben bewezen dat hun methode veilig is, zelfs als je de ruis overschat.

De resultaten: Het spel winnen

De onderzoekers hebben hun methode getest op echte datasets (zoals chatgesprekken en samenvattingsopdrachten) en er kunstmatig meer ruis aan toegevoegd om te zien hoe goed het standhoudt.

De Baseline: Standaardmethoden (zoals DPO) begonnen slecht te presteren wanneer de ruis hoog werd. Ze raakten in de war en presteerden slecht.
De Nieuwe Methode: Hun URM- en UDPO-methoden bleven sterk. Zelfs toen 40% van de feedback omgedraaid (fout gemaakt) was, leerden hun modellen nog steeds de juiste manier van gedrag.
Het Bewijs: Ze hebben wiskundig aangetoond dat hun methode niet gewoon "geluk heeft". Er is bewezen dat het de "best mogelijke" leraar (de Bayes optimale classifier) herstelt, zelfs vanuit een ruizige klaslokaal.

In een notendop

Dit artikel zegt: "Gooi je ruizige feedback niet weg. Gebruik in plaats daarvan onze nieuwe wiskundige hulpmiddelen om het op te schonen terwijl je leert."

Ze bieden een "ruisonderdrukkende" loss-functie (een wiskundige regel voor het leren) die AI-modellen in staat stelt om te leren van rommelige, imperfecte menselijke feedback zonder in de war te raken. Het is een robuuste, veiligere manier om AI af te stemmen op menselijke waarden, wat ervoor zorgt dat zelfs als de mensen die de feedback geven moe of bevooroordeeld zijn, de AI toch de juiste lessen leert.

Technische Samenvatting: Onbevooroordeelde Afstemming voor Large Language Models met Ruisende Voorkeuren

Probleemstelling

De afstemming (alignment) van Large Language Models (LLMs) op menselijke voorkeuren is een cruciale fase in de trainingspipeline, gewoonlijk bereikt via Reinforcement Learning from Human Feedback (RLHF) of Direct Preference Optimization (DPO). Echter, real-world voorkeursdatasets zijn inherent ruisend, waarbij annotatiefouten, een gebrek aan professionele kennis en sociale vooroordelen aanzienlijke ruis introduceren (vaak variërend van 20% tot 40%).

Standaard afstemmingsmethoden, inclusief RLHF en DPO, zijn kwetsbaar voor deze ruis. Ze hebben de neiging om te overfitten op foutieve voorkeursparen, wat leidt tot verstoorde beloningssignalen of bevooroordeelde beleidsmodellen (policy models). Bestaande benaderingen om dit probleem te verzachten, kampen met beperkingen: sommige slagen er niet in om volledige tolerantie voor ruis te bereiken, terwijl andere (bijv. rDPO) een nauwkeurige schatting van de ruisgraad vereisen, wat onhaalbaar is in praktische scenario's waar de werkelijke ruisniveaus onbekend zijn.

Methodologie

De auteurs stellen een verenigd theoretisch kader voor Onbevooroordeelde Afstemming (Unbiased Alignment) voor, dat de door voorkeursruis veroorzaakte verstoring mathematisch corrigeert zonder dat daarvoor zuivere grondwaarheid-supervisie nodig is. De kerninzicht is dat voorkeursruis een statistisch gemodelleerd transitieproces volgt. Door dit proces te inverteren, leiden de auteurs verliesfuncties af die directe training van onbevooroordeelde modellen mogelijk maken vanuit ruisende data.

Het kader behandelt twee dominante paradigma's:

1. Onbevooroordeeld Beloningsmodel (URM) voor RLHF

In het RLHF-paradigma corrumpeert ruis de trainingsfase van het beloningsmodel. De auteurs karakteriseren de relatie tussen het optimale ruisende beloningsmodel ( $r^\eta$ ) en het optimale onbevooroordeelde beloningsmodel ( $r^*$ ).

Theoretische Afleiding: Zij stellen een transformatierelatie vast waarbij het onbevooroordeelde beloningssignaal kan worden hersteld uit het ruisende tegenhanger met behulp van een constante $a = \frac{\eta}{1-\eta}$ , waarbij $\eta$ de ruisgraad is.
URM Loss: Door de ruisende beloningsrepresentatie te vervangen door de onbevooroordeelde, leiden zij de Unbiased Reward Model (URM) loss af:
$L_{URM} = -\log \frac{\exp(\Delta) + a}{\exp(\Delta) + 1}$
waarbij $\Delta = r_\phi(x, y_w) - r_\phi(x, y_l)$ . Deze loss maakt het mogelijk om direct een onbevooroordeeld beloningsmodel te trainen vanuit ruisende voorkeursparen.

2. Onbevooroordeelde Direct Preference Optimization (UDPO) voor DPO

Voor het DPO-paradigma, dat het beleid direct optimaliseert zonder een expliciet beloningsmodel, beïnvloedt ruis eveneens het geleerde beleid (policy).

Theoretische Afleiding: De auteurs demonstreren dat de relatie tussen ruisende en onbevooroordeelde beleidsmodellen de relatie tussen de beloningsmodellen weerspiegelt. Zij leiden de transformatie af tussen de ruisende policy ratio en de onbevooroordeelde policy ratio.
UDPO Loss: Dit leidt tot de Unbiased Direct Preference Optimization (UDPO) loss:
$L_{UDPO} = -\log \frac{\left(\frac{\pi_\theta(y_w|x)\pi_{ref}(y_l|x)}{\pi_\theta(y_l|x)\pi_{ref}(y_w|x)}\right)^\beta + a}{\left(\frac{\pi_\theta(y_w|x)\pi_{ref}(y_l|x)}{\pi_\theta(y_l|x)\pi_{ref}(y_w|x)}\right)^\beta + 1}$
Dit maakt directe optimalisatie van een onbevooroordeeld beleidsmodel mogelijk terwijl de eenvoud van het DPO-framework behouden blijft.

Verenigd Fundamenteel Kader en Theoretische Eigenschappen

De auteurs tonen aan dat zowel URM als UDPO een verenigde marge-gebaseerde vorm delen, waarbij de fundamentele equivalentie tussen RLHF en DPO behouden blijft. De belangrijkste vastgestelde theoretische eigenschappen zijn:

Ruis-tolerantie: De methoden zijn door ontwerp robuust tegen ruis.
Parameter Downward Compatibility: Als de werkelijke ruisgraad $\eta^*$ lager is dan of gelijk aan de geschatte parameter $\hat{\eta}$ (gebruikt om $a$ in te stellen), levert de loss functie nog steeds een onbevooroordeelde optimale oplossing op. Dit is cruciaal omdat exacte ruisgraden onbekend zijn; het overschatten van de ruisparameter garandeert robuustheid.
Classificatie-kalibratie: De voorgestelde loss functies zijn bewezen classificatie-gekalibreerd, wat garandeert dat het minimaliseren van de surrogaat-loss leidt tot de Bayes-optimale classifier.
Excess Risk Bound: Het artikel stelt een grens vast die de excess risk van de onbevooroordeelde loss relateert aan de 0-1 loss, waarmee wordt aangetoond dat de methode de Bayes-optimale classifier kan herstellen.

Belangrijkste Bijdragen

Theoretisch Kader: Een verenigd theoretisch kader voor onbevooroordeelde afstemming dat de verstoring van voorkeursruis mathematisch inverteert voor zowel RLHF als DPO.
Nieuwe Loss Functies: De afleiding van de URM loss voor beloningsmodellering en de UDPO loss voor directe policy-optimalisatie, beide in staat tot het trainen van onbevooroordeelde modellen vanuit ruisende datasets.
Theoretische Garanties: Rigoureuze bewijzen die ruis-tolerantie, parameter downward compatibility, classificatie-kalibratie en excess risk bounds aantonen.
Empirische Validatie: Uitgebreide experimenten over diverse datasets (Anthropic-HH, Reddit TL;DR, UltraFeedback Binarized) en modelfamilies (Llama-3, Qwen) die consistente superioriteit tonen ten opzichte van de state-of-the-art baselines.

Experimentele Resultaten

De auteurs evalueerden hun methoden tegenover baselines inclusief standaard RM/DPO, label smoothing varianten, en andere robuuste methoden (rDPO, Dr.DPO) onder variërende niveaus van handmatig geïnjecteerde ruis (0%, 20%, 40%) en in natuurlijk ruisende real-world datasets.

Beloningsmodel Training: URM en de genormaliseerde variant ( $\alpha$ -URM) presteerden consequent beter dan alle baselines. Op de TL;DR dataset met 40% ruis verbeterde URM de win rates met ongeveer 8% ten opzichte van standaard baselines.
Supervised Preference Training: UDPO en $\alpha$ -UDPO behaalden de hoogste gemiddelde win rates over alle datasets. De gemiddelde win rate van UDPO overtrof die van normale DPO met ongeveer 15%, wat bevestigt dat standaard DPO overfit op ruis terwijl het onbevooroordeelde framework de ware policy herstelt.
Schaalbaarheid: De methoden toonden effectiviteit op grotere modellen (Llama-3.1-8B, Qwen-3-8B, Qwen-3-14B) en complexe datasets (UFB), en behielden hun robuustheid in closed-loop RLHF settings met behulp van GRPO.
Ablatie: Experimenten bevestigden dat de genormaliseerde varianten ( $\alpha$ -URM/ $\alpha$ -UDPO) minder gevoelig zijn voor hyperparameterkeuzes en consistent optimale prestaties leveren wanneer $a$ wordt ingesteld om potentiële ruisniveaus te dekken.

Betekenis en Claims

Het artikel claimt een "beknopte, interpreteerbare en effectieve route naar robuuste LLM-afstemming" te bieden. Door voorkeursruis te behandelen als een mathematisch transitieproces en het analytisch te inverteren, bieden de auteurs een oplossing die niet afhankelijk is van de onpraktische vereiste om de exacte ruisgraad te kennen.

De betekenis ligt in:

Praktisch Nut: De eigenschap "parameter downward compatibility" stelt beoefenaars in staat om een conservatieve ruisparameter in te stellen om robuustheid te garanderen zonder dat zij een precieze ruisschatting nodig hebben.
Theoretische Rigor: Het werk overbrugt de kloof tussen noisy learning theory en LLM-afstemming, en biedt garanties (kalibratie, risicobanden) die voorheen ontbraken bij robuuste afstemmingsmethoden.
Verenigde Aanpak: Het verenigt de behandeling van ruis in zowel het beloningsmodellering (RLHF) als het directe optimalisatie (DPO) paradigma, en demonstreert dat de fundamentele RLHF-DPO equivalentie standhoudt onder de voorgestelde onbevooroordeelde doelstellingen.

De auteurs concluderen dat hun methoden het mogelijk maken om LLM's te trainen die veerkrachtig zijn tegen de aanzienlijke ruis die prevalent is in real-world voorkeurdata, waardoor de veiligheid en betrouwbaarheid van afgestemde AI-systemen worden verbeterd.