Preference Leakage: A Contamination Problem in LLM-as-a-judge

Dit paper identificeert en analyseert 'preferentielekage', een besmettingsprobleem waarbij LLM-judges onbewust vooroordelen vertonen ten opzichte van door hen zelf of verwante modellen gegenereerde trainingsdata, wat leidt tot een systematische vertekening in evaluaties.

De kern

Stel je voor dat je een grote kok (een AI-model) wilt leren koken. Om hem te trainen, geef je hem een receptenboek. Vervolgens laat je een proefpersoon (een andere AI) zijn gerechten beoordelen om te zien of ze lekker zijn.

In de wereld van moderne kunstmatige intelligentie (LLM's) gebeurt dit vaak op een slimme, maar gevaarlijke manier:

1. De proefpersoon (de 'Judge') schrijft zelf de recepten voor de kok.
2. De kok leert van die recepten.
3. Vervolgens laat je diezelfde proefpersoon de gerechten van de kok beoordelen.

Het probleem dat deze paper beschrijft, noemen ze "Preference Leakage" (voorkeurslekkage). Laten we dit uitleggen met een paar creatieve metaforen.

1. De "Zelfgemaakte Recepten" (Het Kernprobleem)

Stel je voor dat een kok (de AI die leert) alleen maar kookt op basis van recepten die zijn geschreven door een beroemde chef-kok (de 'Judge'). De beroemde chef heeft een heel specifieke stijl: hij houdt van zoute sauzen en specifieke presentatie.

De kok leert deze stijl na. Als de beroemde chef later terugkomt om het gerecht te proeven, zegt hij: "Wauw, dit smaakt precies zoals ik het zou maken! Dit is perfect!"

De chef is niet eerlijk. Hij vindt het gerecht niet per se het beste van de wereld, maar hij vindt het vertrouwd. Hij herkent zijn eigen "stijl" in het gerecht van de kok. Omdat ze dezelfde "stijl" delen, geeft hij een onterecht hoge score. Dit is Preference Leakage: de voorkeur van de beoordelaar lekt door naar de leerling via de data, waardoor de beoordeling vervalst raakt.

2. Drie Manieren waarop dit gebeurt

De paper beschrijft drie scenario's waarin deze lekkage optreedt:

• Hetzelfde model (De Spiegel): De kok en de proefpersoon zijn exact dezelfde persoon. Ze denken en spreken precies hetzelfde. Natuurlijk vindt de proefpersoon de output van zichzelf het allerlekkerst.
• Erfenis (De Ouder en Kind): De proefpersoon is een "kind" van de kok (of andersom). Ze hebben dezelfde genen (dezelfde basisarchitectuur). Het kind heeft de smaak van de ouder overgenomen. Als de ouder het kind beoordeelt, is hij vaak te streng of te mild omdat hij de "familie-kenmerken" herkent.
• Hetzelfde familiebedrijf (De Broers): De kok en de proefpersoon komen uit dezelfde fabriek (bijvoorbeeld beide van het merk "GPT" of "Llama"). Ze zijn niet exact hetzelfde, maar ze zijn opgeleid met dezelfde basis en hebben dezelfde "familie-kenmerken". Ze spreken een soort "familie-taal" die anderen niet begrijpen, maar waar ze elkaar wel om waarderen.

3. Waarom is dit gevaarlijk?

In het verleden wisten we dat AI's soms vooroordelen hadden (bijvoorbeeld: ze houden van lange antwoorden). Maar dit probleem is subtieler.

• Het is als een spook: Je kunt het niet altijd zien. De AI's zeggen niet: "Ik geef een hoge score omdat dit mijn eigen stijl is." Ze zeggen: "Dit is gewoon een goed antwoord." Maar in werkelijkheid is het een goed antwoord voor hen, niet noodzakelijk voor de mens.
• Het verstoort de ranglijst: Stel je een sportwedstrijd voor waar de scheidsrechter de speler van zijn eigen team een doelpunt geeft, niet omdat het een mooi doelpunt was, maar omdat de speler zijn eigen shirt draagt. Dan zie je in de ranglijst dat dat team bovenaan staat, terwijl ze misschien niet de beste zijn. Zo worden AI-modellen in de praktijk soms onterecht als "de beste" bestempeld.

4. Wat hebben ze ontdekt?

De onderzoekers hebben gekeken naar honderden tests en ontdekten:

• Kleine modellen lijden meer: Kleine AI's die leren van grote AI's, kopiëren vaak de "stijl" (de zinsbouw, de leestekens) van de grote AI. De grote AI ziet die stijl en denkt: "Ah, dat is mijn stijl, dat is goed!"
• Subjectieve vragen zijn kwetsbaarder: Bij wiskundige vragen (waar het antwoord 2+2=4 is) maakt het niet uit. Maar bij creatieve vragen (schrijf een gedicht) of mening-vragen, is de lekkage het grootst. Hier is de "stijl" van de beoordelaar het belangrijkst.
• Het is overal: Dit gebeurt in de meeste populaire tests die nu worden gebruikt om AI's te vergelijken.

5. De Oplossing?

De paper suggereert dat we voorzichtig moeten zijn. We kunnen niet zomaar een AI gebruiken om een andere AI te beoordelen als ze uit dezelfde "familie" komen of als de beoordelaar de data heeft geschreven waar de andere AI van heeft geleerd.

Het is alsof je een jury nodig hebt voor een zangwedstrijd, maar je mag geen juryleden toelaten die zelf ook zingen of die de zangers hebben opgeleid. Je hebt een onafhankelijke jury nodig die de muziek niet kent en geen voorkeur heeft voor een bepaalde stijl.

Kort samengevat:
Deze paper waarschuwt dat we in de AI-wereld vaak "de kip met de gouden eieren" laten beoordelen door de kip zelf. De kip denkt dat het ei goud is, omdat het eruit ziet als haar eigen ei. Om eerlijke resultaten te krijgen, moeten we zorgen dat de beoordelaar en de leerling geen familie zijn en niet uit dezelfde bron hebben geleerd.

Technische samenvatting

Titel: Preference Leakage: Een Verontreinigingsprobleem in LLM-als-Rechter

1. Het Probleem: Preferentie-uitstroom (Preference Leakage)

Hoewel Large Language Models (LLM's) als "rechter" (LLM-as-a-Judge) en voor het synthetiseren van data fundamenteel zijn geworden voor de ontwikkeling van AI-modellen, introduceert hun combinatie een nieuw soort verontreiniging. Het paper introduceert het concept Preference Leakage (preferentie-uitstroom).

Dit probleem treedt op wanneer de LLM die wordt gebruikt voor het genereren van synthetische trainingsdata (de Generator, $M_G$) en de LLM die wordt gebruikt voor het evalueren van het getrainde model (de Judge, $M_J$) nauw verwant zijn. Door deze verwantschap "lekt" de voorkeur van de rechter naar de studentmodellen via de synthetische data. Hierdoor worden de evaluatiescores van de studentmodellen kunstmatig opgeblazen, niet omdat ze intrinsiek beter zijn, maar omdat ze spoorachtige kenmerken (stijl, formaat, woordkeuze) van de generator hebben overgenomen waar de rechter gevoelig voor is.

Dit verschijnsel is subtieler en moeilijker te detecteren dan bestaande bias-problemen (zoals lengte-bias of egocentrische bias), omdat het vaak onzichtbaar blijft in de trainingdata en de modelarchitectuur.

2. Methodologie

Definitie van Verwantschap
De auteurs definiëren drie soorten verwantschappen tussen de Generator en de Judge die tot preferentie-uitstroom kunnen leiden:

1. Zelfde Model: $M_G$ en $M_J$ zijn exact hetzelfde model.
2. Inheritance (Overerving): Een model is gefine-tuned op de output van het andere (bijv. $M_J$ is een fine-tuning van $M_G$, of vice versa).
3. Zelfde Modelfamilie: Beide modellen behoren tot dezelfde familie (bijv. verschillende versies van GPT of LLaMA) en delen een gemeenschappelijke architectuur en trainingsdata.

Experimenteel Opzet

• Modellen: De studie gebruikt krachtige LLM's (GPT-4o, Gemini-1.5, LLaMA-3.3) als generators en judges. Als studentmodellen worden Mistral-7B en Qwen-2.5-14B gebruikt (specifiek de pre-trained versies om distillatie uit andere bronnen te voorkomen).
• Data: Synthetische instructiedata wordt gegenereerd uit de Ultrafeedback dataset en gebruikt voor Supervised Fine-Tuning (SFT) van de studentmodellen.
• Benchmarks: Evaluatie vindt plaats op twee populaire benchmarks: Arena-Hard en AlpacaEval 2.0.
• Meting: De auteurs introduceren de Preference Leakage Score (PLS). Deze score kwantificeert de mate van bias door de win-rate van een studentmodel door zijn verwante judge te vergelijken met de gemiddelde win-rate van dat model door een niet-verwante judge. Een hoge PLS duidt op sterke preferentie-uitstroom.

Analyse Dimensies
De auteurs onderzoeken de impact van:

• Data-mixing (percentage synthetische vs. menselijke data).
• Verschillende leermethodes (SFT, DPO, In-Context Learning).
• Modelgrootte en -familie.
• Vraagtypes (objectief vs. subjectief) en beoordelingsdimensies.
• De mogelijkheid van judges om hun eigen "studenten" te herkennen.

3. Belangrijkste Resultaten

• Wijdverspreide Bias: In de meeste modelparen vertonen judges een sterke bias ten gunste van hun verwante studentmodellen. De PLS is significant positief (bijv. tot 37% op Arena-Hard voor bepaalde paren).
• Grootte van het Model: Opvallend genoeg vertonen kleinere studentmodellen (bijv. 1B-3B parameters) een hogere preferentie-uitstroom dan grotere modellen. De auteurs verklaren dit doordat kleinere modellen minder in staat zijn om complexe semantische patronen te leren en zich daarom meer richten op oppervlakkige, spoorachtige kenmerken (zoals stijl en formaat) die door de judge worden gewaardeerd.
• Invloed van Data-mixing: Er is een directe correlatie tussen het percentage synthetische data in de training en de mate van bias. Zelfs bij lage percentages synthetische data is er al sprake van uitstroom, wat detectie bemoeilijkt.
• Leermethodes: Supervised Fine-Tuning (SFT) vertoont de hoogste bias. Direct Preference Optimization (DPO) en In-Context Learning (ICL) vertonen aanzienlijk minder bias, wat suggereert dat paar-optimatie en contextuele voorbeelden de memorisatie van spoorachtige kenmerken verminderen.
• Herkenbaarheid: Judges kunnen hun eigen studentmodellen niet betrouwbaar herkennen (hun nauwkeurigheid ligt rond het niveau van raden). Dit bevestigt dat preferentie-uitstroom een subtiel mechanisme is dat niet berust op expliciete herkenning, maar op onderbewuste voorkeuren voor bepaalde stijlen.
• Vraagtypes: Bias is het sterkst bij subjectieve vragen (zoals schrijven en programmeren) en subjectieve beoordelingsdimensies (zoals "fairness" en "creativiteit"), terwijl objectieve vragen (wiskunde) minder gevoelig zijn.

4. Bijdragen

1. Concept Introductie: Voor het eerst wordt "Preference Leakage" formeel gedefinieerd als een nieuw type verontreiniging in het LLM-as-a-Judge paradigma, onderscheiden van traditionele data-leakage.
2. Empirisch Bewijs: Uitgebreide experimenten tonen aan dat dit bias-probleem systematisch optreedt over verschillende modelarchitecturen, benchmarks en verwantschapsscenario's.
3. Mechanisme Analyse: De studie onthult dat de bias wordt gedreven door spoorachtige kenmerken (stijl, formaat) in plaats van semantische inhoud, en dat deze bias het meest problematisch is voor kleinere modellen en subjectieve taken.
4. Mitigatie: De auteurs testen diverse mitigatiestrategieën en vinden dat Contextual Calibration (het dynamisch aanpassen van scores op basis van een hold-out set) de meest effectieve methode is om de bias te verminderen.

5. Betekenis en Impact

De bevindingen van dit paper hebben grote implicaties voor de betrouwbaarheid van huidige AI-evaluaties:

• Betrouwbaarheid van Benchmarks: Veel populaire leaderboards (zoals AlpacaEval) kunnen onnauwkeurige ranglijsten produceren omdat ze vaak dezelfde modellen gebruiken voor data-generatie en evaluatie, wat leidt tot een "opgeblazen" prestatie van afgeleide modellen.
• Ontwikkelingsparadigma: De gemeenschappelijke praktijk om de meest geavanceerde modellen (zoals GPT-4) te gebruiken voor zowel het genereren van trainingsdata als het evalueren van het resultaat, creëert een vicieuze cirkel van verontreiniging.
• Toekomstige Richting: Het paper pleit voor het gebruik van onafhankelijke evaluatoren, het vermijden van verwante families in de trainings-evaluatie cyclus, en het implementeren van detectie- en calibratiemethoden om eerlijke en robuuste evaluatiesystemen te garanderen.

Kortom, "Preference Leakage" is een fundamenteel, maar vaak over het hoofd gezien obstakel dat de validiteit van de huidige LLM-ontwikkeling en -evaluatie in twijfel trekt.