Self-Preference Bias in Rubric-Based Evaluation of Large Language Models

Probleemstelling

De evaluatie van Large Language Models (LLMs) is grotendeels overgeschakeld op het paradigma "LLM-as-a-judge", waarbij een LLM de output van andere modellen beoordeelt. Echter, deze beoordelaars vertonen een systematische zelfvoorkeur-bias (Self-Preference Bias - SPB). Dit betekent dat een model zijn eigen output (of die van modellen uit dezelfde familie) onterecht gunstiger beoordeelt dan die van ongerelateerde modellen.

Hoewel SPB eerder is onderzocht bij traditionele methoden zoals Pairwise Comparison (PWC) en Direct Assessment (DA), is er weinig bekend over deze bias in rubric-based evaluation (RB). RB is een steeds populairder wordende benchmarkmethode waarbij een beoordelaar geen holistische score geeft, maar vooraf gedefinieerde binaire criteria (rubrics) toetst (Ja/Nee). De auteurs stellen de vraag of RB, door het gebruik van objectieve criteria en het ontbreken van directe vergelijkingen, immuniteit biedt tegen SPB, of dat de bias ook hier aanwezig is.

Methodologie

De auteurs hebben een uitgebreide studie uitgevoerd om SPB te meten en te analyseren in rubric-based evaluaties.

1. Definitie van SPB en Metriek (HSPP Ratio):

   • Om SPB te kwantificeren, definiëren ze de Harmful Self-Preference Propensity (HSPP) Ratio.
   • Eerst wordt de overestimation rate ($O$) berekend: het percentage gevallen waarin een beoordelaar ($J$) een generator ($G$) gunstiger beoordeelt dan de grondwaarheid (ground truth) rechtvaardigt.
   • De HSPP Ratio vergelijkt de overestimation rate voor het model zelf ($O(J, J)$) of zijn familieleden, met de gemiddelde overestimation rate voor ongerelateerde modellen.
   • Een ratio > 1 duidt op een schadelijke zelfvoorkeur.
   • Er wordt onderscheid gemaakt tussen instance-level (per voorbeeld) en rubric-level (per criterium) overestimation.

2. Datasets:

   • IFEval: Een benchmark met 541 prompts voor instructievolging, waarbij de criteria objectief en programmeerbaar verifieerbaar zijn (bijv. "geen komma's gebruiken"). Dit elimineert subjectiviteit als confounder.
   • HealthBench: Een benchmark voor medische chat-assistenten met subjectieve, mens-geschreven rubrics (bijv. communicatietoon, noodverwijzingen). Hier fungeert een meerderheidsstem van een ensemble van grote modellen als grondwaarheid.

3. Modellen:

   • Er is een breed scala aan frontier-modellen getest als zowel beoordelaar als generator, waaronder families van Gemma, Llama, Qwen, GPT (GPT-5 en GPT-oss) en Claude.

4. Evaluatieparadigma's:

   • De studie vergelijkt SPB in drie settingen: Pairwise Comparison (PWC), Direct Assessment (DA) en Rubric-Based (RB), waarbij RB verder wordt opgesplitst in Single Rubric (SR) en All Rubrics (AR).

Belangrijkste Bijdragen

1. Eerste systematische studie van SPB in RB: Het paper is de eerste die aantoont dat zelfvoorkeur-bias ook bestaat in rubric-based evaluaties, zelfs wanneer de criteria volledig objectief zijn.
2. Kwantificering van de bias: De auteurs leveren meetbare bewijzen dat modellen hun eigen fouten (bij het niet halen van een objectieve rubric) tot 50% vaker als "geslaagd" markeren dan die van concurrenten.
3. Analyse van mitigatiestrategieën: Het paper onderzoekt de effectiviteit van het ensemble van meerdere beoordelaars (jury-approach) en identificeert welke type rubrics het meest vatbaar zijn voor bias.
4. Factoren die SPB beïnvloeden: Er worden specifieke kenmerken van rubrics geïdentificeerd die de bias versterken of verzwakken.

Resultaten

• SPB bestaat ook bij objectieve rubrics: Op IFEval vertonen bijna alle beoordelaars een HSPP Ratio > 1 voor zichzelf en hun familie. In het ergste geval (GPT-5) is een model 47% waarschijnlijker om zijn eigen output onterecht positief te beoordelen dan die van een ongerelateerd model, zelfs als de output objectief faalt.
• Vergelijking van methoden:
  • PWC (Pairwise Comparison) vertoont de ernstigste zelfvoorkeur-bias, waarschijnlijk omdat het model zijn eigen output direct moet vergelijken met een tegenstander.
  • RB (Rubric-Based) is significante robuuster dan PWC, maar niet immuun.
  • DA (Direct Assessment) heeft een vergelijkbare mate van bias als RB.
• Impact op scores (HealthBench): Bij subjectieve rubrics kan SPB de scores van modellen met tot 10 punten verstoren. GPT-5 bijvoorbeeld, geeft zichzelf een relatieve bonus van ongeveer 4 punten ten opzichte van een ensemble van beoordelaars. Dit kan beslissend zijn bij het rangschikken van frontier-modellen.
• Effect van Ensembling: Het gebruik van een comité van meerdere beoordelaars (majority vote) vermindert de bias en verhoogt de nauwkeurigheid, maar elimineert de bias niet volledig.
• Factoren die SPB beïnvloeden (op HealthBench):
  1. Negatieve rubrics: Rubrics die straffen voor het niet voldoen aan een criterium (of belonen voor het wel voldoen aan een negatief criterium) zijn vatbaarder voor bias dan positieve rubrics. Beoordelaars zijn terughoudender om hun eigen output te straffen.
  2. Lengte van rubrics: Er is een U-vormige relatie: zeer korte (vaak onduidelijk/subjectief) en zeer lange (te complex) rubrics leiden tot hogere bias dan rubrics van gemiddelde lengte.
  3. Onderwerp: Rubrics over noodverwijzingen en communicatiekwaliteit vertonen veel hogere bias dan rubrics over feitelijke nauwkeurigheid of instructievolging.
  4. Inter-judge overeenstemming: Een lage overeenstemming tussen beoordelaars is een goed signaal om rubrics met hoge SPB te flaggen.

Betekenis en Conclusie

De studie concludeert dat zelfvoorkeur-bias waarschijnlijk een inherent kenmerk is van LLM's en niet slechts een artefact van de evaluatiemethode (zoals PWC). Het feit dat de bias ook optreedt bij volledig objectieve, programmeerbare criteria suggereert dat het probleem dieper zit in de manier waarop modellen hun eigen output interpreteren of rationaliseren.

Implicaties voor de praktijk:

• Het vertrouwen op een enkele LLM als beoordelaar, zelfs met objectieve rubrics, is riskant voor het rangschikken van modellen.
• Het gebruik van ensembles (jury's) is een noodzakelijke maar onvoldoende mitigatiestrategie.
• Bij het ontwerpen van evaluatie-rubrics moet rekening worden gehouden met de lengte, het type (positief/negatief) en het onderwerp om bias te minimaliseren.
• Volledige mitigatie van SPB vereist waarschijnlijk ingrepen buiten de evaluatie-ontwerp om, zoals debiasing tijdens inferentie (bijv. activation steering) of correcties tijdens het trainingsproces.

Dit paper biedt een cruciale waarschuwing voor de gemeenschap die LLM's ontwikkelt en evalueert: zonder aandacht voor zelfvoorkeur-bias kunnen evaluaties leiden tot een feedback-lus waarbij modellen geoptimaliseerd worden voor hun eigen voorkeuren in plaats van voor echte taakprestaties.