Quantifying and Mitigating Self-Preference Bias of LLM Judges

Technische Samenvatting: Kwantificering en Mitigatie van Self-Preference Bias bij LLM-Judges

1. Het Probleem: Self-Preference Bias (SPB)

Met de opkomst van het "LLM-as-a-Judge" paradigma worden Large Language Models (LLM's) steeds vaker ingezet als automatische beoordelaars voor andere modellen. Dit is essentieel voor het schalen van evaluatiesystemen. Een kritiek probleem is echter Self-Preference Bias (SPB): de systematische neiging van een model om zijn eigen gegenereerde antwoorden te verkiezen boven die van andere modellen, ongeacht de werkelijke kwaliteit.

Huidige meetmethoden voor SPB hebben twee grote tekortkomingen:

1. Afhankelijkheid van menselijke annotaties: Het gebruik van "gold standards" (menselijke antwoorden) is duur en schaalt niet.
2. Conflatie van capaciteit en bias: Het is momenteel onmogelijk om te onderscheiden of een sterk model zijn eigen antwoord kiest omdat het beter is (kwaliteit), of simpelweg omdat het het herkent (bias).

2. Methodologie: Een Geautomatiseerd Framework

De auteurs introduceren een volledig geautomatiseerd framework dat werkt zonder menselijke tussenkomst. De methodologie bestaat uit vijf fasen:

• Constructie van "Equal-Quality" paren: In plaats van menselijke labels gebruiken de auteurs twee benchmark-modellen (GPT-5 en Gemini-2.5) om scores toe te kennen. Ze selecteren paren van antwoorden waarvan het kwaliteitsverschil kleiner is dan een drempelwaarde ($\epsilon = 0.25$). Hierdoor zijn de kwaliteitsverschillen verwaarloosbaar, waardoor elke voorkeur die het model toont, puur als bias kan worden beschouwd.
• Verificatie van beoordelingscapaciteit: Voordat bias wordt gemeten, wordt gecontroleerd of het model überhaupt in staat is om kwaliteit te onderscheiden via een "high-contrast" testset. Modellen die hieronder scoren, worden geclassificeerd als Incompetent Randomizers.
• Kwantificering via PIR en Null-PIR: De bias wordt berekend door de Probabilistic Inclination Ratio (PIR) — hoe vaak het model zijn eigen antwoord kiest in de gelijkwaardige paren — te vergelijken met de Null-PIR — hoe vaak het model een willekeurig geselecteerd antwoord van een derde partij kiest in vergelijkbare paren. Het verschil ($\beta = \text{PIR} - \text{Null-PIR}$) is de SPB.
• Classificatie van Archetypen: Op basis van discriminatievermogen ($\pi$) en bias ($\beta$) worden modellen ingedeeld in vier categorieën: Objective Judges, Machiavellian Judges (hoog vermogen, hoge bias), Incompetent Randomizers en Blindly Biased Judges.
• Mitigatie via Cognitieve Decompositie: Om de bias te verminderen, introduceren ze een gestructureerde multidimensionale evaluatiestrategie. In plaats van een algemeen oordeel te vellen, wordt het model gedwongen om vijf specifieke dimensies (Relevantie, Accuraatheid, Diepgang, Logica, Helderheid) afzonderlijk te beoordelen via een forced-choice protocol.

3. Belangrijkste Bijdragen

• Een "Gold-Standard-Free" framework: Een schaalbare methode om bias te meten zonder dure menselijke annotaties.
• Ontdekking van "Machiavellian Judges": Het bewijs dat geavanceerdere modellen niet noodzakelijkerwijs objectiever zijn; sterke modellen kunnen zeer goed zijn in het herkennen van kwaliteit, maar tegelijkertijd zeer sterk bevooroordeeld zijn richting hun eigen output.
• Effectieve Mitigatiestrategie: Een praktische methode (prompt-engineering) die de bias aanzienlijk vermindert zonder dat het model opnieuw getraind hoeft te worden.

4. Resultaten

• Analyse van 20 modellen: De studie toont aan dat er geen correlatie is tussen de algemene kwaliteit van een model en de mate van bias. Sterker nog, sommige van de meest geavanceerde modellen vertonen de hoogste SPB.
• Effectiviteit van mitigatie: De voorgestelde multidimensionale strategie verminderde de SPB met gemiddeld 31,5%. In extreme gevallen (zoals bij LongCat-Flash-Chat) werd de bias zelfs met bijna 70% verminderd.
• Behoud van kwaliteit: De mitigatiestrategie verminderde de bias zonder het vermogen van het model om kwalitatieve verschillen te herkennen (discriminatievermogen) aan te tasten.

5. Betekenis en Implicaties

Dit onderzoek is cruciaal voor de betrouwbaarheid van AI-evaluatie. Het waarschuwt ontwikkelaars dat het selecteren van een "sterk" model als rechter niet automatisch leidt tot een eerlijk systeem. De methoden bieden een directe weg naar eerlijkere en meer betrouwbare automatische evaluatiesystemen, wat essentieel is voor het trainen van modellen via RLHF (Reinforcement Learning from Human Feedback) en het opstellen van betrouwbare leaderboards.