Technische Samenvatting: Breaking the Mirror – Activatie-gebaseerde Mitigatie van Zelfvoorkeur in LLM-Evaluatoren

Probleemstelling

Large Language Models (LLMs) worden steeds vaker ingezet als geautomatiseerde evaluatoren ("LLMs-as-judges") voor taken waarvoor geen grondwaarheid (ground truth) bestaat, zoals preference tuning en model routing. Deze evaluatoren lijden echter aan zelfvoorkeursbias (self-preference bias): een neiging om hun eigen outputs onevenredig veel te bevoordelen boven die van andere modellen, zelfs wanneer het auteurschap verborgen is. Deze bias schaalt met de modelgrootte en prestaties, wat de eerlijkheid en betrouwbaarheid van evaluatiepipelines ondermijnt. Hoewel eerder werk zich heeft gericht op het detecteren van deze bias of het mitigeren ervan via dure fine-tuning (bijv. Direct Preference Optimization) of stijlveranderingen, is er een gebrek aan lichtgewicht interventies tijdens de inferentie die ongegronde zelfvoorkeur kunnen corrigeren zonder het model opnieuw te trainen.

Methodologie

De auteurs stellen een framework voor om zelfvoorkeursbias te ontkoppelen van de werkelijke outputkwaliteit en passen steering vectors toe om de bias tijdens de inferentie te mitigeren.

1. Het ontkoppelen van Bias van Kwaliteit

Om onderscheid te maken tussen onrechtmatige zelfvoorkeur (bias) en rechtmatige zelfvoorkeur (waarbij de output van het model objectief beter is), construeren de auteurs een gecureerde evaluatieset op basis van de XSUM-dataset.

• Setup: Een zelf-evaluerend model $J$ en een vergelijkingsmodel $K$ genereren samenvattingen van bronartikelen.
• Gouden Standaard: Een ensemble van "gouden rechters" ($G$) uit diverse modelfamilies (Phi-4, DeepSeek V3, Claude 3.5-Sonnet) bepaalt de objectief betere samenvatting voor elk paar.
• Categorisering: Elke evaluatie-instantie wordt geclassificeerd in drie uitkomsten:
  1. Onrechtmatige Zelfvoorkeur: Model $J$ geeft de voorkeur aan zijn eigen output, maar de gouden rechters geven de voorkeur aan $K$'s output.
  2. Rechtmatige Zelfvoorkeur: Zowel $J$ als de gouden rechters geven de voorkeur aan $J$'s output.
  3. Onbevooroordeelde Overeenstemming: Zowel $J$ als de gouden rechters geven de voorkeur aan $K$'s output.
• Validatie: Menselijke validatie bevestigt een hoge overeenstemming tussen de gouden rechters en mensen voor de rechtmatige gevallen en de onbevooroordeelde overeenstemming, hoewel de overeenstemming daalt voor de bias-subset, wat de moeilijkheid van de taak benadrukt.

2. Constructie van Steering Vectors

De auteurs construeren lichtgewicht steering vectors om de activaties van het model tijdens de inferentie te moduleren met behulp van twee methoden:

• Contrastive Activation Addition (CAA): Berekent het verschil in verborgen-toestandactivaties (hidden-state activations) tussen prompts die leiden tot onbevooroordeelde completions ($X^+$) en bevooroordeelde completions ($X^-$). De vector is het gemiddelde verschil: $v_{CAA} = \text{mean}(h_L(X^+)) - \text{mean}(h_L(X^-))$.
• Optimalisatie-gebaseerde Steering: Gebruikt gradiëntafdaling om een additieve vector te leren die een contrastieve verliesfunctie minimaliseert, waarbij de gewenste completion ($Y^+$) wordt gepromoot en de ongewenste completion ($Y^-$) wordt onderdrukt. Dit wordt geoptimaliseerd op lagen 14–16 van Llama-3.1-8B-Instruct.

3. Evaluatiemetrieken

De effectiviteit van de steering vectors wordt gemeten door:

• Effectiviteit: De "flip rate" van onrechtmatige zelfvoorkeur (hoe vaak het gestuurde model een bevooroordeelde beslissing corrigeert).
• Stabiliteit: Het behoud van correcte beslissingen in gevallen van rechtmatige zelfvoorkeur en onbevooroordeelde overeenstemming (lage flip rates in deze categorieën zijn gewenst).

Belangrijkste Resultaten

De studie evalueert de steering vectors op Llama-3.1-8B-Instruct tegenover baselines, waaronder prompting en Direct Preference Optimization (DPO).

• Hoge Effectiviteit op Bias: Steering vectors slaagden erin om ongegronde zelfvoorkeur met wel 97% te verminderen. Zowel CAA als optimalisatie-gebaseerde methoden presteerden beter dan prompting (0% flip rate) en DPO (49% flip rate).
• Verrassende Generalisatie: Vectoren geconstrueerd in een "onbewuste" setting (waarbij het auteurschap verborgen was) presteerden vergelijkbaar met of beter dan die in een "bewuste" setting, wat suggereert dat de representatie van zelfvoorkeur een gedeeltelijk lineaire structuur heeft in de activatieruimte.
• Instabiliteit bij Rechtmatige Gevallen: Een kritische beperking is het gebrek aan stabiliteit. Dezelfde vectoren die succesvol onrechtmatige bias ombuigen, buigen ook vaak rechtmatige zelfvoorkeur en onbevooroordeelde overeenstemming om. Bijvoorbeeld, CAA-vectoren veranderden 93% van de rechtmatige zelfvoorkeurgevallen en 20% van de onbevooroordeelde overeenstemminggevallen.
• Implicatie: Deze instabiliteit suggereert dat terwijl onrechtmatige zelfvoorkeur mogelijk lineair gecodeerd is, rechtmatige zelfvoorkeur en onbevooroordeelde overeenstemming waarschijnlijk meerdere of niet-lineaire richtingen beslaan in de activatieruimte, wat ze moeilijk te isoleren maakt met een enkele lineaire vector.

Betekenis en Claims

Het artikel beweert aan te tonen dat lichtgewicht steering vectors een veelbelovend, goedkoop alternatief bieden voor fine-tuning voor het mitigeren van zelfvoorkeursbias in LLM-evaluatoren. De primaire bijdrage is de empirische demonstratie dat inferentie-tijd activatie-edits ongegronde bias drastisch kunnen verminderen (tot 97% correctie).

De auteurs nemen echter een bescheiden standpunt in met betrekking tot de universaliteit van deze oplossing. Ze stellen expliciet dat de huidige aanpak niet robuust is voor het behoud van rechtmatige oordelen. De resultaten onderstrepen dat zelfvoorkeur een complex fenomeen is waarbij bias en kwaliteit in de representatie van het model verstrengeld zijn. Het artikel concludeert dat hoewel steering vectors een krachtig instrument zijn om de spiegel van zelfvoorkeur te "breken", hun huidige lineaire beperkingen een meer robuuste, potentieel niet-lineaire interventie vereisen om de validiteit van evaluaties te waarborgen in LLM-as-judge systemen.

De auteurs benadrukken dat hun werk een gecureerde dataset en een reproduceerbaar framework biedt voor toekomstig onderzoek naar mechanistische interpreteerbaarheid en bias-mitigatie, in plaats van een definitieve, perfecte oplossing voor alle evaluatiescenario's.