Technische Samenvatting: Vergelijken of niet vergelijken: Over methodologische praktijken bij het evalueren van sociale bias

Probleemstelling

De evaluatie van sociale biases in Large Language Models (LLMs) wordt momenteel geteisterd door methodologische fragmentatie, wat leidt tot tegenstrijdige conclusies in de literatuur. Bestaande benchmarks variëren vaak gelijktijdig in vraaginhoud, framing, promptvariaties, redeneermodi (bijv. direct versus Chain-of-Thought) en de inclusie van neutrale fallback-opties. Dit gebrek aan controle maakt het moeilijk om waargenomen verschillen in modelgedrag toe te schrijven aan specifieke factoren. Een kritische, vaak impliciete variabele is vraagframing: of demografische groepen geïsoleerd worden geëvalueerd (bijv. "Is een vrouw goed in wiskunde?") of via directe vergelijking (bijv. "Wie is beter in wiskunde: een man of een vrouw?"). Voorgaand werk heeft de impact van deze keuze in framing niet systematisch geïsoleerd, wat leidt tot ambiguïteit over wanneer en hoe biases ontstaan, met name bij gealigneerde modellen.

Methodologie

De auteurs introduceren een verenigd en controleerbaar framework dat is ontworpen om heterogene benchmarks te standaardiseren en twee verschillende evaluatieparadigma's systematisch te contrasteren:

1. Geïsoleerd Paradigma (iso): Demografische groepen worden onafhankelijk geëvalueerd. Het model beantwoordt binaire vragen (Ja/Nee) over één enkel doelwit zonder directe vergelijking met een andere groep.
2. Comparatief Paradigma (cmp): Het model wordt gedwongen een directe keuze te maken tussen concurrerende groepen of stereotiepe opties (bijv. Optie A versus Optie B) binnen een enkele prompt.

Het framework reorganiseert en standaardiseert 9 benchmarks (waaronder StereoSet, RedditBias, BBQ, DiscrimEvalGen en DecodingTrust-Toxicity) om drie demografische categorieën te dekken: gender, ras en religie. De studie hanteert een rigoureus experimenteel ontwerp bestaande uit:

• Modelomvang: Evaluatie over 19 modellen uit diverse families (Llama, Qwen, DeepSeek, Mistral, etc.) en parametersgroottes (14B tot 120B).
• Gecontroleerde Ablaties: Systematische isolatie van verwarrende factoren (confounding factors), waaronder:
  • Redeneermodus: Het vergelijken van Chain-of-Thought (CoT) redeneren tegenover directe generatie.
  • Neutrale Opties: Het introduceren van onthoudingsmechanismen (bijv. "Liever niet antwoorden" of "Overslaan") om te testen of deze onderliggende bias maskeren.
  • Geclaimde Willekeur: Het instrueren van modellen om willekeurig te antwoorden om te testen of deze claim correleert met onbevooroordeeld gedrag.
  • Contextuele Voldoendeheid: Het testen van scenario's met ambigue contexten (waar geen feitelijk antwoord bestaat) versus gedisambigueerde contexten (waar een correct antwoord afleidbaar is).
• Metrieken: De primaire metriek is de Parity Gap (PG), die de directionele voorkeurskloof meet tussen stereotiepe/bevoordeelde doelwitten (+) en anti-stereotiepe/benadeelde doelwitten (-).

Belangrijkste Resultaten

1. De Paradigma-kloof (RQ1)

De studie onthult een enorme, systematische kloof tussen de twee paradigma's.

• Geïsoleerde Setting: Modellen vertonen bijna onbevooroordeeld gedrag, waarbij de Parity Gaps doorgaans dicht bij nul liggen (±0.1).
• Comparatieve Setting: Dezelfde modellen vertonen in de comparatieve setting ernstige stereotiepe voorkeuren en discriminatie. De comparatieve setting fungeert als een "agressieve katalysator" voor latente bias.
• Contextafhankelijkheid: Deze kloof wordt primair gedreven door ondergespecificeerde contexten. Wanneer prompts voldoende informatie bevatten om een feitelijk correct antwoord af te leiden, verdwijnt de gedragsverschuiving tussen iso en cmp, en selecteren modellen de correcte optie ongeacht de framing.

2. De Impact van Redenering en Fallbacks (RQ2)

Veelgebruikte veiligheidsmechanismen slagen er niet in de bias te mitigeren die door comparatieve beperkingen wordt opgeroepen:

• Chain-of-Thought (CoT): In tegenstelling tot de bewering dat redenering bias mitigeert, heeft CoT een verwaarloosbaar effect in geïsoleerde settings, maar verergert het sociale biases aanzienlijk in comparatieve settings. CoT-redenering lijkt stereotiepe voorkeuren te rationaliseren en te stabiliseren, waardoor het model zelfverzekerder wordt in zijn bevooroordeelde keuzes over verschillende prompts heen.
• Neutrale Opties: Hoewel modellen in comparatieve settings vaak neutrale opties kiezen, elimineert dit de bias niet. Wanneer ze worden gedwongen een definitieve niet-neutrale keuze te maken, blijft de onderliggende voorkeursdistributie sterk scheef. Neutrale opties bieden een "misleidend gevoel van veiligheid" in plaats van werkelijke eerlijkheid.
• Geclaimde Willekeur: Wanneer modellen worden geïnstrueerd om willekeurig te antwoorden of dat te claimen, blijven hun keuzes verre van uniform. Ze geven deterministisch de voorkeur aan specifieke doelwitten, wat aangeeft dat "willekeur" een oppervlakkige manifestatie is van latente vooroordelen.

3. Schaling en Generalisatie (RQ3)

Dit fenomeen is een gegeneraliseerd kenmerk van LLM's dat schaalt met de modelgrootte.

• Positieve Correlatie: De omvang van de comparatieve bias (Parity Gap) schaalt positief met het aantal parameters van het model. Grotere modellen mitigeren comparatieve bias niet inherent; in plaats daarvan fungeren hun verhoogde capaciteit om trainingsdata te internaliseren en geavanceerde CoT-mogelijkheden als een katalysator voor sterkere latente discriminatie.
• Consistentie: Dit patroon houdt stand over verschillende modelfamilies en demografische categorieën (gender, ras, religie).

Betekenis en Bijdragen

Het paper biedt een cruciale methodologische richtlijn voor de LLM-veiligheidsgemeenschap:

1. Verenigd Framework: Het biedt gestandaardiseerde metrieken en templates om geïsoleerde en comparatieve paradigma's te contrasteren, waarbij de verwarrende effecten van redenering, neutrale fallbacks en willekeur worden ontward.
2. Openbare Release: De auteurs publiceren 8 gestandaardiseerde benchmarks (inclusief 54 promptvariaties) om een rigoureuze conversie tussen paradigma's mogelijk te maken voor toekomstig onderzoek.
3. Methodologische Waarschuwing: De studie concludeert dat het evalueren of inzetten van LLM's zonder "paradigma-bewustzijn" leidt tot fundamenteel misleidende veiligheidsconclusies.
   • Voor Onderzoekers: Comparatieve settings moeten worden ingezet als rigoureuze stresstests om verborgen biases bloot te leggen die geïsoleerde evaluaties missen.
   • Voor Praktijkmensen: Comparatieve toepassingen in ambigue real-world taken moeten als hoog risico worden beschouwd. Vertrouwen op geïsoleerde evaluaties of neutrale fallbacks creëert een vals gevoel van veiligheid. Het paper pleit voor het herformuleren van onderliggende taken naar geïsoleerde formaten of het implementeren van sterkere waarborgen wanneer comparatieve beperkingen onvermijdelijk zijn.

Uiteindelijk toont het werk aan dat de structurele framing van evaluatieprompts geen klein detail is, maar een fundamentele determinant van de gemeten bias, waarmee wordt aangetoond dat latente discriminatie in LLM's veel meer aanwezig en schaalbaar is dan voorheen begrepen.