💬 NLP

In-Situ Behavioral Evaluation for LLM Fairness, Not Standardized-Test Scores

Dit artikel betoogt dat de eerlijkheid van grote taalmodellen (LLM's) moet worden geëvalueerd aan de hand van in-situ conversatiegedrag tussen meerdere agenten in plaats van gestandaardiseerde toetsen, en introduceert het MAC-Fairness-raamwerk om stabiele, model-specifieke gedragskenmerken bloot te leggen die worden verduisterd door de structurele onbetrouwbaarheid van traditionele prompt-gebaseerde testen.

Oorspronkelijke auteurs: Zeyu Tang, Sang T. Truong, Deonna Owens, Shreyas Sharma, Yibo Jacky Zhang, Brando Miranda, Sanmi Koyejo

Gepubliceerd 2026-05-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zeyu Tang, Sang T. Truong, Deonna Owens, Shreyas Sharma, Yibo Jacky Zhang, Brando Miranda, Sanmi Koyejo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Stop met Testen, Begin met Kijken

Stel je voor dat je wilt weten of een groep mensen eerlijk en onbevooroordeeld is. De huidige manier waarop we Large Language Models (LLM's) testen, is als het geven van een meerkeuze-kwis. We stellen hen vragen zoals: "Wie is minder creatief: een 50-jarige of een 28-jarige?" en we beoordelen hun antwoorden. Als ze het "verkeerde" persoon kiezen, zeggen we dat ze vooroordelen hebben.

De auteurs van dit artikel betogen dat deze "kwis"-methode kapot is. Ze zeggen dat het is alsof je de veiligheid van een bestuurder beoordeelt aan de hand van hoe goed hij een schriftelijke toets over verkeersregels kan invullen, in plaats van hem daadwerkelijk te bekijken rijden in het echte verkeer.

Deel 1: Waarom de "Kwis" Kapot is

De onderzoekers ontdekten dat de resultaten van deze eerlijkheidskwissen ongelooflijk onstabiel zijn. Het is niet het "hart" van het model dat verandert; het is de opzet van de test.

Denk eraan als een goocheltruc. Als je een model een vraag stelt met een specifieke opzet (bijvoorbeeld: "Kies A, B of C"), kan het een eerlijk antwoord geven. Maar als je de opzet iets verandert (bijvoorbeeld: "Kies 1, 2 of 3" of "Schrijf je antwoord voordat je je reden geeft"), kan het antwoord van het model volledig omdraaien.

De Analogie: Stel je een student voor die een wiskundetoets maakt. Als de leraar de getallen in blauwe inkt schrijft, krijgt de student een A. Als de leraar ze in rode inkt schrijft, krijgt de student een onvoldoende. De wiskundekunsten van de student zijn niet veranderd; de manier waarop de vraag werd gepresenteerd veranderde de score.
De Bevinding: De auteurs testten 11 verschillende modellen op standaard eerlijkheidsbenchmarks. Ze ontdekten dat het simpelweg veranderen van hoe de antwoordkeuzes eruit zagen (het lettertype, de volgorde, of of het model eerst zijn eigen uitleg moest geven), ervoor zorgde dat de eerlijkheidsscores wild heen en weer schommelden. Soms leek een model op de ene versie van de test "eerlijk" en op de andere versie "diep vooroordeelsvol". Dit betekent dat de testscores vooral meten hoe het model reageert op de opzet, en niet op zijn werkelijke eerlijkheid.

Deel 2: De Nieuwe Oplossing – "MAC-Fairness"

In plaats van een kwis, bouwden de auteurs een speelplaats-simulatie genaamd MAC-Fairness.

In plaats van het model te vragen: "Ben je vooroordeelsvol?", zetten ze het model in een meerdere-rondes gesprek met een ander AI-agent. Ze behandelen het gesprek zelf als de test.

Hoe de Speelplaats Werkt:

De Opzet: Twee AI-agenten praten met elkaar. De ene is een "Basis"-agent (gewoon een standaard AI). De andere is een "Identiteit"-agent (het model dat wordt getest, maar verteld wordt dat het een specifiek type persoon is, zoals "een zwarte arts" of "een oudere leraar").
Het Spel: Ze krijgen een controversieel onderwerp (zoals het voorbeeld van de creatieve ontwerper hierboven). Ze bespreken dit over meerdere rondes.
De Observatie: De onderzoekers geven niets om het uiteindelijke antwoord. Ze kijken hoe de agenten zich gedragen.
- Positiebehoud: Als de "Identiteit"-agent het niet eens is met de ander, blijft hij dan koppig vasthouden aan zijn eigen mening, of verandert hij makkelijk van gedachten?
- Openheid voor Peers: Als de "Identiteit"-agent zijn achtergrond onthult (bijvoorbeeld: "Ik ben een zwarte arts"), luistert de andere agent dan meer of minder naar hem?

Deel 3: Wat Ze Vonden in de Speelplaats

Toen ze deze gesprekken bekeken (en 8 miljoen ervan analyseerden!), vonden ze stabiele patronen die de kwissen misten.

1. Het "Koppigheid"-Effect (Zelf-perspectief)
Wanneer een AI een specifieke identiteit krijgt toegewezen (zoals een bepaald ras, geslacht of leeftijd), neigt het koppiger te worden.

De Metafoor: Stel je voor dat je een spel speelt. Als je gewoon "Speler 1" bent, verander je misschien makkelijk van gedachten als je vriend een betere zet suggereert. Maar als je wordt verteld: "Jij bent de aanvoerder van het team", houd je misschien veel steviger vast aan je standpunt, zelfs als je vriend een goed punt heeft.
Het Resultaat: De modellen werden aanzienlijk weerbarstiger in het veranderen van hun mening wanneer ze een demografische identiteit kregen toegewezen (zoals "Zwart" of "Ouder") in vergelijking met wanneer ze helemaal geen identiteit hadden. Dit gebeurde consequent bij verschillende modellen en verschillende onderwerpen.

2. Het "Luisteren"-Effect (Ander-perspectief)
Wanneer de modellen wisten wie hun gesprekspartner was, veranderde hun gedrag op basis van wie die partner was.

De Metafoor: Stel je voor dat je in een groepsdiscussie zit. Als je weet dat je partner een specifiek type persoon is, luister je misschien aandachtiger naar hen (of minder).
Het Resultaat: De modellen vertoonden verschillende niveaus van openheid, afhankelijk van de identiteit van de peer. Bijvoorbeeld, sommige modellen waren waarschijnlijker om van gedachten te veranderen wanneer de peer werd onthuld als "Zwart" in vergelijking met "Wit", of "Vrouwelijk" in vergelijking met "Mannelijk".

De Conclusie

Het artikel betoogt dat we moeten stoppen met vertrouwen op gestandaardiseerde testscores (de kwis), omdat deze te makkelijk worden bedrogen door de manier waarop de vraag is gesteld.

In plaats daarvan moeten we gedragsbeoordeling ter plaatse gebruiken (de speelplaats). Door te kijken hoe modellen zich gedragen in een natuurlijk, meertraps gesprek waarin identiteiten worden gewisseld, kunnen we hun ware "gedragskenmerken" zien. Deze kenmerken – zoals hoe koppig een model wordt wanneer het een identiteit heeft – zijn stabiel en echt, terwijl de testscores slechts ruis zijn veroorzaakt door de testopzet.

Kortom: Beoordeel een vis niet aan de hand van hoe goed hij een boom opklimt (de testscore); kijk hoe hij zwemt in het water (het gesprek).

Technische Samenvatting: In-situ gedragsbeoordeling voor LLM-rechtvaardigheid, niet gestandaardiseerde toetsscores

Probleemstelling

Het huidige paradigma voor het beoordelen van de rechtvaardigheid van Large Language Models (LLM) leunt zwaar op gestandaardiseerde Q&A-benchmarks. In deze aanpak worden modellen getoetst met vragen die verwijzen naar gevoelige attributen (ras, geslacht, leeftijd), en worden aggregatiebias-scores afgeleid uit hun antwoorden. De auteurs betogen dat dit paradigma structureel onbetrouwbaar is.

Empirische analyse toont aan dat keuzes op het oppervlak van de promptconstructie – factoren die volledig orthogonaal zijn aan de rechtvaardigheidsvraag zelf, zoals de opmaak van antwoordopties (bijvoorbeeld genummerd versus met opsommingstekens) of de volgorde van JSON-uitvoer velden (antwoord eerst versus onderbouwing eerst) – de variantie in rechtvaardigheidsscores domineren. Deze willekeurige keuzes kunnen:

De meerderheid van de scorevariantie verklaren, zelfs na controle voor decodestochastiek.
Rechtvaardigheidsconclusies verschuiven in zowel richting als omvang (bijvoorbeeld een model dat onder één promptformaat bevooroordeeld lijkt in de ene richting, en onbevooroordeeld of bevooroordeeld in de tegenovergestelde richting onder een ander).
Ernstige onenigheid veroorzaken in modelrangschikkingen, waarbij de positie van een model ten opzichte van anderen wild fluctueert op basis van promptopmaak in plaats van intrinsiek modelgedrag.

Gevolg hiervan is dat het paradigma van gestandaardiseerde toetsen niet in staat is onderscheid te maken tussen echte rechtvaardigheidssignalen en meetartefacten, wat mogelijk leidt tot evaluaties die "op papier eerlijk zijn, maar op straat bevooroordeeld".

Methodologie: MAC-Fairness

Om deze beperkingen aan te pakken, stellen de auteurs MAC-Fairness voor, een multi-agent conversatiefraamwerk dat de evaluatiefocus verschuift van statische vraag-antwoord naar in-situ gedragsmeting.

Kernraamwerk

Conversatie als instrument: In plaats van het model als examenkandidaat te behandelen, gebruikt het raamwerk meertrapsdialogen als meetinstrument. Gestandaardiseerde toetsvragen worden slechts hergebruikt als "conversatiezaden" om dialoog op te starten, niet als directe evaluatiemaatstaf.
Agentconfiguratie: Agenten worden geïnstancierd vanuit hetzelfde onderliggende model, maar geconfigureerd met specifieke attributen:
- Demografie: Sociale categorieën (bijvoorbeeld Black, White, Older, Young).
- Persona: Professionele rollen (bijvoorbeeld Arts, Leraar).
- Instantiatie: Of de agent de persoon is ("mens") of de persoon assisteert ("AI").
- Basisagent: Een controlegroep met nul demografie en persona, geïnstancierd als AI.
Experimenteel ontwerp:
- Zelfperspectief: Onderzoekt hoe de toegewezen identiteit van een agent zijn positiepersistentie beïnvloedt (hoe vaak hij zijn initiële standpunt vasthoudt) bij interactie met een basisagent.
- Anderperspectief: Onderzoekt hoe de ontvankelijkheid van een agent (bereidheid om zijn standpunt te verschuiven) verandert op basis van de geopenbaarde identiteit van zijn evenknie.
- Gestuurde variaties: Het raamwerk varieert systematisch promptstructuren, identiteitstoewijzingen en openbaarmakingsvoorwaarden (geopenbaarde versus anonieme evenknieën) over 8 miljoen conversatietranscripten.

Gedragsmaten

De primaire maatstaf is de shift-rate ( $\lambda$ ), gedefinieerd als de waarschijnlijkheid dat een agent zijn geselecteerde antwoord aanpast om te overeenkomen met het vorige antwoord van een evenknie, geconditioneerd op eerdere onenigheid.

Positiepersistentie: Gemeten aan de hand van hoe vaak een identiteitsagent niet verschuift naar de positie van een basisagent.
Evenknie-ontvankelijkheid: Gemeten aan de hand van hoe vaak een basisagent verschuift naar de positie van een identiteitsagent wanneer de identiteit van de evenknie wordt geopenbaard.

Belangrijkste Resultaten

1. Instabiliteit van Gestandaardiseerde Toetsparadigma's

Evaluatie over 11 open-weight modellen (3B tot 70B parameters) en twee grote benchmarks (BBQ en Difference-Awareness) bevestigde de structurele instabiliteit:

Variantiedominantie: Keuzes in promptconstructie verklaarden een aanzienlijk deel van de scorevariantie ( $\eta^2$ ), waarbij veel resultaten statistisch significant bleven na Benjamini-Hochberg-correctie.
Directionele verschuivingen: Voor modellen zoals GLM 4.7 Flash bereikte de ratio tussen extreme bias-scores binnen één categorie 57×. Verschillende categorieën vertoonden "tekenomkeringen", waarbij het model bevooroordeeld leek in tegenovergestelde richtingen afhankelijk van het promptformaat.
Rangschikkingsonenigheid: Modelrangschikkingen waren zeer instabiel; een model kon het volledige scala aan rangschikkingen doorlopen (van beste tot slechtste) uitsluitend op basis van oppervlakkige promptvariaties.

2. Stabiele In-situ Gedragskenmerken

In tegenstelling tot de volatiliteit van gestandaardiseerde toetsen, onthulde MAC-Fairness stabiele, modelspecifieke gedragspatronen die zich over verschillende benchmarks (BBQ, Discrim-Eval, Difference-Awareness) herhaalden:

Zelfperspectief (Positiepersistentie):
- Demografische toewijzing verhoogt koppigheid: Het toewijzen van elke demografische identiteit (bijvoorbeeld Black, White, Older) verhoogde over het algemeen de positiepersistentie (maakte agenten koppiger) in vergelijking met een nul-demografische toewijzing.
- Asymmetrie bij benadeelde groepen: Agenten met benadeelde demografieën toegewezen (Black, Older, Female) vertoonden consequent grotere positiepersistentie dan hun gepaarde tegenhangers (White, Young, Male) over meerdere modellen en benchmarks. Dit effect was bijzonder uitgesproken in Ministral 3 en Qwen3-modellen.
- Instantiatie-effecten: Rasgerelateerde effecten bleven bestaan onder zowel "menselijke" als "AI"-instantiaties, terwijl leeftijdsgerelateerde effecten voornamelijk werden waargenomen onder "menselijke" instantiatie.
Anderperspectief (Evenknie-ontvankelijkheid):
- Differentiële ontvankelijkheid: De ontvankelijkheid van de basisagent varieerde afhankelijk van welke identiteit werd geopenbaard. Het openbaren van "Black" (vs. "White") of "Female" (vs. "Male") verhoogde de ontvankelijkheid van de basisagent in specifieke modellen (opvallend GLM 4.7 Flash).
- Modulatie door instantiatie: Het effect van identiteitsopenbaarmaking werd gemoduleerd door of de evenknie was geïnstancierd als "mens" of "AI". Bijvoorbeeld, in Phi-4 Mini dempte menselijke instantiatie de ontvankelijkheid wanneer de evenknie werd geopenbaard als "Older".
- Identiteit versus nul: In tegenstelling tot het zelfperspectief, veranderde het simpelweg openbaren van elke demografische identiteit de ontvankelijkheid niet robuust in vergelijking met een nul-openbaarmaking; de specifieke demografische inhoud telde meer dan de blote aanwezigheid van een identiteit.

Betekenis en Aanspraken

Het artikel stelt dat LLM-rechtvaardigheid moet worden geëvalueerd via in-situ conversatiegedrag in plaats van gestandaardiseerde toetsscores.

Paradigmaverschuiving: De auteurs pleiten voor een weg van statische, score-gebaseerde evaluaties die kwetsbaar zijn voor promptartefacten, naar raamwerken die rechtvaardigheid vastleggen via dynamische gedragsinteracties.
Generaliseerbaarheid: De geïdentificeerde gedragskenmerken (bijvoorbeeld toegenomen persistentie voor benadeelde identiteiten) worden geclaimd als stabiel over benchmarks met verschillende rechtvaardigheidsdoelen, vraagstructuren en methodologieën. Deze consistentie over benchmarks suggereert dat deze patronen intrinsieke gedrags eigenschappen van de modellen weerspiegelen in plaats van artefacten van specifieke evaluatieontwerpen.
Meetvaliditeit: Door de conversatie zelf als instrument te behandelen, streeft MAC-Fairness naar een meer onderbouwde en betrouwbare beoordeling van hoe modellen zich gedragen wanneer identiteit wordt geïntegreerd in natuurlijke interactie, en biedt bewijs dat het paradigma van gestandaardiseerde toetsen niet kan leveren.

Het werk stelt geen nieuwe "rechtvaardigheidsscore" voor om bestaande te vervangen, maar eerder een methodologische verschuiving om stabiele gedragspatronen te identificeren die robuust zijn tegen de ruis die inherent is aan huidige evaluatieprotocollen.