💬 NLP

When Names Change Verdicts: Intervention Consistency Reveals Systematic Bias in LLM Decision-Making

Deze studie introduceert het ICE-Guard-framework om systematische vooroordelen in grote taalmodellen te detecteren, waarbij blijkt dat autoriteits- en formuleringseffecten vaak sterker zijn dan demografische vooroordelen, maar dat gestructureerde decompositie en iteratieve prompt-patching deze fouten aanzienlijk kunnen verminderen.

Oorspronkelijke auteurs: Abhinaba Basu, Pavan Chakraborty

Gepubliceerd 2026-03-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Abhinaba Basu, Pavan Chakraborty

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: Waarom een Naam of een Titel je Verdict Kan Veranderen: Een Simpele Uitleg van het ICE-GUARD Onderzoek

Stel je voor dat je een super slimme robot hebt die beslissingen neemt voor belangrijke dingen: wie een baan krijgt, of iemand een lening mag, of welke patiënt eerst naar de dokter mag. Je denkt: "Die robot is objectief, hij kijkt alleen naar de feiten."

Maar wat als die robot eigenlijk heel gevoelig is voor dingen die er niet toe zouden moeten doen? Wat als hij een sollicitant afwijst alleen omdat zijn naam "Jamal" klinkt in plaats van "James"? Of wat als hij een investering goedkeurt alleen omdat het advies komt van een beroemd instituut, en niet omdat de cijfers kloppen?

Dat is precies wat dit nieuwe onderzoek, genaamd ICE-GUARD, heeft ontdekt. Hier is de uitleg in simpele taal, met een paar leuke vergelijkingen.

1. Het Probleem: De "Blinde Vlek" van de Robot

Tot nu toe hebben onderzoekers zich vooral geconcentreerd op demografische vooroordelen (zoals ras, geslacht of naam). Het was alsof we dachten dat de enige manier waarop een robot onrechtvaardig is, door te kijken naar hoe iemand eruitziet of heet.

Maar dit onderzoek zegt: "Wacht even, er zijn twee andere, misschien wel grotere, problemen!"

Stel je voor dat je een rechter bent. Je moet een beslissing nemen.

Probleem A (Demografisch): De naam van de verdachte verandert, maar de feiten blijven hetzelfde.
Probleem B (Autoriteit): De feiten zijn hetzelfde, maar het rapport komt nu van een "Harvard-professor" in plaats van van een "lokale student".
Probleem C (Framing): De feiten zijn hetzelfde, maar het wordt gezegd als "95% overlevingskans" in plaats van "5% kans op overlijden".

Het onderzoek toont aan dat robots (grote taalmodellen) veel vaker door Probleem B en C worden beïnvloed dan door Probleem A. Ze zijn veel makkelijker te verleiden door een "glitterende titel" of een "slimme woordkeuze" dan door een andere naam.

2. De Oplossing: ICE-GUARD (De "Test van de Vaste Hand")

De onderzoekers hebben een nieuwe test bedacht, ICE-GUARD.

Hoe werkt het?
Stel je voor dat je een kok hebt die een gerecht moet beoordelen.

Je geeft hem het recept met de naam "Kok Jan". Hij zegt: "Lekker!"
Je geeft hem exact hetzelfde recept, maar de naam is veranderd in "Kok Jamal".
Als de kok nu zegt: "Niet lekker!", dan is hij onbetrouwbaar. Hij reageert op de naam, niet op het eten.

ICE-GUARD doet dit voor duizenden situaties (sollicaties, leningen, medische beslissingen). Ze kijken hoe vaak de robot zijn mening omdraait (flip) als ze alleen de "onbelangrijke" dingen veranderen.

Wat vonden ze?

Autoriteit is de grote boosdoener: Robots laten zich het makkelijkst omkopen door "prestige". Als een advies van een "bekend instituut" komt, is de robot veel positiever, zelfs als de cijfers hetzelfde zijn.
Woordkeuze is gevaarlijk: Als iets positief wordt verpakt ("95% succes"), is de robot enthousiast. Zeg je het negatief ("5% mislukking"), dan is hij terughoudend.
Naam is minder erg: Gelukkig is de invloed van een naam (demografisch) kleiner dan je denkt, omdat bedrijven daar al veel aan hebben gewerkt. Maar de andere twee vormen van vooroordeel zijn veel groter!

3. De Gouden Tip: De Robot als "Kok", niet als "Rechter"

De grootste ontdekking van het onderzoek is hoe je dit oplost. Ze noemen het Gestructureerde Ontleding.

De Slechte Manier (De "Vrije Schrijver"):
Je vraagt de robot: "Wat denk jij van deze sollicitant?"
De robot schrijft een lang verhaal en neemt dan een beslissing. In dat lange verhaal kan hij onbewust denken: "Oh, deze naam klinkt niet vertrouwd" of "Deze universiteit klinkt indrukwekkend." Hij laat zijn gevoelens de overhand nemen.

De Goede Manier (De "Chef en de Rekenmachine"):
Je splitst de taak in twee stappen:

De Chef (De Robot): Hij kijkt alleen naar de feiten en haalt ze eruit. Hij zegt: "Ik zie een salaris van €50.000, een diploma van Universiteit X en 5 jaar ervaring." Hij mag geen oordeel vellen.
De Rekenmachine (Een simpele computercode): Deze kijkt naar de feiten die de Chef heeft opgehaald en past een vaste regel toe. Bijvoorbeeld: "Als ervaring > 3 jaar EN diploma = Ja, dan: AANNEEMEN."

Het Resultaat:
Door de robot alleen te laten "kijken" en de "beslissing" aan een simpele, vooroordeel-vrije rekenmachine te geven, verdwijnt het vooroordeel bijna volledig!

Bij sommige robots daalde het aantal fouten met 100%.
Het is alsof je een robot die graag roddelt, omzet in een robot die alleen maar cijfers telt.

Samenvatting in één zin

Dit onderzoek leert ons dat we ons zorgen moeten maken over hoe robots reageren op titels en woordkeuze, niet alleen op namen, en dat we ze het beste kunnen gebruiken als "feitenverzamelaars" in plaats van "vrije denkers" om eerlijke beslissingen te garanderen.

Het is een waarschuwing: als we AI willen gebruiken voor belangrijke beslissingen, moeten we de "magie" uit de beslissing halen en de "rekenmachine" erin stoppen.

1. Het Probleem

Grote Taalmodellen (LLM's) worden steeds vaker ingezet voor beslissingen met hoge risico's, zoals werving, strafrechtelijke vonnissen, kredietverstrekking en medische triage. Hoewel er al veel onderzoek is gedaan naar bias in LLM's, richt deze zich voornamelijk op stereotypering (bijv. associaties tussen beroepen en geslacht) of op "cloze-taken" (invulopdrachten).

Het paper stelt dat deze benaderingen een cruciale lacune laten: ze meten niet of bias daadwerkelijk de uiteindelijke beslissing (het verdict) beïnvloedt. Een model kan stereotypen kennen, maar toch eerlijke beslissingen nemen, of omgekeerd: een model dat eerlijk lijkt in tests, kan zijn oordeel wijzigen op basis van irrelevante kenmerken zoals de naam van een kandidaat, de prestige van een bron, of de manier waarop een probleem wordt geformuleerd.

De auteurs identificeren drie soorten "spurious feature reliance" (onterechte afhankelijkheid van irrelevante kenmerken):

Demografische bias: Beslissingen veranderen op basis van naam, ras of geslacht.
Autoriteitsbias: Beslissingen veranderen op basis van de bron van de informatie (bijv. "Harvard-studie" vs. "studie van een community college"), zelfs als de inhoud identiek is.
Ramingbias (Framing bias): Beslissingen veranderen op basis van de formulering (bijv. "95% overleving" vs. "5% sterfte"), hoewel de statistieken gelijk zijn.

2. Methodologie: ICE-GUARD Framework

De auteurs introduceren ICE-GUARD (Intervention Consistency Evaluation for Guarding Against Decision Bias), een raamwerk dat het principe van intervention consistency toepast om bias te detecteren.

Het Invariantie-Principe: Als een beslissing correct is, zou het veranderen van irrelevante kenmerken ( $Z$ ) de uitkomst ( $y$ ) niet mogen beïnvloeden. Als de uitkomst verandert, is er sprake van bias.
Flip Rate (Flippercentage): De kernmeting is hoe vaak een model zijn beslissing omkeert ("flip") wanneer een irrelevante feature wordt uitgewisseld. Een significant percentage boven de ruis-baseline (ongeveer 5%) wijst op systematische bias.
Drie Interventietypes:
- Demografisch: Vervanging van namen (bijv. "James Smith" naar "Jamal Washington").
- Autoriteit: Vervanging van credentials (bijv. "MIT" naar "State University").
- Raming: Vervanging van semantisch equivalente maar emotioneel verschillende zinnen.
Benchmark: Er is een dataset van 3.000 beslissingsvignettes samengesteld over 10 hoog-risicodomeinen (o.a. strafrecht, werving, gezondheidszorg, financiën, verzekeringen).
Modellen: Er zijn 11 instructie-tuned LLM's van 8 verschillende families geëvalueerd (waaronder GPT-5.2, Claude Opus/Sonnet, Gemini, Kimi, Qwen, etc.).

3. Belangrijkste Bijdragen

ICE-GUARD Framework: Een gestructureerde methode om drie cognitieve bias-typen systematisch te testen in beslissingsprocessen, niet alleen in generatieve taken.
Uitgebreide Benchmark: Een dataset van 3.000 vignettes die de bias in 10 verschillende domeinen test, inclusief validatie met echte COMPAS-recidivedata.
Architecturale Mitigatie (Gestructureerde Decompositie): De auteurs stellen een nieuwe architectuur voor om bias te verminderen:
- Stap 1: De LLM extraheren alleen gestructureerde features (JSON) uit de tekst.
- Stap 2: Een deterministische Python-regel (rubric) neemt de uiteindelijke beslissing op basis van deze geëxtraheerde data.
- Dit scheidt de "interpretatie" van de "beslissing", waardoor de LLM minder vatbaar is voor prompt-injectie of impliciete bias.
Iteratieve Feedbacklus: Een detectie-diagnose-mitigatie-verificatie cyclus die prompt-patches toepast om bias stap voor stap te verminderen.

4. Resultaten

De resultaten bieden een verrassend inzicht in de aard van bias in moderne LLM's:

Autoriteit en Framing domineren: In tegenstelling tot de gemeenschappelijke focus op demografische bias, bleek autoriteitsbias (gemiddeld 5,8%) en ramingbias (gemiddeld 5,0%) aanzienlijk hoger te zijn dan demografische bias (gemiddeld 2,2%). Dit betekent dat LLM's vaker beïnvloed worden door wie er spreekt of hoe iets wordt gezegd, dan door de naam of het ras van de betrokkene.
Domein-specifieke variatie: Bias is niet uniform verdeeld.
- Financiën vertoont de ernstigste bias: 22,6% autoriteitsbias en 20,4% ramingbias (ongeveer 1 op de 5 investeringsadviezen verandert op basis van de bron of formulering).
- Strafrecht, onderwijs en klantenservice tonen bijna geen flip-rates, wat suggereert dat deze domeinen al gerichter zijn afgestemd (aligned).
Modelprestaties: De beste modellen (zoals GLM-5 en Claude Opus 4.6) halen flip-rates van <1,3% (dicht bij de ruis-baseline). Andere frontier-modellen (zoals Qwen3-32B en Mistral-Small) vertonen nog steeds significante bias (tot 7,7% overall).
Effectiviteit van Gestructureerde Decompositie:
- Het toepassen van de "extracteer-then-decide" architectuur verlaagde de flip-rates voor 7 van de 9 geteste modellen aanzienlijk.
- Kimi-K2.5 zag een daling van 5,5% naar 0,0%.
- Gemini 2.5 Pro daalde van 5,3% naar 0,2%.
- De mediane reductie was 49%.
- Opmerking: Voor modellen met onbetrouwbare feature-extractie (zoals GPT-5.2 in deze test) kon de methode zelfs leiden tot een toename van bias, wat aantoont dat de extractiestap kritiek is.
Validatie: De flip-rates die in de synthetische benchmark werden gevonden, waren conservatief vergeleken met tests op echte COMPAS-data, wat suggereert dat de werkelijke bias in de praktijk nog erger kan zijn.

5. Betekenis en Conclusie

Dit paper verschuift het discours over LLM-bias. Het toont aan dat de focus op demografische kenmerken (namen/ras) mogelijk leidt tot een vals gevoel van veiligheid, terwijl autoriteitsbias en ramingbias veel grotere bedreigingen vormen voor eerlijke besluitvorming in kritieke domeinen zoals financiën.

De belangrijkste conclusie is dat architecturale veranderingen (zoals het scheiden van feature-extractie en deterministische besluitvorming) effectiever kunnen zijn dan alleen het verbeteren van de prompt of het fine-tunen van het model. De ICE-GUARD benchmark biedt een noodzakelijk hulpmiddel voor ontwikkelaars om deze vormen van bias te meten en te mitigeren voordat systemen in de productie worden ingezet.

De auteurs benadrukken dat hoewel RLHF (Reinforcement Learning from Human Feedback) overtone demografische gevoeligheid heeft verkleind, cognitieve bias (autoriteit en framing) nog steeds een groot probleem blijft dat specifieke aandacht vereist.