💬 NLP

Compared to What? Baselines and Metrics for Counterfactual Prompting

Dit artikel betoogt dat standaard evaluaties met contrafactuele prompts vaak modelgevoeligheid voor specifieke factoren ten onrechte toeschrijven omdat ze geen rekening houden met algemene gevoeligheid voor veranderingen in oppervlaktevorm, en stelt een robuust kader voor dat target-interventies vergelijkt met parafraseringsbaselines om ware effecten te onderscheiden van toevallige ruis.

Oorspronkelijke auteurs: Zihao Yang, Mosh Levy, Yoav Goldberg, Byron C. Wallace

Gepubliceerd 2026-05-05

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zihao Yang, Mosh Levy, Yoav Goldberg, Byron C. Wallace

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die probeert uit te zoeken of een specifieke aanwijzing (zoals het geslacht van een patiënt) daadwerkelijk invloed heeft op de beslissing van een verdachte (een AI-model). Je verandert die ene aanwijzing in een verhaal en kijkt of de verdachte van mening verandert.

Dit artikel betoogt dat de meeste detectives een enorme fout maken: ze vergeten te controleren of de verdachte van mening verandert alleen omdat je het verhaal herschreef, zelfs als de betekenis hetzelfde bleef.

Hier is de uiteenzetting van de bevindingen van het artikel met behulp van eenvoudige analogieën:

1. Het Kernprobleem: De "Parafraasvalstrik"

Stel je voor dat je test of een rechter vooroordelen heeft tegen mensen met de naam "Bob".

De Oude Manier: Je neemt een dossier over "Bob" en verandert de naam in "Alice". De rechter verandert zijn vonnis. Je concludeert: "Aha! De rechter heeft vooroordelen tegen Bob!"
Het Inzicht van het Artikel: Maar wacht eens! Wat als de rechter zijn vonnis verandert alleen omdat je de woorden in het dossier hebt veranderd, niet de naam? Misschien heeft de rechter een hekel aan lange zinnen, of raakt hij in de war door nieuwe formuleringen.

De auteurs noemen dit de "Parafraasvalstrik". Zij ontdekten dat wanneer je een zin simpelweg herschrijft om precies hetzelfde te betekenen (een "onschuldige parafraas"), de AI even vaak van antwoord verandert als wanneer je chirurgisch een gevoelige factor zoals geslacht of ras verandert.

De Analogie:
Het is alsof je test of een auto gevoelig is voor de kleur van de lak.

Gerichte Test: Je schildert de auto rood. De motor stopt. Je denkt: "Rood doet de motor stuk!"
De Realiteitscheck: Vervolgens neem je een blauwe auto en schilder je deze blauw (een andere tint blauw, dezelfde betekenis). De motor stopt ook.
Conclusie: De motor is niet gevoelig voor "rood"; hij is gewoon gevoelig voor iedereen die de lak aanraakt.

2. De Oplossing: De "Controlegroep" voor AI

Om dit op te lossen, stellen de auteurs een nieuwe regel voor bij het testen van AI: Je moet je "speciale verandering" vergelijken met een "saaiere verandering".

De Speciale Verandering: "Man" vervangen door "vrouw" in een medisch verhaal.
De Saaiere Verandering: Het verhaal herschrijven met andere woorden, maar de exacte betekenis behouden (en hetzelfde aantal letters/woorden veranderen).

Als de AI even vaak van mening verandert voor de "saaiere verandering" als voor de "speciale verandering", dan heeft de "speciale verandering" eigenlijk niets speciaals gedaan. Het was gewoon ruis.

3. Wat Ze Vonden (Het "MedPerturb"-Experiment)

De auteurs gingen terug naar een beroemde studie die beweerde dat AI-modellen zwaar vooroordelen hadden tegen bepaalde geslachten bij medische diagnoses. Ze draaiden de tests opnieuw met hun nieuwe controlegroep met "saaiere veranderingen".

Het Resultaat: De "vooroordelen" verdwenen grotendeels.
De Leer: Toen ze rekening hielden met het feit dat AI-models over het algemeen gevoelig zijn voor elke tekstverandering, verdween de specifieke gevoeligheid voor geslacht. Van de 120 tests toonden er slechts 5 een echt effect, en die hadden te maken met het toevoegen van "kleurrijke" taal (zoals uitroeptekens), niet met geslacht.

Analogie: Het is alsof je beseft dat een weegschaal niet kapot is omdat hij een veer anders weegt dan een rots; het is gewoon dat de weegschaal wiebelt zodra je hem aanraakt. De eerdere studies dachten dat de weegschaal kapot was voor veren; de auteurs realiseerden zich dat de weegschaal voor alles wiebelt.

4. Betere Hulpmiddelen voor de Taak (De "Liniaal"-Analogie)

Het artikel betoogt ook dat de hulpmiddelen die onderzoekers gebruiken om deze veranderingen te meten vaak te grof zijn.

Het Grove Hulpmiddel (Aggregatiemetingen): Stel je voor dat je de wind probeert te meten door te tellen hoe vaak een vlieger overvalt. Als de vlieger één keer overvalt, zeg je "Wind!". Als dat niet gebeurt, zeg je "Geen wind". Dit mist de subtiele bries die de vlieger laat wiebelen zonder dat hij overvalt.
- Term uit het artikel: Flip Rate, Mutual Information.
Het Precieze Hulpmiddel (Per-Staalmetingen): Stel je voor dat je een gevoelige anemometer gebruikt die de exacte windsnelheid meet, zelfs als de vlieger niet overvalt.
- Term uit het artikel: JSD, KL Divergence.
Het Richtingsgebonden Hulpmiddel (Regression): Dit vertelt je niet alleen hoe hard de wind blies, maar ook naar welke kant hij blies.
- Term uit het artikel: Regression Coefficients.

De Bevinding: De "Precieze Hulpmiddelen" (JSD/KL) en "Richtingsgebonden Hulpmiddelen" (Regression) zijn veel beter in het vinden van echte vooroordelen. De "Grove Hulpmiddelen" missen vaak kleine maar echte effecten of raken in de war door class-ongelijkgewichten (zoals wanneer 99% van de antwoorden "Ja" is).

5. Een Echt Voorbeeld: De "Professor vs. Verpleegkundige"-Test

Om te bewijzen dat hun methode werkt, testten ze een bekend vooroordeel: het idee dat AI "Professor" associeert met mannen en "Verpleegkundige" met vrouwen.

Ze namen biografieën van professoren en verpleegkundigen en wisselden de geslachten om.
Het Grove Hulpmiddel: zag slechts een tiny, bijna onzichtbare verandering in het uiteindelijke "Ja/Nee"-antwoord.
Het Precieze Hulpmiddel: zag een duidelijke verschuiving in het interne vertrouwen van de AI.
Het Richtingsgebonden Hulpmiddel: bevestigde dat het omwisselen van een biografie naar "Vrouw" systematisch het vertrouwen van de AI verlaagde dat de persoon een professor was.

Dit bewees dat hun methode wel echt vooroordelen kan vinden wanneer die bestaan, maar dat het de "nep"-vooroordelen filtert die alleen werden veroorzaakt doordat de AI nerveus reageerde op tekstveranderingen.

Samenvatting van het Advies uit het Artikel

Als je een AI wilt testen op vooroordelen, verander dan niet zomaar één woord en kijk wat er gebeurt. Je moet:

Een Controle Gebruiken: Vergelijk je verandering met een "saaiere" herschrijving die evenveel tekst verandert.
De Grootte Afstemmen: Zorg dat je "saaiere" herschrijving hetzelfde aantal woorden verandert als je "speciale" verandering.
Gevoelige Linialen Gebruiken: Tel niet alleen "Ja/Nee"-omkeringen; kijk naar de subtiele verschuivingen in het vertrouwen van de AI.
De Richting Controleren: Gebruik wiskunde om te zien of de verandering de AI in een specifieke, vooroordeelachtige richting duwt.

De Kernboodschap: Veel eerdere studies beweerden dat AI vooroordelen had omdat ze niet beseften dat de AI gewoon reageerde op het feit dat de tekst was aangeraakt. Zodra je rekening houdt met die "aanraakgevoeligheid", verdwijnt het bewijs voor vooroordelen vaak – of wordt het veel duidelijker en specifieker.

1. Probleemstelling

Counterfactual prompting is een standaardmethode voor het evalueren van Large Language Models (LLM's), waarbij onderzoekers een invoer chirurgisch bewerken (bijvoorbeeld door "man" te vervangen door "vrouw") om het effect van een specifieke factor (bijvoorbeeld genderbias) op de output van het model te isoleren. De kernaanname is dat elke waargenomen verandering in de output causaal toe te schrijven is aan de gerichte semantische verandering.

De auteurs betogen dat deze aanname gebrekkig is omdat deze in strijd is met het causale inferentieprincipe van Treatment Variation Irrelevance.

Het probleem: Elke counterfactual-bewerking is een "samengestelde behandeling". Het bundelt de variabele van belang (bijvoorbeeld gender) met incidentele oppervlaktevariaties (bijvoorbeeld specifieke woordkeuzes, tokenaantallen, formulering).
Het gevolg: Het is bekend dat LLM's gevoelig zijn voor willekeurige formuleringen en tokenveranderingen (promptgevoeligheid). Daarom kan een waargenomen omkering van de output worden veroorzaakt door de verandering in tekststructuur in plaats van de semantische betekenis van de perturbatie.
Huidige leemte: Eerder werk interpreteert vaak ruwe perturbatie-effecten (bijvoorbeeld een omkeerpercentage van 15%) als bewijs van bias of gebrek aan trouw, zonder deze te vergelijken met een "null"-verdeling van veranderingen die worden veroorzaakt door onschadelijke, betekenisbehoudende modificaties.

2. Methodologie

De auteurs stellen een rigoureus kader voor om te onderscheiden tussen gerichte effecten (veroorzaakt door de variabele van belang) en algemene modelgevoeligheid (veroorzaakt door ruis in tekstmodificaties).

A. Experimenteel Ontwerp

Gerichte Perturbatie ( $D_{targeted}$ ): De standaardinterventie (bijvoorbeeld genderwissel, stijlverandering).
Basislijn-Perturbatie ( $D_{benign}$ ): Een controlegroep die is ontworpen om de oppervlaktewijzigingen van het doel na te bootsen zonder de semantische variabele te veranderen.
- Token-geadjasteerde Parafrase: De primaire basislijn. Een LLM parafraseert de invoer om de semantiek te behouden, maar verandert een fractie van tokens die overeenkomt met het token-bewerkingspercentage van de gerichte perturbatie. Dit controleert voor de bevinding dat modelgevoeligheid schaalt met het aantal gewijzigde tokens.
- Vaste Zin: Een secundaire basislijn waarbij een thematisch irrelevante zin aan de prompt wordt toegevoegd.
Statistische Toetsing: In plaats van ruwe metrieken te vergelijken, gebruiken de auteurs statistische toetsen om te bepalen of de divergentie in de gerichte conditie significant groter is dan de divergentie in de basislijnconditie.
- Per-sample metrieken: Gepaarde t-toetsen op verschillen tussen gerichte en basislijn-divergentiewaarden.
- Aggregate metrieken: Niet-parametrische bootstrap-toetsen op het verschil van aggregate statistieken.
- Regressie: Gebruikt voor directionele hypothesen om de grootte en het teken van het systematische effect te schatten.

B. Geëvalueerde Metrieken

Het artikel evalueert drie klassen van metrieken om outputdivergentie te kwantificeren:

Aggregate Metrieken:
- Flip Rate: Aandeel van de gevallen waarin het categorische antwoord verandert.
- Mutual Information (MI): Meet de consistentie van antwoorden over condities heen.
- Phi Coëfficiënt ( $\phi$ ): Onderscheidt overeenstemming van systematische onenigheid.
- Beperking: Deze hebben weinig kracht en kunnen degenereren bij class-imbalance.
Per-Sample Distributie-Metrieken:
- Kullback-Leibler (KL) Divergentie: Meet de verschuiving in de kansverdeling over antwoordopties.
- Jensen-Shannon Divergentie (JSD): Een symmetrische, begrensd variant van KL.
- Voordeel: Deze vangen subtiele distributieverschuivingen op, zelfs wanneer de uiteindelijke beslisgrens niet wordt overschreden.
Regressie Coëfficiënten:
- Schat de directionele verschuiving ( $\beta$ ) wanneer perturbaties een getekende codering hebben (bijvoorbeeld +1 voor vrouw, -1 voor man). Dit karakteriseert zowel de grootte als de richting van de bias.

3. Belangrijkste Bijdragen

Methodologische Correctie: Toont aan dat zonder een op grootte afgestemde basislijn, counterfactual-resultaten oninterpreteerbaar zijn. Waargenomen effecten reflecteren vaak algemene promptgevoeligheid in plaats van specifieke factorgevoeligheid.
Kadervoorstel: Introduceert een statistisch toetsingskader dat gerichte perturbaties vergelijkt met token-ge匹配de parafrase-basislijnen.
Metriekanalyse: Bewijst empirisch dat per-sample distributie-metrieken (JSD, KL) en regressie aanzienlijk krachtiger zijn dan aggregate metrieken (Flip Rate, MI, $\phi$ ), vooral in onbalans datasets.
Open Source: Brengt cfprompt uit, een Python-pakket dat dit kader implementeert.

4. Belangrijkste Resultaten

A. Herbezinning op MedPerturb (Medische Bias)

Oorspronkelijke Claim: Een eerdere studie beweerde dat LLM's zeer gevoelig zijn voor patiëntgeslacht en stijlcues in medische triage.
Nieuwe Bevinding: Bij vergelijking met token-ge匹配de parafrase-basislijnen:
- Gender Perturbaties: De waargenomen effecten (bijvoorbeeld 14,9% flip rate voor genderwissel) waren statistisch niet te onderscheiden van de basislijn parafrase-effecten (14,1%).
- Conclusie: Van de 120 tests bereikte slechts 5 significantie (allemaal gerelateerd aan "kleurrijke" stijlperturbaties op een kleiner model). De claim dat modellen specifiek gevoelig zijn voor patiëntgeslacht is grotendeels niet onderbouwd; de effecten waren waarschijnlijk ruis van algemene tekstgevoeligheid.

B. Sanity Checks

Recall (Positieve Controle): Toen de taak expliciet werd veranderd naar "Is deze patiënt man?", detecteerde het kader correct een massaal, significant effect, wat bewijst dat het niet te conservatief is.
Precision (Negatieve Controle): Het veranderen van de leeftijd van een patiënt met één jaar (een minimale perturbatie) leverde geen significant effect op vergeleken met de basislijn, wat de specificiteit van het kader bevestigt.

C. Bias-in-Bios (Beroepsbias)

Context: Testen of modellen "Professor" associëren met mannen en "Verpleegkundige" met vrouwen.
Bevindingen:
- Aggregate Metrieken: Toonden kleine, nauwelijks significante flip rates (bijvoorbeeld +0,7%), wat leidde tot een mogelijke conclusie van "geen bias".
- Per-Sample Metrieken (JSD/KL): Detecteerden statistisch significante distributieverschuivingen ( $p \approx 10^{-7}$ ).
- Regressie: Onthulde een duidelijke directionele bias ( $\hat{\beta} \approx -0,5$ ), wat aangeeft dat het wisselen van een biografie naar vrouw systematisch de log-odds van het label "Professor" verlaagt.
- Inzicht: De bias bestaat, maar werkt onder de beslisgrens (logits verschuiven zonder de binaire antwoordomkering). Alleen regressie en distributie-metrieken konden dit karakteriseren.

D. Q-Pain Replicatie (Raciale Bias)

Bij het repliceren van een studie over raciale dispariteiten in pijnbehandeling vonden de auteurs dat 4 van de 5 significante demografische effecten overeenkomstige significante basislijneffecten hadden (parafraseren). Dit suggereert dat de oorspronkelijke bevindingen van raciale bias mogelijk verward waren met algemene tekstgevoeligheid.

5. Betekenis en Praktische Richtlijnen

Dit artikel verschuift fundamenteel hoe counterfactual prompting moet worden uitgevoerd bij de evaluatie van LLM's.

De "Null"-Basislijn is Verplicht: Onderzoekers moeten een basislijn-perturbatie opnemen (specifiek een token-ge匹配de parafrase) om een null-verdeling vast te stellen. Zonder dit kunnen "bias"-bevindingen artefacten zijn van promptgevoeligheid.
Keuze van Metriek is Belangrijk:
- Vermijd uitsluitend vertrouwen op Flip Rate of MI, omdat deze weinig kracht hebben en falen bij class-imbalance.
- Gebruik JSD/KL om distributieverschuivingen te detecteren.
- Gebruik Regressie om de richting en grootte van effecten te kwantificeren.
Token Matching: Basislijnen moeten het aantal gewijzigde tokens van de doel-perturbatie matchen, aangezien modelgevoeligheid schaalt met de bewerkingsgrootte.
Implicatie: Veel eerdere claims van LLM-bias of ontrouw kunnen overdreven zijn of verkeerd worden toegeschreven. Echte, subtiele biases bestaan (zoals getoond in Bias-in-Bios), maar vereisen meer geavanceerde statistische hulpmiddelen om ze te detecteren.

Kortom, het artikel betoogt dat counterfactual prompting geen "plug-and-play"-diagnose is; het vereist rigoureuze statistische controles om signaal (ware factorgevoeligheid) te scheiden van ruis (algemene promptgevoeligheid).