Technische Samenvatting: MIRAGE – Het auditeren van anti-moslim-bias in frontier LLM's

Probleemstelling

Vijf jaar na de initiële ontdekking van hardnekkige anti-moslim-bias in Large Language Models (LLM's) door Abid et al. (2021), is de evaluatiemethodologie van het veld grotendeels gestagneerd. De meeste bestaande audits vertrouwen op single-turn prompt completion, een paradigma dat niet langer reflecteert hoe frontier LLM's in 2026 worden ingezet. Moderne systemen opereren in drie verschillende regimes die door eerder onderzoek naar religieuze bias grotendeels zijn genegeerd:

1. Chain-of-Thought (CoT) Reasoning: Waarbij modellen worden aangestuurd om "stap voor stap te denken".
2. Agentic Decision-Making: Waarbij modellen consequentiële beslissingen nemen in domeinen met hoge inzet (bijv. kredietverlening, werving, contentmoderatie).
3. Retrieval-Augmented Generation (RAG): Waarbij modellen hun antwoorden baseren op externe, tijdsgevoelige nieuws corpora.

Het centrale probleem is dat de huidige "bias-profiel" gemeten via single-turn completion niet overeenkomt met het werkelijke "harm surface" (schadeoppervlak) van ingezette systemen. Bovendien kunnen bestaande prompt-gebaseerde mitigatiestrategieën mogelijk niet overstappen naar deze nieuwe operationele contexten.

Methodologie: De MIRAGE Benchmark

Om deze hiaten aan te pakken, introduceren de auteurs MIRAGE (Muslim-Identity Reasoning and Agentic Generation Evaluation), een benchmark bestaande uit 1.200 gematchte paar-prompts.

Ontwerpfilosofie

• Matched-Pair Counterfactuals: Elke prompt bevat een "focale" variant (identificerend als een moslimpersoon) en één of meer "controle"-varianten (identificerend als christelijk, joods, hindoe of seculier). Deze verschillen enkel door een enkele lexicale substitutie (naam, identiteitszelfstandig naamwoord of kleding), wat ervoor zorgt dat verschillen in output uitsluitend toe te schrijven zijn aan identiteitssignalen.
• Deployment-Realistic Conditions: De benchmark vermijdt adversariële probes en spiegelt in plaats daarvan inputs van eindgebruikers en upstream agentische systemen.
• Cross-Lingual Parity: Een subset van 400 prompts is vertaald naar het Modern Standaardarabisch (MSA) en drie regionale dialecten (Egyptisch, Levantijns, Magrebijns) om onderscheid te maken tussen model-interne bias en taal-gemedieerde bias.

Evaluatiecondities

De benchmark evalueert modellen over drie condities:

• C1 (Direct Completion): Recreëert de single-turn setup van Abid et al. (2021) om de baseline evolutie te meten.
• C2 (Chain-of-Thought Reasoning): Voegt een vaste CoT-elicitatiesuffix toe aan prompts om te analyseren hoe reasoning traces bias introduceren of versterken.
• C3 (Agentic Decision-Making): Embedt prompts in vier gestructureerde workflows: Content Moderatie, Lending Triage (kredietwaardigheidstoetsing), Refugee Claim Summarization (samenvatting van vluchtelingenclaims) en Hiring Screening (wervingsscreening). In deze taken wordt bewijsmateriaal geconstrueerd om beslissings-ambigu te zijn; elke systematische verschil in uitkomsten tussen moslim- en controlegevallen wordt toegeschreven aan identiteitsbias.

Time-Coupled RAG

Een subset van prompts wordt geëvalueerd met opgehaalde context uit vier pools: leeg, neutrale nieuwsberichten, historische conflictverslaglegging en recente conflictverslaglegging (gepubliceerd binnen 30 dagen). Dit operationaliseert de "time-coupling" mechanisme waarbij bias kan escaleren met actuele nieuwscycli.

Modellen en Metrieken

Zes frontier modellen werden geëvalueerd: GPT-4o, Claude Opus 4, Mistral Large, Llama-3.3-70B, Qwen2.5-72B en DeepSeek-V3.
Belangrijke metrieken zijn onder meer:

• Violence Rate (V): Het fractie van completions die de focale identiteit associeert met geweld of criminaliteit.
• Decision Asymmetry ($\Delta$): Het gemiddelde absolute verschil in genormaliseerde decision scores tussen gematchte paren in agentic taken.
• CoT Amplification Index (CAI): De ratio van violence rates in CoT versus Direct Completion.
• Time-Coupling Coefficient ($\delta_t$): De marginale toename in violence rate door recente conflict-retrieval.

Belangrijkste Resultaten

1. Chain-of-Thought Versterkt Bias

In tegenstelling tot de aanname dat deliberatie stereotypen onderdrukt, versterkt CoT-redenering de anti-moslim-bias. Over alle zes de modellen vergroot CoT de violent-completion rates met 12–34% ten opzichte van direct completion.

• Mechanisme: Logit-lens analyse onthult dat hoewel alignment training gewelddadige tokens onderdrukt in de laatste laag (in C1), de reasoning trace in C2 latente associaties naar boven brengt (bijv. het aanroepen van groep-niveau statistieken of het framen van stereotypen als "redelijke" verwachtingen) voordat het uiteindelijke onderdrukkingsmechanisme afvuurt.

2. Agentic Decision Asymmetry Bestaat Voort

In agentic settings vertonen modellen een decision asymmetry van 9–22 procentpunt tegen moslim-geïdentificeerde gevallen onder identiek bewijs.

• Ernst: De grootste kloof (14–27 pp) trad op bij Refugee Claim Summarization, de taak met de hoogste inzet.
• Onafhankelijkheid: Correlatieanalyse laat zien dat prompts die hoge bias oproepen in direct completion (C1) niet noodzakelijkerwijs hoge decision asymmetry (C3) oproepen. Ongeveer 38% van de high-asymmetry items vertoonde lage C1 violence rates, wat aangeeft dat decision bias niet louter een oppervlakkige associatie is, maar een afzonderlijke failure mode.

3. Time-Coupled Bias

Bias is sterk gekoppeld aan de opgehaalde context. Wanneer modellen recente conflict-nieuws ophaalden, namen de violence rates met 18–27% toe vergeleken met neutrale retrieval. Dit sugggeert dat RAG-geïntegreerde producten meetbaar meer biased zullen worden tijdens perioden van verhoogde geopolitieke spanning, zonder dat de onderliggende modelgewichten veranderen.

4. Slechte Transfer van Mitigaties

Vier standaard prompt-gebaseerde mitigaties (culturele prompting, affectieve priming, zelf-debiasing, en multi-step generate-critique-revise) werden getest.

• C1 Succes: Deze mitigaties verminderden bias in direct completion met 24% tot 4–16%.
• C2/C3 Falen: De effectiviteit daalde significant in CoT en agentic settings. Cruciaal is dat de decision asymmetry ($\Delta$) vrijwel onveranderd bleef onder alle mitigaties. Het paper concludeert dat defensies die effectief zijn voor single-turn completion, onvoldoende zijn voor de agentic en reasoning regimes waar de werkelijke schade geconcentreerd is.

5. Dialectale Dispariteiten

Bias rates in Arabische dialecten (Egyptisch en Levantijns) overtroffen de Engelse baseline met 9–17 procentpunten. Open-weight modellen vertoonden de grootste gaten, wat suggereert dat safety training die is uitgelijnd op Engels niet effectief generaliseert naar dialectale inputs.

Betekenis en Claims

Het paper claimt dat het huidige begrip van anti-moslim-bias incompleet is omdat het verankerd is aan een verouderd deployment-paradigma (single-turn completion).

• Het Harm Surface is Verschuiving: De meest consequente bevinding is dat decision asymmetry op identiek bewijs essentieel onveranderd blijft door huidige prompt-gebaseerde mitigaties. Een model dat geaudit en vrijgegeven is voor lage violence rates in direct completion, kan tegelijkertijd systematisch slechtere uitkomsten produceren voor moslims in high-stakes agentic taken (vluchtelingenverwerking, kredietverlening, werving).
• Structureel Falen: De bias in agentic en reasoning settings lijkt een structurele representationele asymmetrie te zijn die oppervlakkige output-filtering (alignment training) niet kan adresseren.
• Oproep tot Actie: De auteurs publiceren MIRAGE en een open evaluatie-harness om gerichte mitigatie-research te ondersteunen. Ze betogen dat toekomstig werk verder moet gaan dan completion bias en zich moet richten op reasoning-time alignment, retrieval-aware safety, en multilingual alignment transfer, met name voor Arabische dialecten.

Het paper positioneert zichzelf niet als een maatstaf voor algemene "islamofobie", maar als een specifieke audit van input-conditionele responsverschuivingen in deployment-realistische condities, waarbij het de kritieke kloof benadrukt tussen huidige safety defenses en de werkelijke operationele risico's van frontier LLM's.