Technische Samenvatting: Conditionele Cognitieve Biases in LLM's

Probleemstelling

Instructie-afgestemde Large Language Models (LLM's) worden steeds vaker ingezet als besluitvormingsondersteunende instrumenten in domeinen met een hoge inzet, zoals juridische redenering, medische triage en financieel advies. Hoewel eerder onderzoek uitgebreid de cognitieve biases in LLM's heeft gekarakteriseerd onder zero-shot evaluaties (bijv. framing, anchoring, confirmation bias), behandelen deze benchmarks bias als een contextonafhankelijke eigenschap. In real-world implementaties zijn de reacties van modellen geconditioneerd op voorgaande conversatierondes. Een bevooroordeelde gebruikersbeurt introduceert een verwarrende causale route: het verandert de inputvorm van zero-shot naar dialoog (wat de instructie-afstemming conditionering activeert) en introduceert tegelijkertijd specifieke semantische inhoud die interageert met de alignment-training van het model. Bestaande literatuur slaagt er niet in om te onderscheiden of veranderingen in de expressie van LLM-bias worden gedreven door de loutere aanwezigheid van een gebruikersbeurt of door de specifieke cognitieve bias-inhoud binnen die beurt.

Methodologie

Om deze causale routes te isoleren, introduceren de auteurs een nieuw drie-conditie experimenteel framework, geëvalueerd over acht frontier instructie-afgestemde LLM's (waaronder GPT-4o, Claude-3.5-Haiku, Llama-3.1 varianten en DeepSeek-V3).

Experimenteel Ontwerp

Voor elk scenario en elke doel-bias wordt de LLM geëvalueerd onder drie verschillende condities:

1. Zero-shot ($m_\emptyset$): De beslissingsprompt wordt gepresenteerd zonder enige voorafgaande context.
2. Neutrale Gebruikersbeurt ($m_n$): Een bias-vrije gebruikersbeurt gaat vooraf aan de beslissingsprompt, wat het effect van de vormverschuiving (dialoog versus zero-shot) isoleert terwijl de inhoud constant blijft.
3. Bevooroordeelde Gebruikersbeurt ($m_b$): Een gebruikersbeurt die expliciet een specifieke cognitieve bias uitdrukt, gaat vooraf aan de beslissingsprompt.

Effect Decompositie

De studie definieert drie estimanden om de mechanismen van bias-modulatie te scheiden:

• Aanwezigheidseffect ($\Delta_n = |m_n| - |m_\emptyset|$): Isoleert de impact van de overgang van zero-shot naar een multi-turn dialoogformaat met neutrale inhoud.
• Inhoudseffect ($\delta = |m_b| - |m_n|$): Isoleert de impact van de specifieke bias-inhoud binnen de gebruikersbeurt, waarbij het dialoogformaat constant wordt gehouden.
• Totaal Effect ($\Delta_b = |m_b| - |m_\emptyset| = \Delta_n + \delta$): De netto verandering in bias-expressie ten opzichte van de zero-shot baseline.

Dataset en Validatie

De auteurs hebben een stimulusbank geconstrueerd van 24.300 jury-gevalideerde gebruikersprompts verspreid over alle 81 cellen van een $9 \times 9$ matrix (9 doelstellingen LLM-biases $\times$ 9 menselijke-turn biases).

• Bias Selectie: Negen biases werden geselecteerd op basis van gevestigde benchmarks (Malberg et al., 2025): Anchoring, Availability Heuristic, Bandwagon Effect, Confirmation Bias, Framing Effect, In-Group Bias, Loss Aversion, Planning Fallacy en Status Quo Bias.
• Kwaliteitscontrole: Een drie-model LLM-as-judge jury (GPT-4o-Mini, Claude-3.5-Haiku, Gemini) valideerde alle gebruikersbeurten tegen vier criteria: doelrating, zuiverheid (onderscheidbaarheid van andere biases), natuurlijkheid en blinde identificatie-accuratesse.
• Causale Identificatie: De studie maakt gebruik van Difference-in-Differences (DiD), Propensity Score Matching (PSM) en Synthetic Control Methods (SCM) om causaal bewijs te leveren dat verder gaat dan geaggregeerde correlaties.

Belangrijkste Resultaten

1. Bevooroordeelde beurten verhogen systematisch de bias (Totaal Effect)

In 6 van de 8 modellen verhoogt het introduceren van een bevooroordeelde gebruikersbeurt de magnitude van de LLM-bias expressie ten opzichte van de zero-shot baselines ($\bar{\Delta}_b > 0$, bereik +0.022 tot +0.051).

• GPT-4o is een uitzondering waarbij de twee onderliggende mechanismen elkaar opheffen ($\bar{\Delta}_b \approx 0$).
• Claude-3.5-Haiku vertoont een negatief totaal effect ($\bar{\Delta}_b = -0.064$), gedreven door een sterk negatief aanwezigheidseffect.

2. Het Aanwezigheidseffect blaast bias op

De loutere aanwezigheid van een gebruikersbeurt (zelfs een neutrale) verhoogt de gemeten bias in 7 van de 8 modellen ($\Delta_n$ varieert van +0.019 tot +0.086). Dit suggereert dat zero-shot benchmarks de conversationele bias systematisch onderschatten.

• Uitzondering: Claude-3.5-Haiku vertoont een negatief aanwezigheidseffect ($\Delta_n = -0.101), consistent met de Constitutional AI alignment die bias in dialoogmodus onderdrukt.
• Correlatie: Modellen met hogere capaciteit (gemeten via MMLU) vertonen een kleinere aanwezigheidsinflatie.

3. Het Inhoudseffect onderdrukt vaak bias

In tegenstelling tot de hypothese dat bevooroordeelde context de bias zou versterken, vermindert het vervangen van een neutrale beurt door een bevooroordeelde beurt de magnitude van de bias in 6 van de 8 modellen ($\delta < 0$).

• Deze "contrast suppressie" suggereert dat expliciete bias-signalen weerstand triggeren die gerelateerd is aan alignment, wat leidt tot meer normatieve completions.
• Uitzonderingen: DeepSeek-V3 en Claude-3.5-Haiku vertonen positieve inhoudseffecten. De auteurs schrijven dit toe aan hun deliberatieve alignment-strategieën (Chain-of-Thought RLFT en Constitutional AI), die in-context signalen lijken te versterken in plaats van te onderdrukken.

4. Koppeling van Structuur en Induceerbaarheid

Analyse van de $9 \times 9$ bias-koppelingsmatrix onthult:

• Dominantie van de Rijstructuur: De vatbaarheid van een doel-bias voor modulatie wordt bepaand door de doel-bias zelf, niet door het specifieke type menselijke bias.
• Geen Diagonaal Voordeel: Er is geen bewijs voor "dezelfde-bias besmetting" (bijv. een mens die Bias X uit, induceert niet selectief Bias X in het model sterker dan andere biases).
• Planning Fallacy: Dit is de enige doel-bias die causaal bevestigd is als universeel induceerbaar over alle 8 modellen. Het vertoont consequent een positief totaal effect, waarschijnlijk omdat de expressie ervan (optimisme/onderschatting) impliciet is en minder waarschijnlijk alignment-onderdrukkingssignalen triggert.
• Onderdrukkbare Biases: Bandwagon Effect en Availability Heuristic zijn consistent onderdrukkbaar door in-context bevooroordeelde beurten.

Betekenis en Claims

Het paper claimt dat zero-shot bias benchmarks de conversationele bias systematisch onderschatten omdat ze geen rekening houden met het "aanwezigheidseffect" van dialoog. De studie demonstreert dat:

1. Context Ertoe Doet: De loutere handeling van het aangaan van een multi-turn dialoog verandert het bias-expressieprofiel van het model vergeleken met geïsoleerde prompts.
2. Alignment is Recept-afhankelijk: De richting van het inhoudseffect (onderdrukking vs. versterking) wordt bepaald door het specifieke alignment-recept (bijv. standaard RLHF versus Constitutional AI versus Chain-of-Thought RLFT).
3. Universele Induceerbaarheid: Terwijl de meeste biases worden onderdrukt door expliciete cues, blijft de Planning Fallacy robuust induceerbaar over diverse modelarchitecturen en trainingspipelines.

De auteurs concluderen dat veiligheidsevaluaties en bias-auditprotocollen gestratificeerd moeten worden per alignment-recept en conversionele beurten moeten bevatten om de deployment-condities accuraat te reflecteren. Zij stellen hun framework, codebase en de 24.300-items tellende dataset beschikbaar om toekomstig onderzoek te ondersteunen.