Understanding the Anchoring Effect of LLM with Synthetic Data: Existence, Mechanism, and Potential Mitigations

Probleemstelling

Grote Taalmodellen (LLMs) hebben de natuurlijke taalverwerking revolutionair veranderd, maar er groeit bezorgdheid over cognitieve vooringenomenheid (bias) die voortkomt uit de mensachtige kenmerken in de trainingsdata. Een specifiek en veelvoorkomend cognitief vooringenomenheid is het anker-effect (anchoring effect). Dit is een psychologisch fenomeen waarbij beslissingen onbewust worden beïnvloed door de eerste ontvangen informatie (het "anker"), zelfs als deze informatie irrelevant of onjuist is.

Hoewel er eerder onderzoek is gedaan naar bias in LLMs, ontbreekt er een diepgaand begrip van:

1. Of moderne LLMs daadwerkelijk vatbaar zijn voor het anker-effect.
2. De onderliggende mechanismen binnen het model (hoe verwerkt het model deze hints?).
3. Effectieve strategieën om dit effect te mitigeren, aangezien bestaande methoden vaak oppervlakkig blijven of niet gekoppeld zijn aan menselijke cognitieve theorieën.

Methodologie

De auteurs hanteren een gestructureerde aanpak bestaande uit drie onderzoeksvragen (RQ's), ondersteund door een nieuw dataset en geavanceerde interpretatietechnieken.

1. Dataset Constructie: SynAnchors
Om het anker-effect op schaal te bestuderen, hebben de auteurs SynAnchors ontwikkeld. Deze dataset is gegenereerd via een mens-LLM-lus (met DeepSeek-R1 als generator) en bevat twee paradigmen uit de psychologie:

• Semantische Priming (Tweestapsprocedure): De LLM krijgt eerst een kwalitatieve vraag (bijv. "Is het hoger of lager dan X?") en daarna een kwantitatieve vraag over hetzelfde onderwerp.
• Numerieke Priming (Eenstapsprocedure): De LLM krijgt een vraag met een irrelevante numerieke hint (bijv. "De slotmachine stopte op 114. Wat is het gewicht van een pelikaan?").
  De dataset bevat 100 vragen verdeeld over diverse domeinen, zorgvuldig gefilterd om te voorkomen dat het antwoord in de trainingsdata van de LLM staat (zodat het effect puur op het ankeren berust).

2. Evaluatiemetrics (RQ1)
Om de aanwezigheid en intensiteit van het anker-effect te meten, gebruiken de auteurs:

• Statistische significantie: Een t-test om te bepalen of antwoorden significant verschillen tussen groepen met verschillende ankers.
• Anker-index (A-Index): Meet de mate waarin het gemiddelde antwoord verschuift richting het anker (voor semantische taken).
• Relatieve Fout (R-Error): Meet de afwijking van het echte antwoord bij aanwezigheid van een anker (voor numerieke taken).

3. Mechanistische Analyse (RQ2)
Om te begrijpen waar en hoe het anker-effect optreedt, gebruiken de auteurs Causal Tracing (via Activation Patching) op een Llama-3.1-8B-model.

• Ze vergelijken een "clean run" (normale input) met een "corrupted run" (waarbij tokens gerelateerd aan het anker worden verstoord) en een "restored run" (waarbij de activaties van de clean run worden hersteld in de corrupted state).
• Ze analyseren de impact op Attention- en Feed-Forward Network (FFN) modules over de verschillende lagen van het model.
• Daarnaast analyseren ze de redenatie-traces van reasoning-modellen (zoals DeepSeek-R1) om te zien of expliciete vermelding van het ankerinformatie voorkomt.

4. Mitigatie-Strategieën (RQ3)
Verschillende strategieën worden getest op Llama-3.1-8B en Qwen2.5-7B:

• Prompt-based: "Question-Aware Prompt" (voorzichtigheid vragen), "Knowledge Enhancement" (achtergrondkennis toevoegen), "Self-Improving" (zelfreflectie).
• Decoding-strategieën: DoLa (Decoding by Contrasting Layers).
• Training/Finetuning: Adversarial Finetuning met LoRA.
• Anti-DP (Anti-Dual-Process): Een tweefasige interventie die het model dwingt eerst onafhankelijke criteria te stellen voordat het antwoordt, gericht op het activeren van "Systeem 2" (bewust redeneren) in plaats van "Systeem 1" (automatisch).

Belangrijkste Resultaten

1. Existentie van het Anker-effect (RQ1)

• Moderne LLMs vertonen overal een significant anker-effect.
• Tussen 22% en 61% van de vragen toont een duidelijk anker-effect, afhankelijk van het model.
• Grote modellen (zoals GPT-4o) en Reasoning-modellen (zoals DeepSeek-R1) vertonen een minder sterk effect dan kleine modellen, maar het effect is nog steeds aanwezig en niet verwaarloosbaar.
• Numerieke taken zijn iets minder vatbaar dan semantische taken, maar het effect blijft significant.

2. Mechanisme en Diepte (RQ2)

• Oppervlakkigheid: Causal tracing toont aan dat het anker-effect voornamelijk plaatsvindt in de vroege lagen van het model. Tokens gerelateerd aan de anker-hints hebben weinig invloed in de diepere, semantische lagen.
• Rol van Redeneren: In reasoning-modellen wordt de ankerinformatie minder vaak expliciet genoemd in de redenatie-trace bij vragen met een zwakker anker-effect. Dit suggereert dat het proces van redeneren helpt om de initiële, oppervlakkige anker-associatie te verdunnen.

3. Mitigatie (RQ3)

• Conventionele methoden falen: Strategieën zoals het toevoegen van achtergrondkennis, zelfreflectie of standaard prompts verkleinen het effect niet significant en kunnen het soms zelfs verergeren.
• Redeneren is de sleutel: De Anti-DP-strategie (die expliciet een onafhankelijke evaluatie vereist voordat het anker wordt geaccepteerd) toont de beste resultaten. Deze strategie reduceert het anker-effect aanzienlijk (tot ~25% in sommige gevallen), wat bevestigt dat het activeren van een bewuster redeneerproces (Systeem 2) effectief is tegen de automatische anker-reactie (Systeem 1).
• DoLa toont ook enige verbetering, maar is minder consistent dan Anti-DP.

Bijdragen

1. SynAnchors Dataset: Een nieuwe, hoogwaardige dataset specifiek ontworpen voor het testen van het anker-effect in LLMs, met zowel semantische als numerieke paradigmen.
2. Kwantitatieve Benchmark: Een robuuste evaluatieframework dat de ernst van het anker-effect in diverse LLMs (van 0.5B tot 235B parameters) meet.
3. Mechanistisch Inzicht: Het eerste gebruik van causal tracing om aan te tonen dat het anker-effect een oppervlakkig fenomeen is dat zich voordoet in de vroege lagen van het model, in plaats van een diepgewortelde semantische bias.
4. Mitigatie Richting: Het identificeren van reasoning (specifiek via Anti-DP interventies) als de meest veelbelovende route om cognitieve bias in LLMs te verminderen, in plaats van traditionele prompt-engineering of finetuning.

Betekenis

Dit paper is cruciaal voor het veld van Trustworthy AI. Het toont aan dat LLMs niet alleen statistische patronen volgen, maar ook menselijke cognitieve valkuilen vertonen. De bevinding dat het anker-effect oppervlakkig is en kan worden bestreden door redeneren, biedt een concrete weg voor het ontwikkelen van betrouwbaardere AI-systemen. Het benadrukt dat het simpelweg "groter maken" van modellen niet voldoende is; we moeten de interne verwerking van cues en de integratie van cognitieve theorieën (zoals Dual Process Theory) in de modelarchitectuur en inferentie-strategieën verbeteren.