Ideological Bias in LLMs' Economic Causal Reasoning

Probleemstelling

Grote Taalmodellen (LLMs) worden steeds vaker ingezet voor hoog-risico analysewerkstromen, zoals economisch rapportage, beleidsevaluatie en bedrijfsbesluitvorming. Een kritieke vraag is of deze modellen systematische ideologische vertekeningen vertonen bij het redeneren over economische causale effecten.

In veel economische contexten is de richting van een causaal effect niet eenduidig, maar ideologisch omstreden. Bijvoorbeeld: een verhoging van het minimumloon kan volgens een marktgerichte visie (prioriteit: loonkosten) leiden tot minder werkgelegenheid, terwijl een interventiegerichte visie (prioriteit: vraag of arbeidskoppeling) voorspelt dat de werkgelegenheid stabiel blijft of toeneemt. Bestaande methoden om bias te detecteren focussen vaak op geuit meningen (opiniepeilingen) of formele logica, maar missen een raamwerk om te beoordelen of LLMs causale redenering op basis van empirisch bewijs systematisch vertekend uitvoeren in één specifieke ideologische richting.

Methodologie

De auteurs hebben een systematische evaluatie ontwikkeld door het bestaande EconCausal-benchmark uit te breiden met ideologisch omstreden gevallen.

1. Dataset Constructie:

   • Uitgaande van 10.490 causale tripletten (behandeling–uitkomst met empirisch geverifieerde effectrichting) uit toptijdschriften voor economie en finance.
   • Identificatie van 1.056 ideologisch omstreden tripletten (10,1% van de dataset). Deze zijn gedefinieerd als gevallen waar een marktgerichte en een interventiegerichte perspectief voorspellen dat het causale teken (positief/negatief) tegengesteld is.
   • Labeling: Vier LLMs (GPT, Claude, Qwen, Grok) hebben onafhankelijk de verwachte tekens voor beide perspectieven toegewezen zonder kennis van de empirische uitkomst. Een triplet werd als "omstreden" gelabeld als ten minste drie van de vier modellen verschillende tekens voorspelden.
   • Expert Validatie: Twee econoom-professoren hebben een steekproef van 126 tripletten gecontroleerd, wat een hoge onderlinge overeenstemming (93,33%) bevestigde.

2. Evaluatie-ontwerp:

   • Modellen: 20 state-of-the-art LLMs (gesloten bron: GPT, Claude, Gemini, Grok; open bron: Llama, Qwen) met variërende parametergroottes.
   • Taak: Sign-predicatie (positief, negatief, neutraal, gemengd) op basis van context en een behandeling-uitkomst paar.
   • Metingen:
     • AccIntervention: Nauwkeurigheid wanneer de empirische waarheid overeenkomt met interventie-ervaringen.
     • AccMarket: Nauwkeurigheid wanneer de empirische waarheid overeenkomt met markt-ervaringen.
     • $\Delta acc$: Het nauwkeurigheidsverschil ($Acc_{intervention} - Acc_{market}$).
     • $B_{dir}$: Een maat voor directionele bias in fouten (hoeveelheid fouten die naar interventie neigen vs. markt).

3. Robuustheidstests:

   • Difficulty Matching: Om te voorkomen dat markt-gerichte items intrinsiek moeilijker zijn, werden items 1-op-1 gematcht op moeilijkheidsgraad (geschat door GPT-5-mini).
   • In-Context Learning (ICL): Onderzoek naar of voorbeelden in de prompt (interventioneel vs. marktoriënterend) de bias kunnen sturen of corrigeren.

Belangrijkste Bijdragen

1. Conceptuele Innovatie: Introduceert het concept van "ideologisch omstreden causale relaties" als een nieuwe lens voor het bestuderen van LLM-redenering, verder dan alleen contextafhankelijkheid.
2. Dataset: Bouwt een gelabelde subset van EconCausal op die onderscheid maakt tussen omstreden en niet-omstreden tripletten, wat gecontroleerde evaluaties mogelijk maakt.
3. Empirische Analyse: Biedt een systematisch bewijs van lagere nauwkeurigheid en asymmetrische prestaties in omstreden gevallen.
4. Nieuwe Metriek: Definieert een directionele bias-maatstaf ($B_{dir}$) en documenteert consistente asymmetrieën over verschillende model-families heen.

Resultaten

De studie onthult een opvallende asymmetrie in het redeneervermogen van LLMs:

• Algemene Moeilijkheid: Ideologisch omstreden items zijn consistent moeilijker dan niet-omstreden items voor alle 20 modellen (bij gesloten bron-modellen een daling van 74,5% naar 61,3% nauwkeurigheid).
• Asymmetrische Nauwkeurigheid:
  • Modellen presteren significant beter wanneer de empirische waarheid overeenkomt met interventie-ervaringen dan met markt-ervaringen.
  • Gesloten bron-modellen tonen een gemiddeld verschil ($\Delta acc$) van +9,7 procentpunten ten gunste van interventie. Open-source modellen tonen een nog groter verschil van +15,1 procentpunten.
  • Van de 20 modellen vertonen er 18 een positief $\Delta acc$. Enkel de Claude-familie (Sonnet 4.6, Opus 4.6) toont een lichte voorkeur voor markt-gerichte waarheid.
• Systematische Directionele Fouten:
  • Fouten zijn niet willekeurig; ze vertonen een systematische neiging naar interventie-oriëntatie.
  • De bias-score $B_{dir}$ is positief voor 15 van de 20 modellen, met de sterkste vertekening bij Llama 3.3-70B (+17,9) en Qwen 3-8B (+17,7).
• Robuustheid: De asymmetrie blijft bestaan na difficulty matching, wat aantoont dat het niet het gevolg is van het feit dat markt-items moeilijker zijn.
• In-Context Learning (ICL): Het toevoegen van één voorbeeld (interventioneel of marktoriënterend) in de prompt is onvoldoende om de bias te elimineren. Soms versterkt het de bias zelfs, en het leidt vaak tot een hogere zekerheid (confidence) zonder verbetering van de nauwkeurigheid (miscalibratie).

Betekenis en Implicaties

• Betrouwbaarheidsrisico: LLMs zijn niet alleen minder accuraat bij ideologisch omstreden vragen, maar zijn systematisch onbetrouwbaarder in één ideologische richting dan in de andere. Dit creëert een "onzichtbare kanteling" in beleidsadviezen.
• Meting van Prestaties: Alleen algemene nauwkeurigheid is een ontoereikende metriek voor economische analyse. Een model kan een goede gemiddelde score halen terwijl het grote directionele discrepanties verbergt. De voorgestelde metrieken ($\Delta acc$ en $B_{dir}$) zijn essentieel voor een realistische evaluatie.
• Oorzaak: De bias lijkt dieper verankerd dan alleen prompt-technieken. Het is waarschijnlijk een interactie tussen pre-training data (waarbij pretraining-corpora politieke voorkeuren bevatten), alignment-processen (instruction tuning kan de asymmetrie versterken in plaats van wegnemen), en de distributie van gepubliceerd empirisch onderzoek.
• Toekomst: Er is behoefte aan "direction-aware" evaluatie in hoog-risico economische en beleidscontexten. De studie waarschuwt dat gebruikers de output van LLMs ten onrechte kunnen interpreteren als objectieve empirische samenvattingen, terwijl deze in werkelijkheid kunnen worden beïnvloed door ingebouwde ideologische priors.