💬 NLP

EconCausal: A Context-Aware Economic Reasoning Benchmark for Large Language Models

Dit artikel introduceert EconCausal, een grootschalige benchmark van meer dan 10.000 context-geannoteerde causale tripletten afgeleid van toonaangevende economische studies, waaruit blijkt dat grote taalmodellen, hoewel ze vaste contexten kunnen hanteren, aanzienlijk moeite hebben om causale oordelen bij te stellen wanneer de omgevingsomstandigheden veranderen of wanneer ze worden geconfronteerd met misleidende bewijslast.

Oorspronkelijke auteurs: Donggyu Lee, Hyeok Yun, Meeyoung Cha, Sungwon Park, Sangyoon Park, Jihee Kim

Gepubliceerd 2026-05-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Donggyu Lee, Hyeok Yun, Meeyoung Cha, Sungwon Park, Sangyoon Park, Jihee Kim

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Waarom "Het Hangt Af" Moeilijk is voor AI

Stel je voor dat je een superintelligente, goed gelezen robot om advies vraagt over een zeer specifieke vraag: "Als we het minimumloon verhogen, worden mensen dan aangenomen of ontslagen?"

In de echte wereld is het antwoord geen simpel "Ja" of "Nee". Het hangt volledig af van de context:

Is de economie aan het bloeien of instorten?
Is het een klein dorp of een grote stad?
Zijn er strenge wetten over hoe bedrijven opereren?

Op sommige plaatsen kan loonsverhoging helpen. Op andere plaatsen kan het schaden. Op weer andere plaatsen heeft het helemaal geen effect.

Het paper stelt dat Large Language Models (LLM's), hoewel ze uitstekend zijn in het lezen van boeken en het samenvatten van feiten, momenteel slecht zijn in het begrijpen van deze "Het Hangt Af"-situaties. Ze neigen naar één zelfverzekerd antwoord te geven, zelfs als de situatie verandert, of ze raken in de war wanneer je hen een feit geeft dat waar is op één plek maar onwaar op een andere.

De Oplossing: Een "Contextbewuste" Proefrit

Om dit te bewijzen, bouwden de onderzoekers een nieuwe test genaamd EconCausal. Denk hierbij aan een rijexamen voor AI, maar in plaats van een auto te besturen, bestuurt de AI het complexe landschap van de economie.

Hoe ze de test bouwden:

Het Bronmateriaal: Ze verzonnen geen vragen. Ze graven duizenden hoogwaardige, door vakgenoten beoordeelde economische studies (de "gouden standaard" van onderzoek) uit topjournals op.
De Extractie: Ze gebruikten een rigoureuze, meerstapsproces (zoals een team redacteuren dat elkaars werk controleert) om specifieke "oorzaak-en-gevolg"-verhalen naar boven te halen.
- Voorbeeld: "Verhoging van het minimumloon (Oorzaak) $\rightarrow$ Werkgelegenheid in fastfood (Gevolg) $\rightarrow$ Signaal: Positief (in New Jersey, 1992)."
De Context: Cruciaal was dat ze de context aan elk verhaal vasthielden. Ze zeiden niet zomaar "Loon omhoog, banen omhoog". Ze zeiden: "Loon omhoog, banen omhoog, maar alleen omdat het een specifiek moment, een specifieke plaats en een specifieke marktomstandigheid was."

Ze eindigden met 10.490 van deze gedetailleerde "oorzaak-en-gevolg"-triplets.

De Drie Uitdagingen (De Testvragen)

De onderzoekers zetten verschillende AI-modellen (zoals GPT-5, Gemini, Llama, enz.) door drie niveaus van moeilijkheid:

Niveau 1: Het Geheugentest

De Vraag: "Hier is een specifieke situatie (bijvoorbeeld een recessie in New Jersey). Als we het minimumloon verhogen, wat gebeurt er dan met de banen?"
Het Doel: Kan de AI onthouden wat de experts in die specifieke scenario vonden?
Het Resultaat: De AI's deden het hier aardig goed (ongeveer 88% nauwkeurigheid). Ze konden feiten herinneren wanneer de context duidelijk en vast lag.

Niveau 2: De "Hetzelfde Ding, Andere Plaats"-test

De Vraag: "We weten dat in China een subsidie de inschrijvingen voor verzekeringen deed toenemen. Wat gebeurt er nu als we diezelfde subsidie toepassen in Massachusetts?"
Het Doel: Kan de AI beseffen dat het antwoord anders kan zijn omdat de context veranderde?
Het Resultaat: Hier struikelden de AI's. Toen de context veranderde, daalde hun nauwkeurigheid met ongeveer 33 procentpunten. Ze bleven proberen het "China"-antwoord toe te passen op het "Massachusetts"-probleem, en faalden in het zien dat de regels van het spel waren veranderd.

Niveau 3: De "Fake News"-test

De Vraag: "Hier is een verhaal uit China waarin staat dat de subsidie de inschrijvingen voor verzekeringen schade deed (wat eigenlijk onwaar/misleidend is). Wat gebeurt er nu in Massachusetts?"
Het Doel: Kan de AI de misleidende informatie negeren en de waarheid achterhalen op basis van de nieuwe context?
Het Resultaat: De AI's faalden jammerlijk. Wanneer ze een leugen kregen, geloofden ze deze vaak en pasten ze deze toe op de nieuwe situatie. Hun nauwkeurigheid daalde onder de 50% (in feite raden).

De Hoofdproblemen Gevonden

Het paper benadrukt twee grote "persoonlijkheidsfouten" in huidige AI-modellen:

De "Over-Zeker"-Bias:
De AI's houden ervan om een kant te kiezen. Ze raden bijna altijd "Positief" (+) of "Negatief" (−). Ze zijn vreselijk in het zeggen "Er gebeurde niets" (Geen) of "Het is ingewikkeld" (Gemengd).
- Analogie: Stel je een weerman voor die zo bang is om het fout te hebben dat hij nooit zegt "Het kan bewolkt zijn". Hij raadt elke keer gewoon "Zonnig" of "Regenachtig", zelfs als de lucht eigenlijk grijs en onvoorspelbaar is. De AI's raadden "Geen" of "Gemengd" correct slechts ongeveer 14% van de tijd.
Het "Anker"-Effect:
Wanneer de AI een feit ziet (zelfs als het uit een andere tijd of plaats komt), blijft hij "vastzitten" aan dat feit. Hij behandelt het oude feit als een regel die overal geldt, in plaats van een specifieke observatie die misschien niet past bij de nieuwe situatie.

De Conclusie

Het paper concludeert dat hoewel AI beter wordt in lezen en samenvatten, het nog niet klaar is om een betrouwbare economisch adviseur te zijn voor complexe, real-world beslissingen.

Als je een AI vraagt: "Zal dit beleid werken?", kan het je een zelfverzekerd antwoord geven gebaseerd op een studie van 10 jaar geleden in een ander land, zonder te beseffen dat de context is veranderd. Totdat AI leert zeggen: "Ik weet het niet, omdat de situatie anders is", mag het niet worden vertrouwd voor beslissingen met hoge inzet over geld, beleid of strategie.

Kortom: De AI is een geweldige bibliothecaris die het boek kan vinden, maar het is nog steeds een slechte detective die moeite heeft om te begrijpen of de aanwijzingen in dat boek van toepassing zijn op het misdaadplein voor zijn neus.

Technische Samenvatting: EconCausal

Probleemstelling

Socio-economische causale effecten zijn inherent contextafhankelijk; dezelfde interventie kan leiden tot uiteenlopende of zelfs tegenstrijdige uitkomsten, afhankelijk van regelgevingskaders, marktomstandigheden, tijdsperiodes of populatiekenmerken. Hoewel Large Language Models (LLM's) veelbelovend zijn gebleken in algemeen redeneren, wordt hun toepassing op economische besluitvormingsondersteuning gehinderd door een kritiek gat: het onvermogen om onder specifieke, hoogdimensionale contexten betrouwbaar causale richtingen af te leiden en deze oordelen bij te werken wanneer de context verandert. Bestaande benchmarks adresseren dit niet, omdat ze doorgaans gericht zijn op generieke, contextarme relaties, de institutionele en empirische context die nodig is voor interpretatie negeren, of zelden robuustheid testen onder contextverschuivingen. Bijgevolg lopen huidige modellen het risico om oppervlakkige of misleidende causale oordelen te produceren in socio-economische settings.

Methodologie

Datasetconstructie: EconCausal

De auteurs introduceren EconCausal, een grootschalige benchmark bestaande uit 10.490 context-geannoteerde causale tripletten, afgeleid van 2.595 hoogwaardige empirische studies gepubliceerd in toonaangevende economie- en financieel tijdschriften (bijv. American Economic Review, Journal of Finance). De datasetconstructie volgt een rigoureuze vierfasen-pijplijn:

Tripletextractie met meerloop-consensus: Met behulp van GPT-5 mini extrahert het systeem behandelings-uitkomstparen uit papers drie keer onafhankelijk. Paren die in ten minste twee runs voorkomen, worden behouden. Minor woordkeuzevariaties worden samengevoegd via cosinesimilariteit (drempel $\ge$ 0,8) op tekstembeddings. Tekens ( $+, -, \text{None}, \text{Mixed}$ ) worden toegewezen via meerderheidsstemming, waarbij ondersteunende bewijsparagrafen worden opgeslagen voor traceerbaarheid.
Metadata en globale context: Paper-level metadata (empirisch versus theoretisch), samenvattingen van de globale context (tijd, locatie, eenheid van analyse) en identificatiemethoden (bijv. DiD, IV, RCT) worden geëxtraheerd om als standaardwaarden te dienen.
Triplet-specifieke verfijning: Voor empirische papers verifieert het systeem of de globale context van toepassing is op specifieke tripletten. Als een triplet een specifiekere context of identificatiemethode vereist, wordt een minimale bewerking toegepast; anders worden de globale standaardwaarden behouden.
Multi-critic evaluatie en filtering: Drie onafhankelijke LLM-critici (Gemini, Grok, Qwen) scoren elke triplet op zes dimensies (variabele-extractie, richting, teken, causaliteit, hoofdclaim, contextgeschiktheid) met behulp van een 0–3 rubriek. Tripletten die conservatieve drempels niet halen (gemiddelde score $\ge$ 2,0 per criterium en totale som $\ge$ 15) worden gefilterd, wat 27,3% van de kandidaten verwijdert.

De dataset werd gevalideerd door drie econoomprofessoren, die 86,6% van de behouden tripletten goedkeurden, waarmee de conservatisme van de filterregel werd bevestigd.

Benchmarktaken

EconCausal evalueert LLM's via drie progressief complexere taken:

Taak 1 (Causale tekenidentificatie): Gegeven een specifieke context $c$ en een behandelings-uitkomstpaar $(T, O)$ , voorspel het causale teken. Dit test of modellen gevestigde economische causaliteiten hebben geïnternaliseerd.
Taak 2 (Contextafhankelijke tekenvoorspelling): Gegeven een bekend teken voor $(T, O)$ onder context $c_1$ , voorspel het teken onder een andere context $c_2$ . Dit test het vermogen om te herkennen dat causale tekens verschuiven met de context.
Taak 3 (Misinformatie-robuste tekenvoorspelling): Vergelijkbaar met Taak 2, maar het verstrekte voorbeeld voor $c_1$ bevat een opzettelijk onjuist teken. Dit test robuustheid tegen misleidende bewijzen.

Belangrijkste Resultaten

Prestatieoverzicht

Experimenten met diverse propriëtaire (Gemini, GPT, Grok) en open-source (Llama, Qwen) modellen onthullen een aanzienlijk prestatieverschil tussen redeneren in een vaste context en contextafhankelijke overdracht:

Vaste context (Taak 1): Topmodellen behalen hoge nauwkeurigheid ( $\sim$ 88% voor Gemini 3 Flash), wat wijst op sterke internalisatie van causale feiten in expliciete settings.
Contextverschuiving (Taak 2): De nauwkeurigheid daalt aanzienlijk wanneer modellen oordelen over contexten heen moeten bijwerken. Voor propriëtaire modellen daalt de algehele nauwkeurigheid van 73,9% naar 41,3% bij "teken-mismatch"-gevallen (waarbij de bron- en doelcontexten tegenovergestelde tekens impliceren).
Robuustheid tegen misinformatie (Taak 3): De prestatie verslechtert verder wanneer misleidende bewijzen worden geïntroduceerd, met een daling van de gemiddelden voor propriëtaire en open-source modellen naar respectievelijk 49,3% en 44,3%.

Systematische Falen

Overdracht van brontekens: In Taak 2 vertonen modellen een sterke bias naar het "overdragen" van het teken uit het bronvoorbeeld, zelfs wanneer dit in strijd is met de doelcontext. Het toevoegen van een getekend bronvoorbeeld verlaagde de correcte voorspellingen met 15,08 procentpunten, terwijl het voorspellingen die overeenkwamen met het bronteken met 21,95 procentpunten verhoogde.
Bias naar directionele tekens: Modellen committeren systematisch te veel aan binaire tekens ( $+$ of $-$) en hebben moeite om null ( $\text{None}$ ) of heterogene ( $\text{Mixed}$ ) effecten te identificeren. De nauwkeurigheid bij $\text{None}$ -gevallen is slechts 13,8%, en bij $\text{Mixed}$ -gevallen 22,8%, vergeleken met 74,8% en 61,1% voor respectievelijk positieve en negatieve tekens.
Slechte kalibratie: Modellen vertonen "over-commitment" door hoge zekerheid toe te kennen aan onjuiste voorspellingen, met name voor de categorieën $\text{None}$ en $\text{Mixed}$ . De Expected Calibration Error (ECE) is ernstig voor deze ambiguïteitscategorieën (bijv. 0,839 voor $\text{None}$ in Finance), en modellen kiezen zelden voor "Onbekend", zelfs wanneer contextuele informatie volledig wordt verwijderd.

Betekenis en Claims

Het artikel claimt dat EconCausal een rigoureuze basis biedt voor het evalueren van hoe LLM's institutionele en omgevingsbeperkingen integreren in economische oordelen. De auteurs betogen dat huidige systemen nog niet robuust genoeg zijn voor hoog-risico economische of beleidsgevoelige analyses, omdat ze "plausibiliteit" verwarren met "portabiliteit". Hoewel modellen plausibele causale tekens kunnen genereren, falen ze in het bepalen of die tekens van toepassing zijn op een specifieke doelcontext; vaak verankeren ze zich in empirisch geldige tekens uit broncontexten waar ze niet langer gelden.

De benchmark benadrukt dat socio-economisch redeneren meer vereist dan patroonherkenning; het vraagt om het vermogen om oordelen te conditioneren op hoogdimensionale, deels waargenomen en potentieel endogene contexten. De auteurs positioneren EconCausal als een noodzakelijke stap richting het ontwikkelen van systemen die niet alleen kunnen beoordelen of een causaal teken plausibel is, maar ook of het overdraagbaar is naar de huidige context.

Beperkingen

De auteurs erkennen verschillende beperkingen:

Afhankelijkheid van extractie: De pijplijn vertrouwt op LLM's voor extractie en filtering, wat systematische biases kan introduceren of subtiele identificatiedetails kan negeren, ondanks meerloop-consensus en expertvalidatie.
Corpusbias: De dataset is afkomstig uit toonaangevende, Engelstalige tijdschriften, wat invloedrijke onderzoeken mogelijk oververtegenwoordigt terwijl andere socio-economische claims ondervertegenwoordigd blijven.
Labelgranulariteit: De directionele labelruimte ( $+, -, \text{None}, \text{Mixed}$ ) comprimeert complexe empirische bevindingen, waarbij effectgroottes, magnitudes en betrouwbaarheidsintervallen worden weggelaten.
Contextscope: Contexten zijn gekoppeld aan specifieke empirische settings, wat de directe evaluatie van externe validiteit over niet-geannoteerde kenmerken zoals marktstructuur of handhavingsomgevingen beperkt.
Gedragsomvang: De evaluatie is gedragsmatig en onderzoekt geen interne modelrepresentaties of aandachtmechanismen.