Ice Cream Doesn't Cause Drowning: Benchmarking LLMs Against Statistical Pitfalls in Causal Inference

Dit paper introduceert CausalPitfalls, een benchmark die aantoont dat huidige grote taalmodellen tekortschieten in het betrouwbaar uitvoeren van causale inferentie door veelvuldig statistische valkuilen te negeren, en biedt hiermee gestructureerde maatstaven voor de ontwikkeling van meer betrouwbare redeneersystemen.

De kern

🍦 IJs veroorzaakt geen verdrinking: Waarom AI soms verkeerde conclusies trekt

Stel je voor dat je een super slimme robot hebt die alles over de wereld weet. Je vraagt hem: "Zorgt het eten van ijs ervoor dat mensen verdrinken?"

De robot kijkt naar de statistieken en zegt: "Ja! Als er veel ijs wordt verkocht, zijn er ook meer verdrinkingen. Dus ijs is gevaarlijk!"

Je lacht om de robot. Je weet dat het weer de echte boosdoener is. Op warme dagen eten mensen meer ijs en gaan ze meer zwemmen. De hitte is de oorzaak van beide, niet het ijs. Dit heet een verkeerde oorzaak-gevolg relatie.

Dit is precies waar dit nieuwe onderzoek over gaat. Wetenschappers hebben getest of de slimste AI-modellen (zoals die van onschatbare waarde in de geneeskunde of economie) dit soort valkuilen kunnen herkennen. Het antwoord is: Niet echt, en dat is gevaarlijk.

Hier is hoe het onderzoek werkt, vertaald naar begrijpelijke taal:

1. De "CausalPitfalls" Testbaan

De onderzoekers hebben een nieuwe testbaan gebouwd, genaamd CausalPitfalls (Valkuilen in Oorzaak-Gevolg).

• Het idee: Stel je voor dat je een rijbewijs wilt halen. Je mag niet alleen weten hoe je het stuur vasthoudt, je moet ook weten hoe je reageert op gladde wegen, regen en andere auto's.
• De test: De AI moet 75 verschillende situaties oplossen. Sommige zijn makkelijk, andere zijn extreem lastig. Ze moeten bijvoorbeeld uitleggen waarom een medicijn voor de hele groep goed lijkt te werken, maar voor jonge en oude mensen apart juist slecht is (dit heet het Simpson-paradox).

2. Twee Manieren om de AI te Testen

De onderzoekers hebben de AI op twee manieren getest, net als een leerling die een wiskundetoets maakt:

• Manier A: De "Intuïtie" Test (Direct Prompting)
  De AI krijgt de cijfertabel en moet direct een antwoord geven, zonder hulpmiddelen.

  • Vergelijking: Dit is alsof je iemand vraagt een moeilijke som uit het hoofd te doen. Ze vertrouwen op hun "buikgevoel" en wat ze eerder hebben gelezen.
  • Resultaat: De AI faalt hier vaak. Ze kijken naar oppervlakkige woorden. Als een drankje "SuperGezond" heet, denkt de AI dat het gezond is, zelfs als de cijfers het tegenovergestelde bewijzen. Ze laten zich leiden door de naam, niet door de feiten.

• Manier B: De "Rekenmachine" Test (Code-Assisted Prompting)
  De AI mag nu Python-code schrijven om de cijfers zelf uit te rekenen voordat ze een antwoord geven.

  • Vergelijking: Dit is alsof je de leerling een rekenmachine mag gebruiken. Ze moeten de som stap voor stap uitwerken.
  • Resultaat: Dit werkt veel beter! De AI's die goede code schrijven, maken minder fouten. Ze kijken niet meer alleen naar de woorden, maar naar de harde cijfers.

3. De Grote Ontdekkingen

Wat hebben ze ontdekt?

• AI is te zelfverzekerd: De AI's geven vaak heel zeker klinkende antwoorden die volledig fout zijn. Ze zien een patroon waar geen patroon is (zoals verdrinking door ijs).
• Kleine modellen zakken door de bodem: Sommige kleinere AI-modellen schrijven zo slechte code dat ze erger worden dan zonder hulpmiddelen. Het is alsof een leerling die slecht kan rekenen, een kapotte rekenmachine krijgt; dan maakt hij nog meer fouten.
• De slimste modellen zijn nog steeds niet perfect: Zelfs de allerbeste AI (zoals GPT-o4-mini) scoort maar ongeveer 43% op deze test. Dat betekent dat ze in meer dan de helft van de gevallen de valkuil inlopen. In de echte wereld (bijvoorbeeld bij het kiezen van een medicijn) is dat te riskant.

4. Waarom is dit belangrijk?

Stel je voor dat een AI beslist welke medicijnen we moeten gebruiken of welke economische maatregelen we nemen. Als de AI denkt dat "ijs verdrinking veroorzaakt", kunnen ze het ijs verbieden. Dat lost het verdrinking-probleem niet op, maar kost wel iedereen het plezier van een ijsje.

De conclusie:
AI is geweldig in het vinden van patronen, maar ze zijn nog niet goed in het begrijpen van waarom die patronen bestaan. Ze zien de "ijsjes" en de "verdrinkingen" samen, maar missen de "hitte" erachter.

Om AI betrouwbaar te maken voor belangrijke beslissingen, moeten we ze leren om niet alleen te kijken naar wat er op het papier staat, maar om echt te rekenen en te twijfelen aan hun eigen eerste ideeën. De testbaan "CausalPitfalls" is daarvoor een essentieel hulpmiddel.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "ICE CREAM DOESN'T CAUSE DROWNING: BENCHMARKING LLMS AGAINST STATISTICAL PITFALLS IN CAUSAL INFERENCE", gepresenteerd in het Nederlands.

Probleemstelling

Betrouwbare causale inferentie is essentieel voor beslissingen op hoog-risico gebieden zoals geneeskunde, economie en openbaar beleid. Hoewel Large Language Models (LLMs) veelbelovend lijken voor wetenschappelijke probleemoplossing, is het onduidelijk of ze in staat zijn om rigoureuze statistische causale inferentie uit te voeren. Bestaande benchmarks focussen vaak op vereenvoudigde taken, zoals het identificeren van semantische causale relaties of het trekken van conclusies uit ruwe data zonder diepgaande statistische analyse.

Dit leidt tot twee kritieke tekortkomingen:

1. Semantische Bias: LLMs kunnen worden misleid door oppervlakkige semantische aanwijzingen (bijv. de naam van een product) in plaats van de onderliggende data.
2. Verwarring van Ruis met Structuur: LLMs neigen om willekeurige variatie in data te interpreteren als echte causale structuren (bijv. het ten onrechte claimen van Simpson's paradox of genderbias waar deze niet bestaat).

Het paper stelt dat deze tekortkomingen de toepasbaarheid van LLMs in de echte wereld beperken, omdat ze zelfverzekerd maar foutieve causale conclusies kunnen trekken die in strijd zijn met de data.

Methodologie: CausalPitfalls Benchmark

Om deze problemen aan te pakken, introduceren de auteurs CausalPitfalls, een uitgebreide benchmark ontworpen om de betrouwbaarheid van LLMs te evalueren tegenover veelvoorkomende statistische valkuilen.

1. Benchmark Structuur:
De benchmark omvat 6 hoofdcategorieën van causale inferentie-problemen, onderverdeeld in 15 unieke uitdagingen met in totaal 75 vragen en 75 zorgvuldig geconstrueerde datasets:

• Verwarringsbias en schijnverbanden: Inclusief Simpson's paradox en Berkson's paradox (selectiebias).
• Interventies en experimenteel redeneren: Onderscheid tussen observationele en experimentele data.
• Counterfactual redenering: "Wat als"-scenario's en hypothetische uitkomsten.
• Mediatie en indirecte effecten: Complexe paden via tussenvariabelen.
• Causale ontdekking en structuurlernen: Het afleiden van causale richtingen zonder vooraf gedefinieerde grafen.
• Causale generalisatie en externe validiteit: Het toepasbaar maken van conclusies op verschillende populaties en tijdsperioden.

De datasets zijn gegenereerd op basis van causale grafen (DAGs) en structurele causale modellen, waarbij de "ground truth" wiskundig vaststaat. De vragen variëren in moeilijkheidsgraad van "zeer makkelijk" (met hints) tot "zeer moeilijk" (zonder hints).

2. Evaluatieprotocollen:
De auteurs evalueren tien verschillende LLMs (zowel open-source als gesloten) onder twee protocollen:

• Direct Prompting: De LLM moet causale inferentie uitvoeren op basis van de ruwe data zonder rekenhulpmiddelen. Dit test het intrinsieke redeneervermogen.
• Code-Assisted Prompting: De LLM moet Python-code genereren om de data statistisch te analyseren, de resultaten interpreteren en vervolgens de vraag beantwoorden. Dit test het vermogen om redenering te vertalen naar uitvoerbare analyse.

3. Evaluatiemetingen:

• Causal Reliability: Een genormaliseerde score (0-100%) gebaseerd op gedetailleerde beoordelingsrubrieken (grading rubrics) die zijn opgesteld door statistici.
• Validatie: De automatische beoordeling door een GPT-4o model is gevalideerd tegen beoordelingen van drie menselijke statistici, met een hoge overeenkomst (gemiddelde gap van 0,11).

Belangrijkste Resultaten

De resultaten tonen aanzienlijke beperkingen in de huidige generatie LLMs voor statistische causale inferentie:

1. Algemene Onbetrouwbaarheid: Zelfs de beste modellen presteren matig. De hoogste "causal reliability" score was 40,72% (GPT-o4-mini) bij direct prompting en 43,03% bij code-assisted prompting. Dit betekent dat modellen in meer dan de helft van de gevallen falen in complexe causale taken.
2. Effect van Code-Assisted Prompting:
   • Voor sterke modellen (zoals GPT-o4-mini, Deepseek-chat, Gemini-2.0-flash) leidt het genereren van code tot aanzienlijke verbeteringen (bijv. GPT-4.1 steeg van 25,24% naar 37,32%).
   • Voor kleinere open-source modellen (zoals Mistral-7B, Llama3.1-8B) leidde code-assisted prompting vaak tot slechtere prestaties (bijv. Mistral-7B daalde van 14,43% naar 7,65%). Dit komt doordat deze modellen vaak fouten maken in het genereren van de code, wat hun redeneervermogen maskeert. Debugging (het corrigeren van code-fouten) kan dit deels oplossen.
3. Moeilijkheidsgraad: De prestaties dalen consistent naarmate de vragen moeilijker worden. Bij "zeer moeilijke" vragen (zonder hints) dalen de scores van de beste modellen vaak onder de 30%.
4. Specifieke Valstrikken: Modellen worstelen het meest met mediatie en externe validiteit. Ze zijn ook gevoelig voor semantische manipulatie (bijv. een drankje noemen "HealthPlus" vs. "UltraSugar" verandert hun conclusie, zelfs als de data hetzelfde is).
5. Spurious Correlations: In een test met data over onderzoeksfondsen in Nederland (waar geen sprake was van genderbias of Simpson's paradox), concludeerden alle geteste LLMs ten onrechte dat er bias of een paradox was, gebaseerd op oppervlakkige patronen.

Bijdragen en Significantie

Primaire Bijdragen:

1. CausalPitfalls Benchmark: Een nieuw, uitgebreid benchmark dat specifiek focust op de betrouwbaarheid en kwetsbaarheid van LLMs voor statistische valkuilen, in plaats van alleen op nauwkeurigheid in simpele taken.
2. Dual-Protocol Evaluatie: Een methodologische aanpak die zowel intrinsiek redeneren als computationeel onderbouwde inferentie meet, waardoor inzicht wordt verkregen in waar computationele hulp wel en niet werkt.
3. Kwantitatieve Metric: De introductie van "Causal Reliability" als standaardmaatstaf voor het vergelijken van LLM-prestaties in causale taken.

Significantie:

• Veiligheid en Toepassing: De studie waarschuwt voor het gebruik van LLMs in hoog-risico domeinen (zoals medische diagnose of beleidsvorming) zonder specifieke training of validatie, aangezien ze zelfverzekerd foutieve conclusies kunnen trekken.
• Richting voor Toekomstig Onderzoek: De resultaten suggereren dat het simpelweg "groter" maken van modellen niet voldoende is. Er is behoefte aan specifieke training om causale robuustheid te verbeteren en aan systemen die computationele tools (zoals code-executie) betrouwbaar integreren.
• Open Source: De benchmark, datasets, en evaluatiescripts zijn publiek beschikbaar gesteld om verdere ontwikkeling van betrouwbare causale redeneersystemen te stimuleren.

Kortom, het paper concludeert dat hoewel LLMs veelbelovend zijn, ze momenteel nog niet betrouwbaar genoeg zijn voor strenge statistische causale inferentie en dat ze vatbaar zijn voor fundamentele statistische fouten die menselijke experts zouden vermijden.