From Causal Plausibility to Causal Reliability: Evaluating LLMs as Calibrated Direct Causal-Edge Classifiers

Wetenschap streeft er vaak naar om niet alleen te begrijpen wat er gebeurt, maar ook waarom het gebeurt. Wanneer onderzoekers proberen de oorzaken achter een fenomeen in kaart te brengen—of het nu gaat om een virus dat zich door een populatie verspreidt of een machine die defect raakt in een fabriek—bouwen ze een diagram van verbindingen. In dit diagram betekent een directe lijn van het ene naar het andere ding dat het eerste ding het tweede onmiddellijk veroorzaakt. Als een virus leidt tot een infectie, die vervolgens leidt tot een positieve testuitslag, dan veroorzaakt het virus de testuitslag slechts indirect, via de infectie. Het uitzoeken welke lijnen direct en welke indirect zijn, is een moeilijke puzzel die bekend staat als causale ontdekking (causal discovery). Decennialang hebben wetenschappers vertrouwd op complexe wiskundige instrumenten en grote verzamelingen observaties om deze puzzel op te lossen, maar deze instrumenten hebben soms moeite wanneer data schaars is of wanneer verschillende patronen identiek lijken.

In recente jaren is er een nieuw soort instrument opgekomen: grote taalmodellen (large language models). Dit zijn computersystemen die getraind zijn op enorme hoeveelheden tekst en die vragen kunnen beantwoorden, verhalen kunnen schrijven en problemen kunnen beredeneren. Omdat ze zoveel hebben gelezen, lijken ze een diepe bron van kennis te bezitten over hoe de wereld werkt, inclusief hoe het ene het andere veroorzaakt. Onderzoekers zijn begonnen met de vraag of deze systemen als deskundige gidsen kunnen fungeren, die ons vertellen welke verbindingen in een diagram echt en direct zijn. De hoop was dat deze modellen een kortere route konden bieden, door betrouwbare oordelen over oorzaak en gevolg te geven zonder dat daar dure experimenten voor nodig zijn. Echter, een nieuwe studie suggereert dat hoewel deze modellen goed zijn in het aanvoelen dat twee dingen met elkaar verband houden, ze vaak slecht zijn in het precies weten hoe ze met elkaar verbonden zijn, en dat ze vaak veel te zelfverzekerd zijn wanneer ze ernaast zitten.

Een team van onderzoekers zette zich in om deze betrouwbaarheid te testen door grote taalmodellen te behandelen als rechters van directe oorzaak-gevolgrelaties. Ze verzamelden twaalf verschillende versies van deze modellen, variërend van kleinere, efficiëntere systemen tot massieve, krachtige systemen. Vervolgens presenteerden ze deze modellen zes verschillende scenario's uit de echte wereld, elk vertegenwoordigd door een bekende kaart van oorzaken en gevolgen. Deze scenario's bestreken diverse velden, van medische condities zoals hepatitis en COVID-19 tot industriële processen en ecologische systemen. Voor elk paar variabelen in deze kaarten vroegen de onderzoekers de modellen een simpele vraag: Veroorzaakt het eerste item direct het tweede? De modellen moesten "ja" of "nee" antwoorden en een betrouwbaarheidsscore opgeven, een getal dat aangeeft hoe zeker ze waren over hun antwoord.

De resultaten toonden een consistent patroon van overenthousiasme. De modellen hadden de neiging om veel te vaak "ja" te zeggen. In plaats van een schaarse kaart te tekenen met alleen de noodzakelijke directe verbindingen, produceerden de modellen dichte webben waarin bijna alles direct met alles verbonden leek te zijn. Dit gedrag was zo sterk dat zelfs toen de onderzoekers verschillende manieren probeerden om de vragen te stellen, de modellen niet gemakkelijk getraind konden worden om selectiever te zijn. Ze identificeerden weliswaar correct dat twee dingen met elkaar verband hielden, maar ze faalden in het onderscheiden van een directe oorzaak van een indirecte. Bijvoorbeeld, als een virus een infectie veroorzaakte die vervolgens een koorts veroorzaakte, zou het model vaak beweren dat het virus direct de koorts veroorzaakte, waarbij de tussenstap werd genegeerd. Deze fout kwam voor in ongeveer 40 procent van de gevallen waar de relatie indirect was, en in 36 procent van de gevallen waar de richting omgekeerd was.

Misschien wel de meest verontrustende bevinding was het gebrek aan zelfbewustzijn van de modellen met betrekking tot hun fouten. Wanneer de modellen deze structurele fouten maakten, aarzelden ze niet. In meer dan 80 procent van de gevallen waarin ze onterecht beweerden dat een directe link bestond tussen indirect gerelateerde items, gaven ze een betrouwbaarheidsscore van ten minste 80 procent aan. Ze waren niet simpelweg aan het gissen; ze waren zelfverzekerd fout. De studie onderzocht ook of de modellen erop konden vertrouwen het verschil te zien tussen een juiste gok en een foute gok op basis van hun betrouwbaarheidsscores. De onderzoekers kwamen tot de conclusie dat de betrouwbaarheidscijfers die de modellen zichzelf toeschreven, vaak onbetrouwbaar waren. Een model kan zeggen dat het voor 90 procent zeker is, maar dat getal correleerde niet daadwerkelijk met of het antwoord juist was. De enige methode die een lichte verbetering liet zien, was het aan de modellen stellen van dezelfde vraag op verschillende manieren en kijken of ze het met elkaar eens waren, maar zelfs deze methode was geen perfecte oplossing.

De onderzoekers onderzochten ook of de modellen simpelweg de antwoorden op de testvragen die ze eerder hadden gezien, aan het memoriseren waren. Ze ontdekten dat voor één specifiek dataset betreffende een medische conditie, verschillende modellen verdacht goed presteerden, wat suggereerde dat ze de data tijdens hun training mogelijk al hadden gezien. Deze bekendheid verklaarde echter niet de slechte prestaties op de andere vijf datasets, waar de modellen nog steeds met dezelfde soorten fouten kampten. Zelfs toen de onderzoekers de modellen dwongen om te kiezen tussen drie opties—directe oorzaak, omgekeerde oorzaak of geen directe link—in plaats van slechts twee, verbeterden de modellen nog steeds niet significant. Ze bleven directe links voorspellen waar die niet bestonden, wat bewees dat het probleem niet alleen een gebrek was in de manier waarop de vragen werden gesteld, maar een fundamentele beperking in hoe deze systemen causaliteit begrijpen.

Uiteindelijk concludeert de studie dat hoewel grote taalmodellen krachtige instrumenten zijn voor het genereren van ideeën, ze niet moeten worden beschouwd als definitief bewijs van hoe de wereld werkt. Ze zijn beter te zien als bronnen van zachte suggesties, die een startpunt bieden dat gecontroleerd en gevalideerd moet worden door andere methoden. Ze kunnen ons vertellen dat twee dingen waarschijnlijk met elkaar verbonden zijn, maar ze kunnen niet worden vertrouwd om op hun eigen kracht de precieze lijnen van een causale kaart te tekenen. De betrouwbaarheid die ze uitdrukken, is vaak een reflectie van hun trainingsdata in plaats van een ware maatstaf voor de waarheid. Voor wetenschappers en ingenieurs die de precieze mechanica van oorzaak en gevolg moeten begrijpen, zou het vertrouwen op deze modellen uitsluitend gelijkstaan aan het navigeren door een complexe stad met een kaart die elke straat met elke andere straat verbindt; het ziet er misschien uitgebreid uit, maar het zal je de verkeerde kant op leiden. De weg vooruit ligt in het gebruik van deze modellen om hypothesen te genereren die vervolgens rigoureus worden getest, in plaats van hun zelfverzekerde oordelen als definitieve antwoorden te accepteren.