NoisyCausal: A Benchmark for Evaluating Causal Reasoning Under Structured Noise

Technische Samenvatting: NoisyCausal

Probleemstelling
Causaal redeneren in natuurlijke taal vereist het identificeren van variabelen, het begrijpen van hun interacties en het redeneren over effecten en interventies, vaak onder omstandigheden van ruis of ambiguïteit. Hoewel Large Language Models (LLM's) sterke algemene redeneercapaciteiten tonen, worstelen ze er vaak mee om correlatie te onderscheiden van causaliteit, vooral wanneer observaties gedeeltelijk onjuist zijn of irrelevante informatie bevatten. Bestaande benchmarks (bijv. COPA, CausalQA, Cladder) vertrouwen voornamelijk op schone, geïdealiseerde scenario's met eenvoudige of impliciete causale structuren. Deze datasets weerspiegelen vaak niet de realiteit van de wereld, waar data ruisig, incompleet of verward is door schijnvariabelen. Bijgevolg slagen huidige modellen vaak door middel van patroonherkenning of oppervlakkige heuristieken in plaats van op waarlijk causaal begrip, wat hun robuustheid en interpreteerbaarheid beperkt.

Methodologie
Het artikel introduceert NoisyCausal, een synthetische benchmark ontworpen om causaal redeneren onder gestructureerde ruis te evalueren, samen met een modulair, door grafen geleid redeneerkader.

1. Constructie van de NoisyCausal-benchmark:

   • Pijplijn: De dataset wordt gegenereerd via een pijplijn in vijf fasen: (1) het bemonsteren van een Directed Acyclic Graph (DAG) met diverse topologische motieven (ketens, forks, colliders); (2) semantische verankering door toewijzing van labels uit de echte wereld (bijv. medicijnen, infectie) en metadata; (3) het bemonsteren van variabele waarden uit een Structural Causal Model (SCM) om causale consistentie te waarborgen; (4) het injecteren van gestructureerde ruis; en (5) het samenstellen van vragen in natuurlijke taal.
   • Ruissoorten: De benchmark introduceert zes beheersbare ruiscategorieën om imperfecties uit de echte wereld te simuleren:
     • Waardeperturbatie (VP): Het omdraaien van variabele waarden.
     • Injectie van irrelevante variabelen (IV): Het toevoegen van niet-causale, schijnvariabelen.
     • Gedeeltelijke masking (PM): Het verbergen van waargenomen variabele waarden.
     • Causale verwisseling (CS): Het verwisselen van waarden van gekoppelde knopen om conditionele logica te verbreken.
     • Latente confounders (CI): Het simuleren van verborgen variabelen die meerdere knopen beïnvloeden.
     • Vraagperturbatie (QP): Het aanpassen van vragen zodat ze in tegenspraak zijn met de onderliggende SCM.
   • Schaal: De dataset bevat 10.617 vraag-antwoordparen die diverse ruiscombinaties en moeilijkheidsgraden bestrijken.

2. Door grafen geleid redeneerkader:

   • In plaats van end-to-end black-box inferentie, decomposeert de voorgestelde methode redeneren in drie stappen:
     1. Variabele extractie: De LLM identificeert sleutelelementen en latente factoren uit de context.
     2. Constructie van causale grafen: De LLM construeert een taakspecifieke DAG en voorspelt causale directionaliteit tussen variabeleparen.
     3. Gestructureerde inferentie: De achtergrondcontext, waargenomen waarden en het geconstrueerde graf worden opgemaakt tot een gestructureerde prompt. De LLM voert vervolgens inferentie uit die is verankerd in deze expliciete symbolische structuur, in plaats van uitsluitend te vertrouwen op statistische patronen.

Belangrijkste bijdragen

• NoisyCausal-benchmark: Een nieuwe evaluatiesuite met expliciete causale grafen, scenario's in natuurlijke taal en beheersbare gestructureerde ruis, ontworpen om robuustheid te testen tegen afleiders, confounders en gedeeltelijke waarneembaarheid.
• Modulair kader: Een redeneerarchitectuur die LLM's integreert met expliciete causale abstracties. Het gebruikt de causale graf als een interpreteerbaar tussenstadium om de LLM te sturen, waarbij het scheiden van structuurextractie van inferentie.
• Empirische validatie: Aantonen dat het combineren van causale structuur met LLM-redeneren de prestaties en robuustheid aanzienlijk verbetert in vergelijking met standaard prompting en Chain-of-Thought (CoT)-baselines.

Experimentele resultaten

• Prestaties op NoisyCausal: De door grafen geleide methode behaalde 80,7% nauwkeurigheid op schone data, en presteerde beter dan GPT-4 (62,8%) en Causal CoT (73,4%). Onder gestructureerde ruis behield de voorgestelde methode een hoge stabiliteit (bijv. 77,3% bij Waardeperturbatie, 73,5% bij Latente Confounders), terwijl standaard LLM's en CoT-baselines aanzienlijke achteruitgang vertoonden (bijv. daalde GPT-3.5 naar 43,8% bij Vraagperturbatie).
• Generalisatie: Het model generaliseerde naar de externe Cladder-benchmark zonder taakspecifieke tuning, en behaalde 82,3% nauwkeurigheid, waarmee het alle baselines overtrof.
• Ablatiestudies:
  • Het verwijderen van de causale graf of het gebruik van een willekeurig opnieuw verbonden graf veroorzaakte aanzienlijke prestatiedalingen (ongeveer 15–20%), wat de noodzaak bevestigt van correcte structurele begeleiding.
  • De prestaties namen op een vloeiende manier af naarmate ruissoorten werden gecombineerd, dalend van 73,47% (1 ruissoort) naar 57,98% (alle 6 ruissoorten).
  • Het kader bleek gevoeliger voor incorrecte causale directionaliteit (Direction Reversal) dan voor het verwijderen van randen.
• Structuurontdekking: GPT-4 behaalde hoge F1-scores (>85%) bij het extraheren van causale grafen uit schone tekst, hoewel de prestaties verslechterden bij ruis. Gestructureerde prompts leverden betere extractiekwaliteit op dan instructies in natuurlijke taal.
• Belief-Inconsistent Perturbatie (BIP): Wanneer ze werden blootgesteld aan prompts met algemene misvattingen die in tegenspraak waren met de causale graf, leden standaard modellen aan nauwkeurigheidsdalingen (tot 6%), terwijl het door grafen geleide model robuust bleef (met slechts een daling van 1,2%).
• Overdraagbaarheid: Het fine-tunen van LLaMA-7B op NoisyCausal verbeterde zijn prestaties op de door mensen geschreven CausalQA-benchmark met 5,1 procentpunten, wat suggereert dat de aangeleerde vaardigheden overdraagbaar zijn naar taken uit de echte wereld.

Betekenis en claims
Het artikel betoogt dat huidige LLM's vaak falen in causaal redeneren omdat ze vertrouwen op statistische associaties uit pretraining-corpora in plaats van mechanische afhankelijkheden. De auteurs claimen dat NoisyCausal dient als een kritisch diagnostisch hulpmiddel om specifieke faalmodi (bijv. gevoeligheid voor afleiders, verwardheid) te isoleren die moeilijk te ontwarren zijn in natuurlijke corpora.

De primaire betekenis ligt in het aantonen dat het combineren van causale abstracties met taalgedreven redeneren tot meer getrouwe en robuuste inferentie leidt. Door LLM's te sturen met expliciete symbolische structuren, mitigeert het voorgestelde kader de neiging om correlatie te verwarren met causaliteit, zelfs onder ruisige omstandigheden. De auteurs positioneren deze aanpak als een stap richting "causaal bewust" LLM's, met de nadruk dat structurele verankering essentieel is voor het bereiken van robuuste AI in onzekere omgevingen.

Beperkingen
De auteurs erkennen dat het kader afhankelijk is van door LLM's gebaseerde variabele extractie en grafconstructie, wat cascadefouten kan introduceren. Het huidige ontwerp mist end-to-end optimalisatie, en hoewel de benchmark divers is, blijft generalisatie naar multimodale of open-domein discours uit de echte wereld ongetest. Voor toekomstig werk wordt voorgesteld om schatting van vertrouwen, gezamenlijke training en evaluatie op multimodale data uit de echte wereld op te nemen.