Why LLMs Fail at Causal Discovery and How Interventional Agents Escape

Technische Samenvatting: Waarom LLM's Falen bij Causale Ontdekking en Hoe Interventieve Agenten Ontsnappen

Probleemstelling
Causale ontdekking – het herwinnen van causale grafstructuren uit statistische data – is fundamenteel voor wetenschappelijk redeneren, maar blijft een open uitdaging voor Large Language Models (LLM's). Hoewel LLM's uitblinken in natuurlijke taalopdrachten, geven recente benchmarks (bijv. Corr2Cause) aan dat ze niet betrouwbaar kunnen onderscheiden tussen causale grafen die vergelijkbare observationele data genereren. Specifiek worstelen modellen met "near-miss"-hypothese: Gerichte Acyclische Grafen (DAG's) die tot verschillende Markov-equivalentieklassen behoren, maar bijna identieke conditionele onafhankelijkheidsuitspraken produceren. Bestaande benaderingen, waaronder promptstrategieën, supervised fine-tuning (SFT), direct preference optimization (DPO) en in-context learning (ICL), vertonen empirische degradatie naarmate grafcomplexiteit toeneemt, maar de theoretische reden voor dit falen is nog niet vastgesteld.

Methodologie en Theoretisch Kader
De auteurs formaliseren het falen van LLM's bij causale ontdekking als een Kernel Obstructie-stelling.

1. Kernel Obstructie-stelling (Stelling 1): Het artikel bewijst dat SFT, DPO en ICL allemaal voorspellers voortbrengen die opereren binnen een Reproducing Kernel Hilbert Space (RKHS) met begrenste normen (het "luie" of NTK-regime). Voor "near-miss"-paren van causale hypothesen (bijv. een keten $V_1 \to V_2 \to V_3$ versus een vork $V_1 \leftarrow V_2 \to V_3$) zijn de observationele datatokens bijna identiek, wat leidt tot een kernelsimilariteit die naar 1 nadert ($\delta \to 0$).

   • De stelling toont aan dat om deze hypothesen te scheiden met een scoremarge $\gamma$, de norm van de weegvector van de voorspeller ($B$) moet groeien als $B \geq \gamma / (\kappa\sqrt{2\delta})$.
   • Naarmate grafcomplexiteit ($d$) toeneemt, schaalt $\delta$ als $O(1/d^2)$. Bijgevolg divergeert de vereiste norm $B$ naar oneindig. Aangezien trainingsmethoden zoals SFT en DPO opereren onder de beperking van begrenste normen (luie training), zijn ze geometrisch onbekwaam om near-miss-hypothesen te onderscheiden naarmate complexiteit toeneemt.

2. Agente Causale Bayesiaanse Optimalisatie (A-CBO): Om deze obstructie te ontsnappen, stellen de auteurs een kader voor dat het discrete besluitvormingsproces buiten de RKHS van de LLM verplaatst.

   • Interventie-Orakel: Een bevroren LLM fungeert uitsluitend als een orakel dat binaire interventievragen beantwoordt (bijv. "Verandert $V_j$ onder $do(V_i=v)$?"). Lemma 2 bewijst dat, hoewel observationele data near-misses kunnen zijn, interventieve antwoorden kernel-gescheiden zijn door een constante marge $\rho$ die onafhankelijk is van $\delta$.
   • Externe Bayesiaanse Lus: Een externe agent onderhoudt een kansverdeling over kandidaat-grafen in het kanssimplex $\Delta^{n-1}$. Het gebruikt informationeel-theoretische scoring (Informatiewinst) om de meest discriminerende interventie te selecteren, vraagt de LLM, en update de geloofswaardeverdeling via de regel van Bayes.
   • Convergentie: Omdat de besluitlogica in het simplex opereert in plaats van in de RKHS, is de convergentiesnelheid onafhankelijk van de near-miss-parameter $\delta$. Stelling 2 bewijst dat A-CBO convergeert naar de juiste graf in $O(\log n)$ rondes, mits de ware graf interventie-onderscheidbaar is.

Belangrijkste Bijdragen

1. Theoretisch Bewijs van Falen: Het artikel stelt vast dat het onvermogen van LLM's om near-miss causale hypothesen te scheiden, een fundamentele geometrische obstructie is die inherent is aan kernel-type voorspellers (SFT, DPO, ICL) in het luie regime, en geen beperking van modelgrootte of datavolume.
2. A-CBO Kader: De introductie van Agente Causale Bayesiaanse Optimalisatie, die de rol van de LLM (het beantwoorden van lokale binaire vragen) ontkoppelt van de causale beslissing (globale hypotheseselectie), waardoor de kernel obstructie wordt omzeild.
3. Uitgebreide Benchmark: De creatie van Extended Corr2Cause, een nieuwe benchmark die schaalt van 7 tot 24 variabelen met 18.000 teststalen, ontworpen om causale discriminatie op schaal te testen waar near-miss-gaten krimpen tot $O(1/d^2)$.

Experimentele Resultaten

• Corr2Cause (Origineel): A-CBO komt de prestaties van met fine-tuning getrainde baselines (bijv. LLaMA-7B FT) gelijk of overtreft ze zonder enige gradiëntupdates. Bijvoorbeeld, een hoogwaardig A-CBO-model (GLM-5.1) behaalde een F1 van 93,2, wat de met fine-tuning getrainde LLaMA-7B (92,0) overtreft.
• Extended Corr2Cause (d=7–24):
  • Schaalbaarheid: Met fine-tuning getrainde modellen (SFT en DPO) degraderen catastrofaal naarmate de grafgrootte toeneemt, dalend naar bijna willekeurige nauwkeurigheid (35,1% voor SFT bij $d=21-24$). Daarentegen behoudt A-CBO robuuste prestaties (83,2% nauwkeurigheid voor hoogwaardige modellen) over alle grafgroottes.
  • Groeiend Voordeel: Het prestatieverschil tussen A-CBO en met fine-tuning getrainde baselines groeit monotoon met grafcomplexiteit. Op de moeilijkste grafen ($d=21-24$) presteert A-CBO 44,7 procentpunten beter dan SFT.
  • Ablatie: De agentlus zelf drijft de prestaties. Het toepassen van A-CBO op zero-shot-modellen levert enorme winsten op (bijv. +59,3 pp voor Qwen3-30B), wat bevestigt dat de verbetering voortkomt uit de architecturale verschuiving in plaats van pure modelcapaciteit.

Betekenis en Claims
Het artikel claimt dat interventieve bevraging niet slechts een heuristiek is, maar een bewezen noodzakelijke en voldoende ontsnapping uit de RKHS-obstructie. Door de LLM te beperken tot een niet-beslissende orakelrol en het onderscheiden van hypothesen te delegeren aan een externe Bayesiaanse lus, bereikt A-CBO betrouwbare causale ontdekking op schaal zonder dat het model nieuwe representaties hoeft te leren of het luie trainingsregime hoeft te verlaten. Dit werk biedt een principieel fundament voor LLM-agenten in wetenschap en beleid, en betoogt dat echte causale intelligentie vereist dat men verder gaat dan correlatieve supervisie naar interventieve redeneerstructuren die de geometrische grenzen van huidige leerparadigma's respecteren.