Evaluating Bivariate Causal Statements Based on Mutual Compatibility

Technische Samenvatting: Evaluatie van Bivariate Causale Beweringen op Basis van Wederzijdse Compatibiliteit

Probleemstelling
In veel reële domeinen, zoals de geneeskunde en economie, is het vaststellen van de causale grondwaarheid (ground truth) via experimenten vaak onhaalbaar of prohibitief duur. Bij gevolgtrekking (causal inference) wordt daarom zwaar geleund op deskundige kennis of, steeds vaker, op de outputs van Large Language Models (LLMs). Deze bronnen leveren doorgaans bivariate causale beweringen (paren van oorzaak-gevolgrelaties) aan in plaats van volledige multivariate causale grafen. Hoewel mensen en LLM's het makkelijker vinden om paren te beoordelen, is het aggregeren van deze beweringen tot een coherent globaal model een uitdaging. Bestaande methoden voor het evalueren van causale claims zonder grondwaarheid vertrouwen vaak op consistentie met data of specifieke ontdekkingsalgoritmen. Dit artikel behandelt de fundamentele vraag hoe de betrouwbaarheid van collecties bivariate causale beweringen kan worden beoordeeld wanneer er geen grondwaarheid beschikbaar is, specifiek door hun wederzijdse compatibiliteit te evalueren.

Methodologie
De auteurs stellen twee verschillende kaders voor om bivariate causale beweringen te evalueren, afhankelijk van de aard van de verstrekte informatie: kwantitatief (lineaire coëfficiënten) of kwalitatief (grafische existentie/richting).

1. Compatibiliteit voor Lineaire Bivariate Causale Beweringen
Deze aanpak richt zich op beweringen die totale bivariate causale effecten kwantificeren via lineaire coëfficiënten ($\alpha_{ij}$).

• Theoretisch Fundament: De auteurs tonen aan dat voor elke acyclische lijst van lineaire bivariate beweringen, er een unieke multivariate lineaire Structurele Vergelijkingsmodel (SEM) bestaat waarvan de bivariate marginalen exact overeenkomen met de gegeven beweringen. Omdat er altijd een uniek model bestaat, zijn traditionele "harde" compatibiliteitsbeperkingen (buiten acycliciteit) niet van toepassing.
• Het Confounding Postulaat: Om plausibiliteit te evalueren, introduceren de auteurs een postulaat: een generiek multivariate causaal model zou niet meer confounding (verstrengeling) mogen vertonen dan zijn bivariate marginale modellen. De intuïtie is dat het marginaliseren van een multivariate model geobserveerde causale paden vermindert, waardoor de ongeobserveerde confounding in de marginalen toeneemt. Als het geïnduceerde multivariate model minder confounding vereist dan de marginalen om de data te verklaren, impliceert dit een specifieke, onwaarschijnlijke annulering van causale paden (wat het postulaat schendt).
• Scoringmechanisme:
  • Confounding Maatstaf: Ze definiëren een confounding-score gebaseerd op het gekwadrateerde residu van covarianties die niet worden verklaard door geobserveerde causale paden. Voor een bivariate model is dit $(\Sigma_{ij} - \alpha_{ij}\Sigma_{ii})^2$. Voor het multivariate model is dit het gekwadrateerde residu na rekening te houden met alle gerichte paden en volledig geobserveerde back-door paden.
  • Compatibiliteitsscore: De score wordt gedefinieerd als de som over alle paren van het verschil tussen de bivariate confounding en de multivariate confounding:
    $$\text{comp}(\Sigma, A) = \sum_{i<j} (C^{\text{biv}}_{ij} - C^{\text{mult}}_{ij})$$
  • Interpretatie: Een negatieve score duidt op een schending van het confounding postulaat, wat dient als bewijs om de beweringen te falsifiëren. Een positieve score garandeert geen juistheid, maar geeft aan dat de beweringen een plausibel model induceren.
• Theoretische Garanties: Het artikel bewijst dat voor willekeurige causale modellen die voldoen aan onbevooroordeeldheid (unbiasedness) en onafhankelijkheid van mechanismen, de verwachte compatibiliteitsscore positief is. Het biedt ook concentratiegrenzen voor eindige steekproeven die aantonen dat empirische schattingen van de score convergeren naar de ware score met polynomiale steekproefcomplexiteit.

2. Incompatibiliteit voor Grafische Bivariate Causale Beweringen
Deze aanpak richt zich op kwalitatieve beweringen die de aanwezigheid/afwezigheid van causale effecten en confounding aangeven, gemodelleerd als Acyclic Directed Mixed Graphs (ADMG's).

• Grafische Compatibiliteit: Onder de faithfulnes-aanname is een collectie bivariate ADMG's compatibel dan en slechts dan als zij de marginalisaties zijn van een enkele globale ADMG. Dit vereist drie voorwaarden:
  1. Het gerichte deel van de unie-graaf is acyclisch.
  2. Het gerichte deel is transitief gesloten.
  3. Als er een confounding-pad bestaat tussen twee knopen, moet er een bidirected edge bestaan tussen hen.
• Incompatibiliteitsscore: Omdat het vinden van de dichtstbijzijnde compatibele graaf NP-hard is (gerelateerd aan het Acyclic Transitivity Editing probleem), stellen de auteurs een heuristisch algoritme voor om de minimale hoeveelheid edge-edits (toevoegingen, verwijderingen) te benaderen die nodig zijn om aan de drie voorwaarden te voldoen. De score is de som van de edits die nodig zijn om:
  1. Cycli te doorbreken (Feedback Arc Set).
  2. Transitieve afsluiting af te dwingen.
  3. De confounding-pad afsluitingseigenschap af te dwingen.
• Eigenschappen: De heuristische score is een bovengrens op de ware incompatibiliteit. Als de score nul is, zijn de beweringen perfect compatibel; als de score groot is, duidt dit op significante inconsistentie.

Belangrijkste Resultaten

• Synthetische Experimenten:
  • Lineair geval: De compatibiliteitsscore onderscheidt succesvol correcte van incorrecte beweringen. Naarmate ruis (fout) wordt toegevoegd aan de werkelijke coëfficiënten, neemt het deel van de beweringen met positieve scores af. De score is robuust tegen verborgen variabelen en verbetert bij een groter aantal geobserveerde variabelen en hogere modeldichtheid.
  • Grafisch geval: De incompatibiliteitsscore neemt monotoon toe met het aantal geïnjecteerde fouten in synthetische grafen. Voor ijle (sparse) grafen benadert het de ware fouten telling nauwkeurig; voor dichte (dense) grafen dient het als een betrouwbare bovengrens.
• LLM Evaluatie:
  • De auteurs hebben deze methoden toegepast op causale claims gegenereerd door diverse LLM's (bijv. Claude, GPT, Gemma, Qwen) met betrekking tot sociaaleconomische indicatoren (bevolkingsdichtheid, geletterdheid, inkomen, etc.).
  • Lineaire Resultaten: De compatibiliteitsscores varieerden aanzienlijk tussen modellen, waarbij modellen met een hogere capaciteit over het algemeen hogere (plausibelere) scores behaalden. Veel LLM's kregen negatieve scores, wat aangeeft dat hun gegenereerde beweringen intern inconsistent waren.
  • Grafische Resultaten: De meeste LLM-outputs resulteerden in niet-nul incompatibiliteitsscores. Interessant genoeg produceerden sommige modellen met een lage score extreem dichte grafen (die overal confounding claimden), wat de compatibiliteitsvoorwaarden triviaal bevredigt maar gebrek aan informatieve waarde heeft. Wanneer er gefilterd werd op informatieve grafen (lagere edge density), ontstond er een correlatie tussen lagere incompatibiliteitsscores en hogere modelcapaciteit.

Betekenis en Claims
Het artikel beweert een fundamentele methode te bieden voor het beoordelen van de betrouwbaarheid van causale informatie afgeleid van menselijke experts of AI in de afwezigheid van grondwaarheid.

• Falsificatie vs. Verificatie: De auteurs benadrukken dat hun methoden primair instrumenten zijn voor falsificatie. Een negatieve compatibiliteitsscore of een hoge incompatibiliteitsscore levert bewijs dat een set beweringen onjuist of inconsistent is. Een positieve score bewijst geen juistheid, maar geeft aan dat de beweringen een "sanity check" passeren met betrekking tot wederzijdse plausibiliteit.
• Onafhankelijkheid van Faithfulness (Lineair geval): Een belangrijke bijdrage is het vermogen van het lineaire framework om beweringen te evalueren zonder afhankelijk te zijn van de faithfulness-aanname, die in de praktijk vaak wordt geschonden.
• Praktische Toepassing: Het werk laat zien dat deze metrieken de kwaliteit van causaal redeneren in verschillende LLM's kunnen differentiëren, wat nut suggereert voor post-training filtering, validatiepipelines of de automatische evaluatie van door AI gegenereerde causale claims.

De auteurs blijven bescheiden en merken op dat hoge scores geen waarheid garanderen en dat toekomstig werk deze kaders kan uitbreiden naar incomplete lijsten van beweringen of beweringen over kleine subsets van variabelen kan bevatten.