Evaluating Bivariate Causal Statements Based on Mutual Compatibility

Technisches Resümee: Evaluierung bivariater kausaler Aussagen basierend auf gegenseitiger Kompatibilität

Problemstellung
In vielen realen Domänen wie der Medizin oder der Wirtschaft ist die Etablierung einer kausalen Grundwahrheit durch Experimente oft nicht durchführbar oder unverhältnismäßig teuer. Folglich stützt sich die kausale Inferenz stark auf Expertenwissen oder zunehmend auf die Outputs von Large Language Models (LLMs). Diese Quellen liefern typischerweise bivariate kausale Aussagen (paarweise Ursache-Wirkungs-Beziehungen) anstatt vollständiger multivariater kausaler Graphen. Während Menschen und LLMs die Bewertung paarweiser Beziehungen leichter finden, ist die Aggregation dieser Aussagen zu einem kohärenten globalen Modell eine Herausforderung. Bestehende Methoden zur Evaluierung kausaler Behauptungen ohne Grundwahrheit verlassen sich oft auf die Konsistenz mit Daten oder spezifische Entdeckungsalgorithmen. Dieses Paper adressiert die grundlegende Frage, wie die Zuverlässigkeit von Sammlungen bivariater kausaler Aussagen zu bewerten ist, wenn keine Grundwahrheit verfügbar ist, insbesondere durch die Evaluierung ihrer gegenseitigen Kompatibilität.

Methodik
Die Autoren schlagen zwei unterschiedliche Frameworks zur Evaluierung bivariater kausaler Aussagen vor, abhängig von der Art der bereitgestellten Information: quantitativ (lineare Koeffizienten) oder qualitativ (Existenz/Richtung in Graphen).

1. Kompatibilität für lineare bivariate kausale Aussagen
Dieser Ansatz zielt auf Aussagen ab, die totale paarweise kausale Effekte mittels linearer Koeffizienten ($\alpha_{ij}$) quantifizieren.

• Theoretische Grundlage: Die Autoren zeigen, dass für jede azyklische Liste linearer bivariater Aussagen ein eindeutiges multivariates lineares Strukturgleichungsmodell (SEM) existiert, dessen bivariate Marginals exakt mit den gegebenen Aussagen übereinstimmen. Da ein eindeutiges Modell immer existiert, greifen traditionelle „harte“ Kompatibilitätsbeschränkungen (über die Azyklizität hinaus) nicht.
• Das Konfundierungs-Postulat: Um die Plausibilität zu bewerten, führen die Autoren ein Postulat ein: Ein generisches multivariates kausales Modell sollte nicht mehr Konfundierung aufweisen als seine bivariaten Marginalmodelle. Die Intuition ist, dass die Marginalisierung eines multivariaten Modells beobachtete kausale Pfade reduziert, wodurch die unbeobachtete Konfundierung in den Marginals steigt. Wenn das induzierte multivariate Modell weniger Konfundierung benötigt als die Marginals, um die Daten zu erklären, impliziert dies eine spezifische, unwahrscheinliche Auslöschung kausaler Pfade (Verletzung des Postulats).
• Bewertungsmechanismus:
  • Konfundierungsmaß: Sie definieren ein Konfundierungsscore basierend auf dem quadratischen Residuum der Kovarianzen, die nicht durch beobachtete kausale Pfade erklärt werden. Für ein bivariates Modell ist dies $(\Sigma_{ij} - \alpha_{ij}\Sigma_{ii})^2$. Für das multivariate Modell ist es das quadratische Residuum nach Berücksichtigung aller gerichteten Pfade und vollständig beobachteter Back-door-Pfade.
  • Kompatibilitäts-Score: Der Score ist definiert als die Summe über alle Paare der Differenz zwischen der bivariaten Konfundierung und der multivariaten Konfundierung:
    $$\text{comp}(\Sigma, A) = \sum_{i<j} (C^{\text{biv}}_{ij} - C^{\text{mult}}_{ij})$$
  • Interpretation: Ein negativer Score deutet auf eine Verletzung des Konfundierungs-Postulats hin und dient als Beleg zur Falsifizierung der Aussagen. Ein positiver Score garantiert keine Korrektheit, zeigt aber an, dass die Aussagen ein plausibles Modell induzieren.
• Theoretische Garantien: Das Paper beweist, dass für zufällige kausale Modelle, die Unverzerrtheit und Unabhängigkeit der Mechanismen erfüllen, der erwartete Kompatibilitäts-Score positiv ist. Zudem werden Finite-Sample-Konzentrationsgrenzen bereitgestellt, die zeigen, dass empirische Schätzungen des Scores mit polynomialer Stichprobenkomplexität gegen den wahren Score konvergieren.

2. Inkompatibilität für graphische bivariate kausale Aussagen
Dieser Ansatz zielt auf qualitative Aussagen ab, die das Vorhandensein/Fehlen von kausalen Effekten und Konfundierung angeben, modelliert als Acyclic Directed Mixed Graphs (ADMGs).

• Graphische Kompatibilität: Unter der Annahme der Treue (Faithfulness) ist eine Sammlung bivariater ADMGs genau dann kompatibel, wenn sie die Marginalisierungen eines einzigen globalen ADMG sind. Dies erfordert drei Bedingungen:
  1. Der gerichtete Teil des Vereinigungsgraphen ist azyklisch.
  2. Der gerichtete Teil ist transitiv abgeschlossen.
  3. Wenn ein Konfundierungspfad zwischen zwei Knoten existiert, muss ein bidirektionaler Rand zwischen ihnen existieren.
• Inkompatibilitäts-Score: Da das Finden des nächsten kompatiblen Graphen NP-hart ist (verwandt mit dem Acyclic Transitivity Editing Problem), schlagen die Autoren einen heuristischen Algorithmus vor, um die minimale Anzahl an Kantenänderungen (Hinzufügen, Löschen) zu approximieren, die erforderlich sind, um die drei Bedingungen zu erfüllen. Der Score ist die Summe der Änderungen, die nötig sind, um:
  1. Zyklen zu brechen (Feedback Arc Set).
  2. Den transitiven Abschluss zu erzwingen.
  3. Die Konfundierungspfad-Abschluss-Eigenschaft zu erzwingen.
• Eigenschaften: Der heuristische Score ist eine obere Schranke für die wahre Inkompatibilität. Wenn der Score Null ist, sind die Aussagen perfekt kompatibel; wenn er groß ist, deutet dies auf eine signifikante Inkonsistenz hin.

Zentrale Ergebnisse

• Synthetische Experimente:
  • Linearer Fall: Der Kompatibilitäts-Score unterscheidet erfolgreich korrekte von inkorrekten Aussagen. Wenn Rauschen (Fehler) zu den wahren Koeffizienten hinzugefügt wird, sinkt der Anteil der Aussagen mit positiven Scores. Der Score ist robust gegenüber verborgenen Variablen und verbessert sich mit der Anzahl der beobachteten Variablen und der Modell-Dichte.
  • Graphischer Fall: Der Inkompatibilitäts-Score steigt monoton mit der Anzahl der injizierten Fehler in synthetischen Graphen. Für dünnbesetzte Graphen approximiert er eng die wahre Fehleranzahl; für dichte Graphen dient er als zuverlässige obere Schranke.
• LLM-Evaluierung:
  • Die Autoren wendeten diese Methoden auf kausale Behauptungen verschiedener LLMs (z. B. Claude, GPT, Gemma, Qwen) bezüglich sozioökonomischer Indikatoren (Bevölkerungsdichte, Alphabetisierungsrate, Einkommen etc.) an.
  • Lineare Ergebnisse: Die Kompatibilitäts-Scores variierten signifikant zwischen den Modellen, wobei Modelle mit höherer Kapazität im Allgemeinen höhere (plausiblere) Scores erzielten. Viele LLMs erhielten negative Scores, was darauf hindeutet, dass ihre generierten Aussagen intern inkonsistent waren.
  • Graphische Ergebnisse: Die meisten LLM-Outputs führten zu nicht-null Inkompatibilitäts-Scores. Interessanterweise produzierten einige Modelle mit niedrigen Scores extrem dichte Graphen (die behaupteten, überall Konfundierung zu haben), was die Kompatibilitätsbedingungen trivial erfüllte, aber wenig Informationsgehalt besaß. Beim Filtern nach informativen Graphen (geringere Kanten-Dichte) zeigte sich eine Korrelation zwischen niedrigeren Inkompatibilitäts-Scores und höherer Modellkapazität.

Bedeutung und Ansprüche
Das Paper beansprucht, eine fundamentale Methode zur Bewertung der Zuverlässigkeit kausaler Informationen von menschlichen Experten oder KI in Abwesenheit von Grundwahrheit bereitzustellen.

• Falsifizierung vs. Verifizierung: Die Autoren betonen, dass ihre Methoden primär Werkzeuge zur Falsifizierung sind. Ein negativer Kompatibilitäts-Score oder ein hoher Inkompatibilitäts-Score liefert Belege dafür, dass eine Menge von Aussagen inkorrekt oder inkonsistent ist. Ein positiver Score beweist keine Korrektheit, zeigt aber an, dass die Aussagen einen „Sanity Check“ hinsichtlich der gegenseitigen Plausibilität bestanden haben.
• Unabhängigkeit von Faithfulness (Linearer Fall): Ein wesentlicher Beitrag ist die Fähigkeit des linearen Frameworks, Aussagen zu bewerten, ohne auf die Annahme der Treue (Faithfulness) angewiesen zu sein, die in der Praxis oft verletzt wird.
• Praktische Anwendung: Die Arbeit zeigt, dass diese Metriken die Qualität des kausalen Denkens verschiedener LLMs differenzieren können, was auf einen Nutzen für Post-Training-Filterung, Validierungspipelines oder die automatisierte Evaluierung von KI-generierten kausalen Behauptungen hindeutet.

Die Autoren bleiben bescheiden und merken an, dass hohe Scores keine Wahrheit garantieren und dass zukünftige Arbeiten diese Frameworks auf unvollständige Listen von Aussagen ausweiten oder Aussagen über kleine Teilmengen von Variablen einbeziehen könnten.