Technisches Resümee: CausalDS – Benchmarking von kausalem Denken in Data-Science-Agenten

1. Problemstellung

Aktuelle Benchmarks für Large Language Models (LLMs) im Bereich Data Science und kausales Denken leiden unter einer Fragmentierung, die die Komplexität realer kausaler Analysen nicht erfassen kann. Bestehende Evaluierungen isolieren typischerweise spezifische Fähigkeiten:

• Data-Science-Benchmarks (z. B. DS-1000, MLE-bench) legen den Fokus auf Kodierung, Werkzeugnutzung und offene Analysen, lassen aber eine verborgene, prinzipielle kausale Datengenerierungsstruktur vermissen.
• Benchmarks für kausales Denken (z. B. CLadder, CausalGraph2LLM) testen symbolisches Graph-Reasoning, Intervention und kontrafaktische Logik, operieren jedoch oft rein auf symbolischer Ebene oder nutzen kuratierte Beispiele aus der bestehenden Literatur.

Diese Trennung schafft eine Lücke, in der Modelle dazu neigen könnten, sich auf „amortisiertes kausales Schließen“ (das Auswendiglernen von Mustern aus existierenden Datensätzen) zu verlassen, anstatt echtes struktur-sensitives Denken zu zeigen – ein Fehlermodus, der als „kausaler Papagei“ bezeichnet wird. Darüber hinaus erfordert eine realistische kausale Data Science von einem Agenten, nicht nur kausale Fragen zu beantworten, sondern auch Domänenbeschreibungen zu interpretieren, Beobachtungsdaten zu inspizieren, Identifizierbarkeit zu bestimmen, Quantitäten zu schätzen, Unsicherheit zu quantifizieren und zu erkennen, wann eine Frage unbeantwortbar ist (Abstention/Enthaltung). Kein existierender Benchmark evaluiert gleichzeitig symbolisches Denken, Data-Science-Ausführung, Unsicherheitsquantifizierung, epistemische Enthaltung und Werkzeugnutzung innerhalb eines einzigen, synthetischen, aber realistischen Frameworks.

2. Methodik: Das CausalDS-Framework

CausalDS adressiert diese Lücke durch die Generierung synthetischer kausaler Data-Science-Szenen, die als Basiseinheit des Benchmarks dienen. Jede Szene besteht aus einem verborgenen Strukturellen Kausalen Modell (SCM), einer erzählerischen Geschichte in natürlicher Sprache, tabellarischen Beobachtungsdaten und einer Suite von Aufgaben, die Pearls dreistufige Hierarchie abdecken.

2.1 Pipeline zur Szenengenerierung

Der Generierungsprozess folgt einer strikten Pipeline, um sicherzustellen, dass die Grundwahrheit (Ground Truth) bekannt bleibt, während die narrative Kohärenz gewahrt wird:

1. Graph-Sampling: Gerichtete azyklische Graphen (DAGs) werden aus kanonischen Motiven (Ketten, Forks, Confounder, Collider usw.) gesampelt und können mittels „Anchor-based Grafting“ erweitert werden, wobei Hilfsmotive über gemeinsame Knoten angehängt werden, um die Komplexität zu erhöhen, während der narrative Fluss erhalten bleibt.
2. SCM-Instanziierung: Jeder Graph wird mit einem Strukturellen Kausalen Modell unter Verwendung typisierter Mechanismus-Profile (kontinuierlich und binär) instanziiert, die aus Registern stammen, welche empirische biochemische/Boolesche Regeln mit synthetischen Regimen mischen.
3. Beobachtungsschicht: Eine kritische Designentscheidung unterscheidet das konzeptionelle SCM von den an den Agenten übergebenen Daten. Konzeptionelle Variablen können durch Bündel verrauschter Messungen (Proxies) ersetzt werden. Diese Schicht erhöht die Schwierigkeit der Datenanalyse, ohne den Status der zugrunde liegenden kausalen Identifizierbarkeit zu verändern.
4. Verbalisierung: Abstrakte Knoten werden auf domänenspezifische Variablennamen abgebildet (optional gesät aus CauseNet) und von einem Auditor verifiziert, um sicherzustellen, dass die generierte Geschichte in natürlicher Sprache die verborgene Struktur getreu widerspiegelt, ohne „akzidentelle Kanten“ einzuführen.
5. Aufgabenableitung: Aus jeder Szene werden Aufgaben über die drei Stufen (Rung 1: assoziativ/prädiktiv, Rung 2: interventionell/Identifikation/Schätzung, Rung 3: kontrafaktisch/Mediation) abgeleitet.

2.2 Evaluation Harness

Agenten interagieren mit einer Sandbox-Umgebung (unter Verwendung von mini-swe-agent), in der sie:

• Die bereitgestellten Dateien (Geschichten, Datenschemata, Beobachtungsdaten) lesen müssen.
• Code (Python/Bash) ausführen, um Analysen durchzuführen.
• Antwortdateien in einem spezifischen Format schreiben.
• Imperfekte Beobachtungen handhaben und entscheiden müssen, ob sie sich bei nicht-identifizierbaren Zielen enthalten (Abstention).

2.3 Scoring und Metriken

Die Evaluierung ist vollständig deterministisch und bewertet fünf verschiedene Achsen:

• Symbolisches kausales Denken: Graph-Rekuperation und Identifikationslogik.
• Data-Science-Ausführung: Genauigkeit von Schätzungen und Vorhersagen.
• Unsicherheitsquantifizierung: Kalibrierung von Konfidenzintervallen.
• Epistemische Enthaltung (Abstention): Korrektes Identifizieren nicht-identifizierbarer Abfragen und Verweigern der Antwort.
• Werkzeugnutzung/Effizienz: Token-Verbrauch und Anzahl der Tool-Aufrufe.

Ein zusammengesetzter Score (CausalDSScore) aggregiert die Leistung und bestraft sowohl Inhaltsfehler als auch das Versäumnis der Enthaltung bei nicht-identifizierbaren Aufgaben.

3. Kernbeiträge

• SCM-fundierte synthetische Szenen: Der erste Benchmark, der verborgene SCMs generiert, Beobachtungsdaten synthetisiert und private Ground-Truth-Werte zur Evaluierung berechnet, während die Kompositionsachsen (Variablentypen, Graphstrukturen) an empirische Verteilungen aus realen Datensätzen gekoppelt sind, um Realismus zu gewährleisten.
• Graph-getreue freie Verbalisierung: Eine Pipeline, die abstrakte Graphknoten auf kohärente Domänenvariablen abbildet und Geschichten in natürlicher Sprache generiert, die geprüft wurden, um sicherzustellen, dass das Narrativ nicht von der zugrunde liegenden kausalen Struktur abweicht.
• Separate Beobachtungsschicht: Ein Mechanismus, um die Schwierigkeit der Data Science (via verrauschter Proxies) unabhängig von der kausalen Identifizierbarkeit zu variieren, was es ermöglicht, die Schätzfähigkeiten zu testen, ohne die kausale Frage zu ändern.
• Umfassende Aufgaben-Suite: Ein breites Spektrum an Aufgaben, das alle drei Stufen von Pearls Hierarchie abdeckt, einschließlich Vorhersage, Assoziation, Graph-Rekuperation, Identifikation, Effektschätzung, Bias-Diagnostik und kontrafaktischem Denken.
• Abstentions-bewusste deterministische Evaluierung: Ein Scoring-System, das die Enthaltung bei nicht-identifizierbaren Estimanden als erstklassiges Ergebnis behandelt und verhindert, dass Modelle für das Halluzinieren von Antworten auf unbeantwortbare Fragen belohnt werden.

4. Experimentelle Ergebnisse

Die Autoren evaluierten sechs Modelle (drei Frontier Closed Models: Claude Opus 4.8, Gemini 3.1 Pro, GPT-5.5; und drei Open-Weight Modelle: Qwen 3.6 35B, Kimi K2.6, Gemma 4 26B) in einer 100-Szenen-Prüfung mit realistischer Zusammensetzung.

• Leistungsdissoziation: Die fünf Evaluierungsachsen kollabieren nicht zu einer einzigen Fähigkeit. Modelle unterscheiden sich signifikant in Korrektheit des Inhalts, Unsicherheitsquantifizierung, Erkennung der Enthaltung und Werkzeugnutzungseffizienz.
• Leaderboard: Claude Opus 4.8 erreichte den besten Gesamt-CausalDSScore (0,278) und führte bei der Pass-Rate, dem normalisierten Fehler und dem Signal-Rausch-Verhältnis (SNR). Es war das einzige Modell, das eine perfekte Inhaltskorrektheit (100 %) bei binären Aufgaben erreichte und gleichzeitig eine starke Abstentions-Leistung zeigte.
• Enthaltung als Differenzierungsmerkmal: Die Fähigkeit, nicht-identifizierbare Abfragen zu erkennen, war ein wesentlicher Unterscheidungsfaktor. Frontier-Modelle (insbesondere GPT-5.5 und Claude) zeigten signifikant höhere Abstentions-Pass-Raten (bis zu 75 %) im Vergleich zu Open-Weight-Modellen (so niedrig wie 18,8 % für Gemma 4 26B).
• Unsicherheitsquantifizierung: Alle Modelle zeigten Überkonfidenz. Die empirische Abdeckung nominaler 95 % ATE-Intervalle brach auf zwischen 20,0 % und 71,4 % ein, wobei Claude Opus 4.8 mit 71,4 % am besten abschnitt.
• Werkzeugnutzung und Effizienz: Frontier-Modelle (Claude, GPT-5.5) nutzten eine „Near One-Shot“-Strategie mit weniger Tool-Aufrufen (2,1–3,4 pro Aufgabe) und geringerem Token-Verbrauch, während Open-Weight-Modelle stark iterierten (11–18 Aufrufe/Aufgabe) und deutlich mehr Token verbrauchten.
• Beobachtungsschwierigkeit: Unter den schwierigsten Beobachtungsvarianten (verrauschte Proxies) sank die Leistung, insbesondere bei Open-Weight-Modellen. GPT-5.5 zeigte den größten Abfall in der Kalibrierung kontinuierlicher Schätzungen (mittlerer normalisierter Fehler stieg auf 3,10), während Claude Opus 4.8 einen kontrollierten Fehler beibehielt.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass CausalDS eine notwendige Evolution im Benchmarking darstellt, indem es symbolisches Denken, quantitative Schätzung und agentives Werkzeuggebrauch in einem einzigen, realistischen Setting integriert. Der primäre empirische Befund ist, dass die kompetenz für kausale Data Science zerlegbar ist: Modelle können die Einzelteile meistern (Struktur lesen, Schätzungen produzieren), aber am Ganzen scheitern (zu wissen, welche Qualität die Schätzung hat oder ob eine Antwort überhaupt zulässig ist).

Die Autoren behaupten, dass ein kompetenter kausaler Data-Science-Agent alle fünf Achsen gleichzeitig erfüllen muss. Der Benchmark zeigt auf, dass aktuelle Frontier-Modelle dieser Fähigkeit näherkommen, wobei Claude Opus 4.8 als der am besten „ausgewogene kausale Data-Science-Agent“ hervorgeht, während Open-Weight-Modelle und kleinere Modelle signifikant bei epistemischen Achsen (Enthaltung und Unsicherheit) sowie der Werkzeugnutzungseffizienz zu kämpfen haben. Die Arbeit hebt hervor, dass „zu wissen, wann man sich enthalten muss“ eine separate, fortgeschrittene Fähigkeit ist, die robuste Agenten von jenen unterscheidet, die zu Halluzinationen neigen.