💬 NLP

Multi-Agent Causal Discovery Using Large Language Models

Die Arbeit stellt MAC vor, ein Multi-Agenten-Framework, das die kausale Entdeckung verbessert, indem es die autonome Auswahl statistischer Algorithmen mit einer adversarischen LLM-Debatte über Metadaten kombiniert und damit im Vergleich zu bestehenden statistischen und Single-Agenten-LLM-Methoden eine überlegene Leistung und Robustheit über diverse Benchmarks hinweg erzielt.

Ursprüngliche Autoren: Hao Duong Le, Xin Xia, Haijie Xu, Chen Zhang

Veröffentlicht 2026-05-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hao Duong Le, Xin Xia, Haijie Xu, Chen Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das „Warum" finden

Stellen Sie sich vor, Sie sind ein Detektiv, der herausfinden muss, warum ein Auto liegengeblieben ist. Sie haben zwei Hauptwerkzeuge:

Das Datenprotokoll: Eine Tabelle mit Zahlen, die die Geschwindigkeit, Temperatur und den Kraftstoffstand des Autos im Laufe der Zeit zeigen.
Das Mechaniker-Handbuch: Ein Buch mit Regeln, gesundem Menschenverstand und Expertenwissen darüber, wie Autos normalerweise funktionieren.

Traditionelle Methoden betrachten nur das Datenprotokoll. Sie sind hervorragend darin, Muster in Zahlen zu finden, verpassen aber oft das „große Ganze" oder geraten in Verwirrung, wenn nicht genügend Daten vorhanden sind.
Andererseits verhalten sich neuere KI-Methoden (die Large Language Models oder LLMs verwenden) wie ein einzelner Experte-Mechaniker, der das Handbuch liest. Sie sind intelligent und wissen viel, können aber tückisch sein. Manchmal „raten" sie einfach basierend auf dem, was sie aus dem Internet auswendig gelernt haben, anstatt tatsächlich auf das spezifische Auto vor ihnen zu schauen. Sie könnten sagen: „Es ist definitiv die Batterie", weil das eine häufige Antwort ist, selbst wenn die Daten etwas anderes sagen.

Die Lösung: Das MAC-Framework

Die Autoren haben ein neues System namens MAC (Multi-Agent Causal Discovery) entwickelt. Anstatt sich auf einen Detektiv oder einen Mechaniker zu verlassen, richtet MAC eine Team-Debatte ein, die das Beste aus beiden Welten kombiniert: harte Daten und Expertenwissen.

Stellen Sie sich MAC als ein zweistufiges Gerichtsverfahren vor.

Stufe 1: Der „Daten-Detektiv" (Debate-Coding-Modul)

Zuerst muss das System die rohen Zahlen (das Datenprotokoll) betrachten. Aber welches mathematische Werkzeug sollte es verwenden? Es gibt viele verschiedene statistische Formeln, und keine einzelne funktioniert für jedes Auto am besten.

Die Debatte: Bevor die Mathematik durchgeführt wird, führen drei KI-Agenten (ein „Ja"-Anwalt, ein „Nein"-Anwalt und ein „Richter") eine kurze Debatte. Sie betrachten eine kleine Stichprobe der Daten und des Handbuchs.
Das Urteil: Sie streiten darüber, welche statistische Formel für diesen spezifischen Datensatz am besten geeignet ist.
Die Aktion: Sobald sie sich auf die beste Formel geeinigt haben, wenden sie diese auf die gesamten Daten an. Dies erstellt einen Entwurf des kausalen Graphen (die Karte dessen, was was verursacht). Dieser Schritt stellt sicher, dass die Antwort auf tatsächlichen Zahlen basiert und nicht nur auf Vermutungen.

Stufe 2: Das „Expertengremium" (Meta-Debate-Modul)

Nun hat das System einen Entwurf aus den Zahlen, aber es könnte immer noch einige Kontexte vermissen (wie „dieses Auto wurde im Regen gefahren"). Hier kommt das Metadaten (das Expertenhandbuch) ins Spiel.

Die Debatte: Der Entwurf wird vor Gericht gestellt.
- Der Affirmative-Agent sagt: „Dieser Graph ist korrekt, weil die Daten ihn stützen."
- Der Negative-Agent sagt: „Warten Sie! Laut dem Expertenhandbuch ergibt diese Beziehung keinen Sinn. Hier ist eine bessere Erklärung."
- Der Richter hört beide Seiten an, prüft die Beweise gegen die Regeln im Handbuch und wählt den Gewinner aus.
Das Ergebnis: Der Graph wird verfeinert. Die KI vertraut nicht nur einer Meinung; sie zwingt die „Ja"- und „Nein"-Seiten, zu argumentieren, bis die logischste, evidenzbasierte Schlussfolgerung übrig bleibt.

Der Klebstoff: „Meta Fusion"

Wie spricht man mit einem Computer, der Zahlen spricht, und einem Computer, der Wörter spricht? Das Papier stellt einen „Meta Fusion"-Mechanismus vor. Er nimmt den groben Graphen aus Stufe 1 und übersetzt ihn in einfache englische Sätze (z. B. „Geschwindigkeit verursacht Hitze"). Dies ermöglicht, dass die Debatte in Stufe 2 natürlich stattfindet und die harten Zahlen mit den Expertenregeln vermischt werden.

Warum das wichtig ist (Die Ergebnisse)

Die Autoren testeten dieses System an fünf verschiedenen „Fällen" (Datensätze, die von der Kraftstoffeffizienz von Autos bis zur Erdbeben-Erkennung reichten). Sie verglichen MAC mit:

Althergebrachten, rein mathematischen Detektiven.
Einzelnen KI-Experten.
Anderen KI-Methoden.

Das Ergebnis:
MAC gewann am häufigsten. Es war das einzige System, das den „Erdbeben"-Graphen (ein klassischer Testfall) perfekt rekonstruieren konnte und bei verschiedenen Arten von KI-Modellen konsistent den ersten Platz belegte.

Der Kompromiss: Kosten vs. Qualität

Das Papier stellt fest, dass die Durchführung einer vollständigen Team-Debatte mehr „Tokens" (Rechengeld) kostet als das Stellen einer einfachen Frage an eine einzelne KI.

Für einfache Rätsel: Sie können eine „Single-Agent"-Version von MAC verwenden (nur ein Anwalt und ein Richter), um Geld zu sparen.
Für komplexe Rätsel: Die vollständige Dreipersonen-Debatte ist notwendig, um die richtige Antwort zu erhalten, insbesondere wenn die Daten unordentlich sind oder die Regeln unklar sind.

Zusammenfassung

Kurz gesagt, verhindert MAC, dass KI nur basierend auf dem Gedächtnis „rät". Es zwingt die KI dazu:

Die Mathematik zu prüfen (um sicherzustellen, dass sie in der Realität verwurzelt ist).
Die Logik zu debattieren (um sicherzustellen, dass sie mit Expertenwissen übereinstimmt).
Einen Richter entscheiden zu lassen (um die beste Antwort auszuwählen).

Es ist wie der Übergang davon, eine einzelne Person um Rat zu fragen, hin zu einer Town-Hall-Versammlung, bei der die Daten sprechen, die Experten sprechen und ein neutraler Schiedsrichter sicherstellt, dass die endgültige Entscheidung die Wahrheit ist.

Technische Zusammenfassung: Kausale Entdeckung durch Multi-Agenten mit Large Language Models (MAC)

Problemstellung

Die kausale Entdeckung zielt darauf ab, kausale Beziehungen zwischen Variablen zu identifizieren, was eine grundlegende Herausforderung in wissenschaftlichen Disziplinen darstellt. Traditionelle Methoden der statistischen kausalen Entdeckung (SCD) stützen sich ausschließlich auf Beobachtungsdaten und versagen häufig in großskaligen Systemen, in denen die Gewinnung ausreichender strukturierter Daten nicht praktikabel ist. Darüber hinaus ignorieren diese Methoden wertvolle kontextuelle Metadaten (z. B. Variablensemantik, Domänenwissen). Im Gegensatz dazu nutzen neuere Ansätze auf Basis von Large Language Models (LLM) Metadaten, behandeln das LLM jedoch typischerweise als einzelnen Agenten. Dieses Single-Agenten-Paradigma ist anfällig für „kausale Papageien" – Modelle, die sich auf auswendig gelernter oder verzerrter Assoziationen statt auf echtem Schlussfolgern verlassen, was zu unzuverlässigen Urteilen bei komplexen oder dichten kausalen Graphen führt.

Methodik: Das MAC-Framework

Die Autoren schlagen MAC (Multi-Agent Causal Discovery Framework) vor, das die Entdeckung kausaler Graphen als Multi-Agenten-Debatte in Verbindung mit der autonomen Auswahl statistischer Algorithmen neu fasst. MAC integriert zwei komplementäre Module, die durch einen Meta-Fusion-Mechanismus verbunden sind:

1. Debate-Coding-Modul (DCM)

Das DCM adressiert das Problem, dass rein textbasiertes Schlussfolgern keine Verankerung in beobachteten Daten besitzt, während kein einzelner statistischer Algorithmus für alle Datensätze optimal ist.

Algorithmusauswahl: Das DCM integriert ein Meta-Debate-Modul (MDM), um den am besten geeigneten SCD-Algorithmus (z. B. PC, GES, FCI) auf Basis einer kleinen Teilmenge strukturierter Daten ( $S$ ) und Metadaten ( $I$ ) zu debattieren und auszuwählen.
Ausführung: Der ausgewählte Algorithmus wird auf die vollständigen strukturierten Daten ( $O$ ) angewendet, um einen initialen kausalen Graphen ( $G_C$ ) zu generieren. Dies stellt sicher, dass der initiale Graph in empirischen Beweisen verankert ist.
Meta-Fusion: Der resultierende Graph $G_C$ wird in kompakte, für Menschen lesbare kausale Constraints ( $I_C$ ) umgewandelt (z. B. gerichtete Kanten und implizierte Ordnungen). Diese Constraints dienen als „kausale Metadaten", die aus den Daten extrahiert wurden.

2. Meta-Debate-Modul (MDM)

Das MDM adressiert die Unzuverlässigkeit von Urteilen einzelner LLMs durch die Einführung einer adversarischen Debattenstruktur.

Agenten: Das Modul setzt drei spezialisierte Agenten ein:
- Kausaler affirmativer Debattierer: Schlägt einen Kandidaten-kausalen Graphen (oder Algorithmus) vor.
- Kausaler negativer Debattierer: Schlägt eine plausible Alternative vor, die gezielt umstrittene Entscheidungen adressiert, um konfligierende Hypothesen aufzudecken.
- Kausaler Richter: Entscheidet zwischen den Vorschlägen auf Basis expliziter, aus Beweisen abgeleiteter Kriterien (bedingte Unabhängigkeit, Collider-Strukturen und Ausrichtung auf Metadaten).
Arbeitsablauf:
- Stufe 1 (DCM): Das MDM wählt den SCD-Algorithmus aus.
- Stufe 2 (Verfeinerung): Das MDM nimmt den initialen Graphen $G_C$ (über seine umgewandelten Constraints $I_C$ ) und die ursprünglichen Metadaten $I$ als Eingabe. Die Agenten debattieren, um den Graphen zu verfeinern und konkurrierende Hypothesen gegen die kombinierten Beweise zu bewerten.

3. Integration

Das Framework arbeitet in einer End-to-End-Pipeline:

DCM wählt einen Algorithmus aus und generiert einen initialen, datenverankerten Graphen.
Meta-Fusion übersetzt diesen Graphen in textuelle Constraints.
MDM nutzt diese Constraints zusammen mit den ursprünglichen Metadaten, um den Graphen durch adversarische Debatte zu verfeinern und den finalen Directed Acyclic Graph (DAG) zu erzeugen.

Hauptbeiträge

Framework-Design: Die Arbeit stellt MAC vor, ein neuartiges Framework, das die adversarische Multi-Agenten-LLM-Debatte mit der autonomen Auswahl statistischer Algorithmen zur kausalen Entdeckung koppelt. Dies integriert datenverankerte statistische Präzision mit metadatengetriebener, expertenähnlicher Schlussfolgerung.
Modulare Architektur: Die Autoren schlagen zwei spezifische Module vor:
- Meta-Debate-Modul (MDM): Wirkt der Verzerrung einzelner LLMs entgegen, indem Agenten kausale Graphen adversarisch vorschlagen, herausfordern und gegen Metadaten bewerten.
- Debate-Coding-Modul (DCM): Verankert den Graphen in Daten durch die autonome Auswahl und Ausführung des am besten geeigneten SCD-Algorithmus.
Leistung: Das Framework zeigt eine überlegene aggregierte Leistung über fünf Benchmark-Datensätze und drei Bewertungsmetriken (F1, SHD, NHD) im Vergleich sowohl zu traditionellen statistischen Baselines als auch zu bestehenden LLM-basierten Methoden.

Experimentelle Ergebnisse

Die Autoren evaluierten MAC an fünf Datensätzen (Child, Auto, Earthquake, Cancer, Survey) unter Verwendung von drei Backbone-LLMs (Gemini-2.0-Flash, DeepSeek-R1, GPT-4o) und verglichen es mit fünf statistischen Methoden und vier LLM-basierten Baselines.

Gesamtleistung: MAC erzielte die beste aggregierte Leistung über 15 Evaluierungspunkte (5 Datensätze × 3 Metriken).
Spezifische Erfolge:
- Mit Gemini-2.0-Flash belegte MAC auf 10 von 15 Evaluierungspunkten den ersten Platz, einschließlich einer perfekten Rekonstruktion (F1=1,00, SHD=0, NHD=0) des Earthquake-Graphen.
- Mit DeepSeek-R1 belegte MAC auf 9 Punkten den ersten Platz; mit GPT-4o auf 7 Punkten.
Ablationsstudien:
- Modulvergleich: Die Kombination aus DCM und MDM schnitt im Allgemeinen besser ab als die Verwendung eines einzelnen Moduls, obwohl das MDM allein auf dem Earthquake-Datensatz am besten abschnitt, was darauf hindeutet, dass Metadaten für einfache Graphen manchmal ausreichen können.
- Debatte-Runden: Die Leistung konvergierte typischerweise nach einer einzigen Debattenrunde; zusätzliche Runden führten zu Schwankungen statt zu einer konsistenten Verbesserung.
- Kosten vs. Leistung: Eine „Single-Agent MAC"-Variante (ohne den negativen Agenten und den Richter) bot eine kosteneffektive Alternative für einfache Graphen (5 Knoten) und erzielte einen Großteil des Gewinns bei etwa halben Kosten. Allerdings war die vollständige Multi-Agenten-Debatte für größere oder mehrdeutigere Graphen (z. B. Survey, Auto) unverzichtbar, wo sie die F1-Scores im Vergleich zur Single-Agent-Variante signifikant verbesserte.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass MAC eine generalisierbare Vorlage für maschinelle Lernaufgaben bietet, die Metadaten beinhalten, und sich über die kausale Entdeckung hinaus auf Bereiche wie Klassifikation und Anomalieerkennung erstreckt. Die Autoren betonen, dass ihr Ansatz das Problem des „kausalen Papageis" mindert, indem er LLM-Schlussfolgerungen in statistischen Beweisen verankert (via DCM) und Hypothesen durch adversarische Debatte rigoros testet (via MDM).

Die Autoren bleiben hinsichtlich der Einschränkungen bescheiden und räumen ein, dass:

Das aktuelle Framework nur DAGs modelliert und keine Confounder oder Zyklen behandelt.
Es sich ausschließlich auf Beobachtungsdaten stützt, ohne Interventionsvalidierung.
Die Multi-Agenten-Debatte erhebliche Rechenkosten verursacht.
Die Evaluation derzeit auf etablierte Benchmarks mit relativ kleinen Graphen (5–20 Knoten) beschränkt ist und die Leistung des Frameworks in neuen, großskaligen, datenarmen Regimen weiter validiert werden muss, um sicherzustellen, dass das Schlussfolgern nicht lediglich das Abrufen auswendig gelernter kanonischer Netzwerke ist.