Technische Zusammenfassung: Dynamische, expertengeleitete Modellmittelung für die kausale Entdeckung

Problemstellung

Praktiker der kausalen Entdeckung sehen sich einer „schwindelerregenden Vielfalt" von Algorithmen gegenüber, ohne dass ein klarer Konsens darüber besteht, welche Methode für spezifische Anwendungsfälle am besten performt. Diese Vielfalt, kombiniert mit den Realitäten begrenzter und verrauschter Daten, zwingt oft zur Stützung auf Expertenwissen, da einzelne Algorithmen häufig theoretische Annahmen (z. B. kausale Suffizienz) verletzen oder auf realen Daten nicht konsistent besser abschneiden als andere. Während Ensembling (Modellmittelung) eine natürliche Strategie zur Verbesserung der Robustheit darstellt, sind bestehende Methoden für das Ensembling der kausalen Entdeckung begrenzt. Einige verlassen sich auf unrealistische Metadaten über Ground-Truth-Graphen, während andere sich auf statische Priors konzentrieren, anstatt Diskrepanzen dynamisch aufzulösen. Darüber hinaus war die Integration von Expertenwissen typischerweise auf statische Einschränkungen oder spezifische Algorithmen beschränkt, anstatt als Vermittler für ein diverses Ensemble zu dienen.

Methodik

Die Autoren schlagen eine Strategie der dynamischen, expertengeleiteten Modellmittelung vor, die eine diverse Reihe von Algorithmen zur kausalen Entdeckung mit einem unvollkommenen Experten (Mensch oder Large Language Model) integriert. Die Kerninnovation besteht darin, die Bestimmung der Kantenexistenz von der Kantenorientierung zu entkoppeln und den Experten selektiv zur Beilegung von Meinungsverschiedenheiten einzusetzen.

Wichtige methodische Komponenten:

1. Trennung von Existenz und Orientierung:

   • Kantenexistenz: Die Methode stützt sich primär auf datengesteuerte Algorithmen, um das Vorhandensein von Kanten zu erkennen. Sie erkennt an, dass Algorithmen zwar bei der Orientierung uneinig sein können, sich jedoch häufig über das Vorhandensein einer Verbindung einig sind.
   • Kantenorientierung: Sobald eine Kante etabliert ist, bestimmt die Methode ihre Richtung. Sie erkennt an, dass Algorithmen häufig Schwierigkeiten mit der Orientierung haben (was zu CPDAGs mit ungerichteten Kanten führt) und dass Experten (insbesondere LLMs) möglicherweise besser darin sind, kausale Ordnungen zu bestimmen als das Vorhandensein einer Beziehung zu erkennen.

2. Dynamische Abfragestrategie:

   • Die Methode führt eine Reihe von $M$ Algorithmen zur kausalen Entdeckung aus, um eine Menge von Graphen $\mathcal{G}$ zu erzeugen.
   • Kantenaddition: Kanten werden basierend auf einem Häufigkeitsschwellenwert $\theta_1$ auf Additionsprüfung untersucht. Wenn der Prozentsatz der Modelle, die eine direkte Kante enthalten, $\theta_1$ übersteigt, aber unter einer Mehrheitsentscheidung (0,5) liegt, fragt das System den Experten zur Validierung des Vorhandenseins der Kante.
   • Orientierungsbestimmung: Für akzeptierte Kanten prüft die Methode, ob bei mehreren gültigen Orientierungen eine spezifische Orientierung einen Schwellenwert $\theta_2$ unter den Modellen überschreitet, die die Kante enthalten. Wenn nicht oder wenn die Orientierung mehrdeutig ist, wird der Experten zur Bestimmung der Richtung befragt.
   • Abfragebudget ($B$): Um realistische Einschränkungen beim Zugang zu Experten (Zeit/Kosten) widerzuspiegeln, arbeitet die Methode unter einem festen Abfragebudget. Sobald das Budget erschöpft ist, werden Entscheidungen auf Mehrheitsabstimmung zurückgegriffen.
   • Diskrepanzgetriebene Abfragen: Das System priorisiert die Befragung des Experten nur für Kanten, bei denen das Ensemble signifikante Meinungsverschiedenheiten aufweist, wodurch der Wert begrenzter Expertenbeiträge maximiert wird.

3. Expertenmodell:

   • Die Methode behandelt den Experten als „unvollkommen" und fehleranfällig. In Experimenten liefert ein simulierter Experte korrekte Antworten mit den Wahrscheinlichkeiten $p_{exist}^e$ und $p_{orient}^e$.
   • Der Ansatz geht davon aus, dass der Experte Antworten auf der Grundlage plausibler kausaler Ordnungen (direkte oder indirekte Ketten) liefert und nicht strikt auf direkten Kanten basiert, was die Schwierigkeit widerspiegelt, in der Praxis präzises strukturelles Wissen zu ermitteln.

Wichtige Beiträge

Die Arbeit leistet drei Hauptbeiträge:

1. Neue Ensembling-Strategie: Sie stellt die erste Methode vor, die dynamisch angefordertes Expertenwissen spezifisch zur Vermittlung von Diskrepanzen beim Modell-Ensembling der kausalen Entdeckung einsetzt.
2. Entkoppelte Abfragen: Durch die getrennte Behandlung von Kantenexistenz und -orientierung nutzt die Methode die komplementären Stärken datengesteuerter Algorithmen (Erkennung) und Expertenbeiträge (Richtung) und fragt den Experten nur in Fällen hoher Unsicherheit oder Meinungsverschiedenheit selektiv.
3. Empirische Validierung: Die Methode wird gegen starke Baselines (einschließlich bestehender Ensembling-Methoden und einzelner Algorithmen) an bekannten realen Graphen sowohl mit sauberen als auch verrauschten Daten evaluiert und zeigt konsistente Leistungsverbesserungen.

Experimentelle Ergebnisse

Die Autoren bewerteten ihre Methode an sechs Benchmark-Netzwerken (z. B. Asia, Sports, Alarm, Pathfinder) mit variierenden Stichprobengrößen ($n \in \{100, 1000, 10000, 100000\}$) und Rauschpegeln.

• Leistung: Die vorgeschlagene Methode übertraf konsistent starke Baselines, einschließlich einzelner Algorithmen (PC-Stable, FCI, Tabu, GES usw.) und bestehender Ensembling-Ansätze (Bayesys Model Avg, Aslani & Mohebbi).
• Metriken: Verbesserungen wurden bei der Balanced Scoring Function (BSF), dem F1-Score, der Structural Hamming Distance (SHD) und der Structural Intervention Distance (SID) beobachtet. Die Methode zeigte breite Verbesserungen beim Recall bei gleichzeitiger Beibehaltung einer vergleichbaren Präzision wie andere Ensembling-Methoden.
• Vergleich mit Tabu-AL: Die Methode schnitt im Durchschnitt über die meisten Metriken um mindestens 11 % signifikant besser ab als Tabu-AL (eine Baseline, die dynamisches Expertenwissen auf einem einzelnen Algorithmus verwendet), was den Wert des Ensembling diverser Algorithmen mit Expertenvermittlung unterstreicht.
• LLM-Fallstudie: Experimente mit einem LLM (gpt-5-nano) als Experte zeigten eine Leistung, die mit den simulierten Expertenparametern übereinstimmte ($p_{exist}^e \approx 70\%$, $p_{orient}^e \approx 90\%$) und damit die Machbarkeit der Verwendung von LLMs in diesem Rahmen validierte.
• Abfragebudget: Ein moderates Budget von $2N$ (wobei $N$ die Anzahl der Knoten ist) bot den besten Kompromiss zwischen Präzision und Recall.

Bedeutung und Behauptungen

Die Arbeit positioniert diese Arbeit als die erste Methode, die Expertenwissen für das Ensembling von Algorithmen zur kausalen Entdeckung nutzt. Ihre Bedeutung wird im Kontext der praktischen Notwendigkeit der Bewältigung von Einschränkungen realer Daten framed, bei denen kein einzelner Algorithmus universell überlegen ist.

• Bescheidene Behauptungen: Die Autoren stellen ausdrücklich fest, dass ihre Methode keine formalen Garantien für die Wiederherstellung des wahren kausalen Graphen unter idealen Bedingungen bietet. Stattdessen stützt sie sich auf eine empirische Validierung, um die Stärken diverser Algorithmen mit unvollkommenen Experten unter plausiblen realen Bedingungen zu kombinieren.
• Praktikabilität: Der Ansatz ist für Szenarien konzipiert, in denen der Zugang zu Experten begrenzt und unvollkommen ist, und bietet eine robuste Alternative zur Abhängigkeit von einem einzelnen Algorithmus oder statischen Priors.
• Zukünftige Arbeit: Die Autoren weisen auf Einschränkungen hin, darunter die Verwendung synthetischer kategorialer Daten und das Fehlen formaler theoretischer Garantien. Sie schlagen vor, dass zukünftige Arbeiten verschiedene Datentypen, Rauschverteilungen und eine adaptive Gewichtung von Modellen basierend auf der vorhergesagten Leistung untersuchen könnten.

Zusammenfassend stellt die Arbeit einen pragmatischen, flexiblen Rahmen vor, der gezielte Experteninterventionen nutzt, um Unsicherheiten in kausalen Ensembles aufzulösen, und zeigt, dass eine solche Strategie im Vergleich zu bestehenden Methoden sowohl bei sauberen als auch bei verrauschten Daten eine überlegene strukturelle Genauigkeit erzielt.