Adaptive Bayesian Structure Learning of DAGs With Non-conjugate Prior

Technisches Resümee: Adaptives Bayes-Struktur-Lernen von DAGs mit nicht-konjugiertem Prior

Problemstellung
Die Arbeit befasst sich mit der Herausforderung des Struktur-Lernens von gerichteten azyklischen Graphen (Directed Acyclic Graphs, DAGs) innerhalb eines Bayes-Rahmens, speziell für Gaußsche DAG-Modelle. Während DAGs leistungsstarke Werkzeuge zur Darstellung bedingter Unabhängigkeiten und kausaler Beziehungen sind, erweist sich die Bestimmung der optimalen Graphstruktur als rechenintensiv und statistisch unsicher. Traditionelle Bayes-Ansätze verlassen sich oft auf konjugierte Priors, wie etwa die Normal-Inverse-Gamma-Verteilung (NIG), um die analytische Handhabbarkeit zu erleichzeigen. Die Autoren argumentieren jedoch, dass diese konjugierten Priors nicht immer die höchste Posteriori-Wahrscheinlichkeit oder das genaueste Struktur-Lernen liefern, insbesondere im Hinblick auf die Einbeziehung von Knoten und Kanten in das generierende Modell. Das primäre Ziel ist die Entwicklung einer Methode, welche die Posteriori-Wahrscheinlichkeit und die Recheneffizienz verbessert und gleichzeitig die Anpassungsfähigkeit beim Struktur-Lernen beibehält.

Methodik
Die Autoren schlagen einen neuartigen Bayes-Struktur-Lernansatz vor, der einen nicht-konjugierten Normal-Gamma (NG) Prior für die Parameter von Gaußschen DAGs nutzt.

1. Modellformulierung:

   • Die gemeinsame Verteilung der Variablen wird als ein gaußsches DAG mit Mittelwert Null modelliert, das mittels einer modifizierten Cholesky-Zerlegung ($\Omega = L D^{-1} L^T$) reparametrisiert wird.
   • Die Parameter bestehen aus den Diagonalelementen $D_{jj}$ (bedingte Varianzen) und den unteren Dreiecks-Koeffizienten $L_{\prec j]}$ (Regressionskoeffizienten).
   • Im Gegensatz zum Standard-NIG-Ansatz, bei dem $D_{jj}$ einer Inverse-Gamma-Verteilung folgt, weist die vorgeschlagene Methode $D_{jj}$ eine Gamma-Verteilung ($\Gamma$) zu, während für $L_{\prec j]}$ unter der Bedingung von $D_{jj}$ eine Normalverteilung beibehalten wird.

2. Theoretische Herleitung:

   • Die Autoren leiten die marginale Likelihood und die gemeinsamen Posteriori-Dichtefunktionen der Knotenparameter unter diesem nicht-konjugierten Prior her.
   • Ein zentrales theoretisches Ergebnis ist das Auftreten der modifizierten Bessel-Funktion zweiter Art ($K_\nu$) in den Posteriori- und Marginaldichte-Ausdrücken. Diese mathematische Eigenschaft ermöglicht die Berechnung von Posteriori-Wahrscheinlichkeiten ohne die analytischen Vereinfachungen, die typischerweise durch Konjugiertheit ermöglicht werden.

3. MCMC-Algorithmus:

   • Zur Durchführung der Posteriori-Inferenz wird ein Markov-Chain-Monte-Carlo-Schema (MCMC) entwickelt.
   • Der Algorithmus exploriert den Raum der DAGs ($S_q$) mittels lokaler Operatoren: Einfügen, Löschen und Umkehren gerichteter Kanten, wobei sichergestellt wird, dass der resultierende Graph azyklisch bleibt.
   • Die Akzeptanzwahrscheinlichkeit für den Übergang zwischen DAGs wird unter Verwendung der abgeleiteten marginalen Likelihoods (Theorem 1) und der Prior-Wahrscheinlichkeit der Kanten-Einbeziehung berechnet.
   • Die vollen bedingten Verteilungen der Parameter werden in jeder Iteration abgetastet, um die Graphstruktur und die Parameter gleichzeitig zu aktualisieren.

Wesentliche Beiträge

• Implementierung eines nicht-konjugierten Priors: Die Arbeit führt die Verwendung eines Normal-Gamma-Priors für Gaußsche DAGs ein und bewegt sich damit weg vom standardmäßigen konjugierten NIG-Rahmen.
• Recheneffizienz durch Bessel-Funktionen: Entgegen der Intuition, dass nicht-konjugierte Priors die Rechenlast erhöhen, demonstrieren die Autoren, dass die Nutzung der Bessel-Funktion bei der Berechnung der Posteriori-Wahrscheinlichkeit zu einer schnelleren MCMC-Berechnung im Vergleich zum konjugierten NIG-Modell führt.
• Adaptive Sparsität: Die vorgeschlagene Methode zeigt ein „vorsichtiges“ oder konservatives Verhalten hinsichtlich der Kanten-Einbeziehung. Sie neigt dazu, Kanten nur dann einzubeziehen, wenn die Einbeziehungswahrscheinlichkeit hoch ist, was zu sparsameren DAGs führt, wenn die Prior-Wahrscheinlichkeit der Kanten-Einbeziehung niedrig ist.
• Verbesserte Posteriori-Wahrscheinlichkeit: Die Studie behauptet, dass der vorgeschlagene NG-Prior eine höhere Posteriori-Wahrscheinlichkeit für den Maximum-A-Posteriori (MAP) DAG im Vergleich zum NIG-Prior liefert.

Ergebnisse
Die Methodik wurde durch Simulationsstudien und eine reale Anwendung evaluiert:

1. Simulationsstudien:

   • Leistungsmetriken: Das NG-Modell wurde gegenüber dem NIG-Modell über verschiedene Stichprobengrößen ($n=200, 300$) und Knotenzahlen ($q=40, 50$) verglichen.
   • Genauigkeit: Das NG-Modell zeigte eine überlegene Leistung in Bezug auf Spezifität (SP), Falsch-Negativ-Rate (FNR), Fehlspezifikationsrate (MISR) und Genauigkeit (AC).
   • Sensitivitäts-Trade-off: Das NG-Modell wies im Vergleich zu NIG eine geringere Sensitivität (SE) und F1-Scores auf. Die Autoren führen dies auf die konservative Natur des Modells zurück; bei einer niedrigen Prior-Wahrscheinlichkeit der Kanten-Einbeziehung produziert das NG-Modell weniger wahre Positive, was zu einer geringeren Sensitivität, aber höheren Spezifität führt.
   • Rechenzeit: Die Rechenzeit pro Iteration für das NG-Modell war generell niedriger als die des NIG-Modells, selbst wenn die Anzahl der Variablen und die Stichprobengröße zunahmen. Die Einbeziehung der Bessel-Funktion führte nicht zu signifikanten Verzögerungen in der Berechnung.

2. AML-Datenanalyse:

   • Die Methode wurde auf einen Datensatz von Patienten mit akuter myeloischer Leukämie (AML) angewendet ($n=68, q=18$ Proteine).
   • Konvergenz: Trace-Plots deuteten auf eine gute MCMC-Durchmischung und Konvergenz hin.
   • Posteriori-Wahrscheinlichkeit: Die durch das NG-Modell geschätzte Posteriori-Wahrscheinlichkeit des MAP-DAG betrug 0,769, was signifikant höher ist als die 0,0016, die durch das NIG-Modell erzielt wurde.
   • Strukturelle Schätzungen: Sowohl das Median-Probability-Model (MPM) als auch die MAP-Schätzungen wurden generiert und zeigten konsistente Fähigkeiten beim Struktur-Lernen.

Bedeutung und Behauptungen
Das Paper behauptet, dass der vorgeschlagene adaptive Bayes-Struktur-Lernansatz eine robuste Alternative zu traditionellen konjugierten Priors darstellt. Durch die Verwendung eines nicht-konjugierten Normal-Gamma-Priors erreicht die Methode:

• Höhere Posteriori-Wahrscheinlichkeit: Der resultierende MAP-DAG weist eine wesentlich höhere Posteriori-Wahrscheinlichkeit auf, was auf eine bessere Anpassung an den datengenerierenden Prozess hindeutet.
• Rechenvorteil: Trotz der theoretischen Komplexität der Nicht-Konjugiertheit ist die Methode rechentechnisch schneller als der konjugierte NIG-Ansatz.
• Anpassungsfähigkeit: Das Modell passt sich an die wahre Struktur an, indem es konservativ bei der Kanten-Einbeziehung ist und so Scheinbeziehungen effektiv herausfiltert, wenn der Prior eine geringe Kantendichte suggeriert.

Die Autoren kommen zu dem Schluss, dass diese Technik potenzielle Anwendungen in der kausalen Entdeckung und Schätzung bietet und ein präziseres sowie effizienteres Werkzeug zur Aufdeckung von Variablenabhängigkeiten in multivariaten Szenarien bereitstellt.