Adaptive Bayesian Structure Learning of DAGs With Non-conjugate Prior

Technische Samenvatting: Adaptief Bayesiaans Structuurleren van DAG's met een Niet-Conjugate Prior

Probleemstelling
Het artikel behandelt de uitdaging van het leren van de structuur van Directed Acyclic Graphs (DAG's) binnen een Bayesiaans kader, specifiek voor Gaussische DAG-modellen. Hoewel DAG's krachtige instrumenten zijn voor het representeren van conditionele onafhankelijkheden en causale relaties, is het bepalen van de optimale graafstructuur computationeel intensief en statistisch onzeker. Traditionele Bayesiaanse benaderingen vertrouwen vaak op conjugata priors, zoals de Normal-Inverse-Gamma (NIG) verdeling, om analytische traceerbaarheid te faciliteren. De auteurs stellen echter dat deze conjugata priors niet altijd de hoogste posterieure waarschijnlijkheid of de meest nauwkeurige structurele leerprestaties leveren, met name wat betreft de inclusie van knopen en randen in het genererende model. Het primaire doel is om een methode te ontwikkelen die de posterieure waarschijnlijkheid en computationele efficiëntie verbetert, terwijl de adaptiviteit in structuurleren behouden blijft.

Methodologie
De auteurs stellen een nieuwe Bayesiaanse structuurleerbenadering voor die gebruikmaakt van een niet-conjugate Normal-Gamma (NG) prior voor de parameters van Gaussische DAG's.

1. Modelformulering:

   • De gezamenlijke verdeling van variabelen wordt gemodelleerd als een zero-mean Gaussische DAG, geherparameteriseerd via een gemodificeerde Cholesky-decompositie ($\Omega = L D^{-1} L^T$).
   • De parameters bestaan uit de diagonale elementen $D_{jj}$ (conditionele varianties) en de onderste driehoekige coëfficiënten $L_{\prec j]}$ (regressiecoëfficiënten).
   • In tegenstelling tot de standaard NIG-aanpak waarbij $D_{jj}$ een Inverse-Gamma verdeling volgt, wijst de voorgestelde methode een Gamma verdeling ($\Gamma$) toe aan $D_{jj}$, terwijl een Normale verdeling voor $L_{\prec j]}$ behouden blijft, geconditioneerd op $D_{jj}$.

2. Theoretische Afleiding:

   • De auteurs leiden de marginale waarschijnlijkheid en de gezamenlijke posterieure dichtheidsfuncties van de knoopparameters af onder deze niet-conjugate prior.
   • Een cruciaal theoretisch resultaat is de verschijning van de Bessel-functie van de derde soort ($K_\nu$) in de posterieure en marginale dichtheidsuitdrukkingen. Deze wiskundige eigenschap maakt het mogelijk om de posterieure waarschijnlijkheden te berekenen zonder de analytische vereenvoudigingen die door conjugatie worden geboden.

3. MCMC-algoritme:

   • Om posterieure inferentie uit te voeren, is een Markov Chain Monte Carlo (MCMC) schema ontwikkeld.
   • Het algoritme verkent de ruimte van DAG's ($S_q$) met behulp van lokale operatoren: het invoegen, verwijderen en omkeren van gerichte randen, waarbij wordt gewaarborgd dat de resulterende graaf acyclisch blijft.
   • De acceptatiekans voor de transitie tussen DAG's wordt berekend met behulp van de afgeleide marginale waarschijnlijkheden (Stelling 1) en de prior-waarschijnlijkheid van randinclusie.
   • De volledige conditionele verdelingen van de parameters worden in elke iteratie gesampled om de graafstructuur en de parameters gelijktijdig bij te werken.

Belangrijkste Bijdragen

• Implementatie van Niet-Conjugate Prior: Het artikel introduceert het gebruik van een Normal-Gamma prior voor Gaussische DAG's, waarmee wordt afgeweken van het standaard Normal-Inverse-Gamma conjugata kader.
• Computationele Efficiëntie via Bessel-functies: In tegenstelling tot de intuïtie dat niet-conjugate priors de computationele last vergroten, demonstreren de auteurs dat het gebruik van de Bessel-functie in de posterieure berekening resulteert in een snellere MCMC-berekening vergeleken met het conjugata NIG-model.
• Adaptieve Sparsiteit: De voorgestelde methode vertoont een "voorzichtige" of conservatieve houding met betrekking tot randinclusie. Het heeft de neiging randen alleen te includeren wanneer de inclusiewaarheid hoog is, wat leidt tot lossere (sparser) DAG's wanneer de prior-waarschijnlijkheid van randinclusie laag is.
• Verbeterde Posterieure Waarschijnlijkheid: De studie claimt dat de voorgestelde NG-prior een hogere posterieure waarschijnlijkheid oplevert voor de Maximum A Posteriori (MAP) DAG vergeleken met de NIG-prior.

Resultaten
De methodologie werd geëvalueerd via simulatiestudies en een real-world toepassing:

1. Simulatiestudies:

   • Prestatie-metrieken: Het NG-model werd vergeleken met het NIG-model over verschillende steekproefgroottes ($n=200, 300$) en aantal knopen ($q=40, 50$).
   • Nauwkeurigheid: Het NG-model demonstreerde superieure prestaties in Specificiteit (SP), False Negative Rate (FNR), Misspecification Rate (MISR) en Accuraatheid (AC).
   • Gevoeligheid-trade-off: Het NG-model vertoonde een lagere Sensitiviteit (SE) en F1-scores vergeleken met NIG. De auteurs schrijven dit toe aan het conservatieve karakter van het model; met een lage prior-waarschijnlijkheid van randinclusie produceert het NG-model minder ware positieven, wat resulteert in een lagere sensitiviteit maar een hogere specificiteit.
   • Computationele Tijd: De computationele tijd per iteratie voor het NG-model was over het algemeen lager dan die van het NIG-model, zelfs naarmate het aantal variabelen en de steekproefgrootte toenamen. De inclusie van de Bessel-functie introduceerde geen significante computationele vertragingen.

2. AML Data Analyse:

   • De methode werd toegepast op een dataset van patiënten met Acute Myeloïde Leukemie (AML) ($n=68, q=18$ eiwitten).
   • Convergentie: Trace plots gaven een goede MCMC-mixing en convergentie aan.
   • Posterieure Waarschijnlijkheid: De posterieure waarschijnlijkheid van de MAP DAG geschat door het NG-model was 0,769, aanzienlijk hoger dan de 0,0016 verkregen door het NIG-model.
   • Structurele Schattingen: Zowel de Median Probability Model (MPM) als de MAP-schattingen werden gegenereerd, wat consistente structurele leervermogens toonde.

Betekenis en Claims
Het artikel claimt dat de voorgestelde adaptieve Bayesiaanse structuurleerbenadering een robuust alternatief biedt voor traditionele conjugata priors. Door een niet-conjugate Normal-Gamma prior te gebruiken, bereikt de methode:

• Hogere Posterieure Waarschijnlijkheid: De resulterende MAP DAG heeft een aanzienlijk hogere posterieure waarschijnlijkheid, wat duidt op een betere fit met het datagenererende proces.
• Computationeel Voordeel: Ondanks de theoretische complexiteit van niet-conjugatie, is de methode computationeel sneller dan de conjugata NIG-aanpak.
• Adaptiviteit: Het model past zich aan de ware structuur aan door conservatief te zijn in randinclusie, waardoor het spurious (schijn) relaties effectief filtert wanneer de prior een lage randdichtheid suggereert.

De auteurs concluderen dat deze techniek potentieel heeft voor toepassingen in causale ontdekking en schatting, door een nauwkeuriger en efficiënter instrument te bieden voor het blootleggen van variabelen-afhankelijkheden in multivariate scenario's.