Adaptive Bayesian Structure Learning of DAGs With Non-conjugate Prior

Résumé Technique : Apprentissage Adaptatif de la Structure des DAG par Approche Bayésienne avec un Prior Non-Conjugué

Énoncé du Problème
L'article traite du défi de l'apprentissage de la structure des Graphes Acycliques Dirigés (DAG) dans un cadre bayésien, spécifiquement pour les modèles DAG gaussiens. Bien que les DAG soient des outils puissants pour représenter les indépendances conditionnelles et les relations causales, la détermination de la structure de graphe optimale est coûteuse en termes de calcul et incertaine sur le plan statistique. Les approches bayésiennes traditionnelles reposent souvent sur des priors conjugués, tels que la distribution Normale-Inverse-Gamma (NIG), pour faciliter la tractabilité analytique. Cependant, les auteurs soutiennent que ces priors conjugués ne produisent pas toujours la probabilité a posteriori la plus élevée ou l'apprentissage structurel le plus précis, notamment en ce qui concerne l'inclusion de nœuds et d'arêtes dans le modèle générateur. L'objectif principal est de développer une méthode qui améliore la probabilité a posteriori et l'efficacité computationnelle tout en maintenant l'adaptabilité de l'apprentissage de la structure.

Méthodologie
Les auteurs proposent une nouvelle approche d'apprentissage de structure bayésienne utilisant un prior Normal-Gamma (NG) non-conjugué pour les paramètres des DAG gaussiens.

1. Formulation du Modèle :

   • La distribution jointe des variables est modélisée comme un DAG gaussien de moyenne nulle, re-paramétré via une décomposition de Cholesky modifiée ($\Omega = L D^{-1} L^T$).
   • Les paramètres consistent en les éléments diagonaux $D_{jj}$ (variances conditionnelles) et les coefficients triangulaires inférieurs $L_{\prec j]}$ (coefficients de régression).
   • Contrairement à l'approche NIG standard où $D_{jj}$ suit une distribution Inverse-Gamma, la méthode proposée assigne à $D_{jj}$ une distribution Gamma ($\Gamma$), tout en maintenant une distribution Normale pour $L_{\prec j]}$ conditionnellement à $D_{jj}$.

2. Dérivation Théorique :

   • Les auteurs dérivent la vraisemblance marginale et les fonctions de densité a posteriori jointe pour les paramètres du nœud sous ce prior non-conjugué.
   • Un résultat théorique clé concerne l'apparition de la fonction de Bessel de troisième espèce ($K_\nu$) dans les expressions de la densité a posteriori et marginale. Cette propriété mathématique permet de calculer les probabilités a posteriori sans les simplifications analytiques habituellement offertes par la conjugaison.

3. Algorithme MCMC :

   • Pour effectuer l'inférence a posteriori, un schéma de Monte Carlo par Chaînes de Markov (MCMC) est développé.
   • L'algorithme explore l'espace des DAG ($S_q$) à l'aide d'opérateurs locaux : insertion, suppression et inversion d'arêtes dirigées, garantissant que le graphe résultant reste acyclique.
   • La probabilité d'acceptation pour la transition entre les DAG est calculée en utilisant les vraisemblances marginales dérivées (Théorème 1) et la probabilité a priori d'inclusion d'arêtes.
   • Les distributions conditionnelles complètes des paramètres sont échantillonnées à chaque itération pour mettre à jour simultanément la structure du graphe et les paramètres.

Contributions Clés

• Implémentation d'un Prior Non-Conjugué : L'article introduit l'utilisation d'un prior Normal-Gamma pour les DAG gausiens, s'éloignant du cadre conjugué standard Normal-Inverse-Gamma.
• Efficacité Computationnelle via les Fonctions de Bessel : Contrairement à l'intuition selon laquelle les priors non-conjugués augmentent la charge de calcul, les auteurs démontrent que l'utilisation de la fonction de Bessel dans le calcul du postérieur permet un calcul MCMC plus rapide que le modèle NIG conjugué.
• Sparsité Adaptative : La méthode proposée présente un comportement « prudent » ou conservateur concernant l'inclusion d'arêtes. Elle tend à inclure des arêtes uniquement lorsque la probabilité d'inclusion est élevée, ce qui conduit à des DAG plus clairsemés (sparses) lorsque la probabilité a priori d'inclusion d'arêtes est faible.
• Probabilité A Posteriori Améliorée : L'étude affirme que le prior NG proposé produit une probabilité a posteriori plus élevée pour le DAG de l'Estimation du Maximum A Posteriori (MAP) par rapport au prior NIG.

Résultats
La méthodologie a été évaluée par des études de simulation et une application au monde réel :

1. Études de Simulation :

   • Métriques de Performance : Le modèle NG a été comparé au modèle NIG à travers diverses tailles d'échantillons ($n=200, 300$) et nombres de nœuds ($q=40, 50$).
   • Précision : Le modèle NG a démontré une performance supérieure en termes de Spécificité (SP), Taux de Faux Négatifs (FNR), Taux de Mauvaise Spécification (MISR) et Précision (AC).
   • Compromis de Sensibilité : Le modèle NG a montré une Sensibilité (SE) et des scores F1 plus faibles que le NIG. Les auteurs attribuent cela à la nature conservatrice du modèle ; avec une faible probabilité a priori d'inclusion d'arêtes, le modèle NG produit moins de vrais positifs, ce qui entraîne une sensibilité plus faible mais une spécificité plus élevée.
   • Temps de Calcul : Le temps de calcul par itération pour le modèle NG était généralement inférieur à celui du modèle NIG, même lorsque le nombre de variables et la taille de l'échantillon augmentaient. L'inclusion de la fonction de Bessel n'a pas introduit de délais de calcul significatifs.

2. Analyse des Données AML :

   • La méthode a été appliquée à un ensemble de données de patients atteints de leucémie aiguë myéloïde (AML) ($n=68, q=18$ protéines).
   • Convergence : Les tracés de trace (trace plots) ont indiqué un bon mélange (mixing) et une bonne convergence du MCMC.
   • Probabilité A Posteriori : La probabilité a posteriori du DAG MAP estimé par le modèle NG était de 0,769, nettement supérieure aux 0,0016 obtenus par le modèle NIG.
   • Estimations Structurelles : Tant le Modèle de Probabilité Médiane (MPM) que les estimations MAP ont été générés, montrant des capacités cohérentes d'apprentissage de structure.

Signification et Revendications
L'article affirme que la méthode d'apprentissage de structure bayésienne adaptative proposée offre une alternative robuste aux priors conjugués traditionnels. En employant un prior Normal-Gamma non-conjugué, la méthode atteint :

• Une Probabilité A Posteriori Plus Élevée : Le DAG MAP résultant possède une probabilité a posteriori substantiellement plus élevée, suggérant un meilleur ajustement au processus générateur de données.
• Un Avantage Computationnel : Malgré la complexité théorique de la non-conjugaison, la méthode est plus rapide que l'approche NIG conjuguée.
• Adaptabilité : Le modèle s'adapte à la structure réelle en étant conservateur dans l'inclusion d'arêtes, filtrant efficacement les relations spécieuses lorsque le prior suggère une faible densité d'arêtes.

Les auteurs concluent que cette technique présente des applications potentielles dans la découverte et l'estimation causales, fournissant un outil plus précis et plus efficace pour découvrir les dépendances entre variables dans des scénarios multivariés.