A Differentiable Covariance Calculus for Linear Gaussian Bayesian Networks

Résumé Technique : Un calcul de covariance différentiable pour les réseaux bayésiens gaussiens linéaires

Énoncé du problème
Les réseaux bayésiens gaussiens linéaires (LGBN), équivalents aux modèles d'équations structurelles (SEM) gaussiens linéaires, sont fondamentaux dans les domaines de la statistique, du contrôle et des communications. Dans les contextes à valeurs vectorielles — où les nœuds représentent des vecteurs (par exemple, des réseaux d'antennes, des caractéristiques latentes) et les arêtes des matrices (par exemple, des canaux MIMO) — la distribution jointe est entièrement déterminée par la matrice de covariance globale. Bien que la mise en correspondance entre les paramètres locaux (matrices d'arêtes et covariances d'innovation) et la covariance globale soit un problème classique, les approches existantes traitent généralement l'inférence, l'estimation et l'identifiabilité de manière séparée pour des topologies spécifiques. Cette fragmentation rend difficile la gestion de DAG (graphes acycliques dirigés) vectoriels arbitraires, en particulier ceux possédant des paramètres liés ou structurés (par exemple, des poids partagés, des contraintes de rang faible) et des nœuds cachés. Le défi consiste à unifier ces tâches dans un cadre unique et différentiable qui évite les dérivations de gradients par topologie et supporte des structures complexes non linéaires.

Méthodologie
Le papier propose un cadre unifié reposant sur un backend différentiable unique : la K-récursion. Cette récursion mappe les paramètres conditionnels locaux $\eta$ (matrices d'arêtes et covariances d'innovation) vers la matrice de covariance globale $K$ via une passe avant topologique. Les caractéristiques méthodologiques clés incluent :

1. La carte de covariance (Covariance Chart) : La K-récursion est traitée comme une « carte de covariance », une application explicite et différentiable $\Phi_G: \eta \mapsto K$. Contrairement aux solutions en forme fermée nécessitant l'inversion de matrice du système complet, la récursion calcule $K$ en utilisant uniquement des produits de matrices, des sommes et des transposées dans l'ordre topologique. Cela garantit que la carte est un graphe de calcul lisse.
2. Algèbre de blocs : Toutes les tâches en aval sont réduites à quelques primitives d'algèbre linéaire (sélection de blocs, compléments de Schur, logarithmes de déterminants et résolutions linéaires) appliquées à des sous-blocs de la matrice unique $K$.
3. Différenciation Automatique (AD) : Puisque la carte est un graphe lisse, l'AD en mode inverse est utilisée pour calculer les gradients de n'importe quel objectif scalaire (par exemple, la vraisemblance, l'information de Fisher) par rapport à chaque entrée de $\eta$ en un seul passage arrière (backward sweep). Cela élimine le besoin de dérivation manuelle de gradient pour des topologies spécifiques ou des contraintes de paramètres (telles que les paramètres liés).
4. Gestion de la dégénérescence : Le cadre accomode naturellement les covariances d'innovation semi-définies positives (PSD), permettant des nœuds déterministes (mises à jour sans bruit) tant que les blocs de covariance marginaux pertinents restent définis positifs.

Contributions Clés
Le papier organise l'inférence, l'estimation et l'identifiabilité en un calcul cohérent :

• Inférence Unifiée : Les requêtes probabilistes (marginales, conditionnelles) sont calculées via la sélection de blocs et les compléments de Schur. L'indépendance conditionnelle est testée via l'information mutuelle (MI) et l'information mutuelle conditionnelle (CMI), qui se réduisent à des tests de nullité sur des blocs spécifiques du complément de Schur.
• Estimation Différentiable : L'estimation du maximum de vraisemblance (MLE) pour les réseaux totalement observés ou partiellement observés (nœuds cachés) est effectuée en minimisant la log-vraisemblance négative à travers la carte de covariance. Le cadre gère nativement les paramètres liés et structurés, car l'AD rétro-propage à travers la construction de ces paramètres.
• Identifiabilité et Fiabilité : Le papier introduit un test d'identifiabilité locale basé sur la métrique d'information de Fisher de Slepian–Bangs, tirée de la distribution observée vers l'espace des paramètres. Le rang de cette métrique détermine l'identifiabilité locale (le plein rang impliquant l'identifiabilité), tandis que son inverse fournit la borne de Cramér-Rao (CRB) pour la fiabilité de l'estimateur. Cette approche identifie les directions de « jauge » (combinaisons de paramètres non identifiables) et quantifie l'erreur d'estimation sans échantillonnage de Monte Carlo.
• Échantillonnage Direct (Forward Sampling) : Un pendant génératif de l'inférence est fourni, où les échantillons sont tirés en parcourant le DAG dans l'ordre topologique, réalisant la loi jointe nœud par nœud sans former la matrice $K$ globale.

Résultats et Validation
Le cadre est validé par rapport à des références classiques sur deux modèles d'espace d'états gausiens linéaires :

1. Modèle de Chaîne Standard : Un processus autorégressif vectoriel de premier ordre observé avec du bruit. Le cadre reproduit le filtre de Kalman (covariance a priori) et le lisseur de Rauch–Tung–Striebel (covariance a posteriori) avec une précision machine ($10^{-16}$ à $10^{-18}$). Il identifie correctement les indépendances conditionnelles de Markov (CMI nulle) et récupère un facteur de transition lié à partir d'observations bruitées d'états cachés.
2. Extension avec Connexions de Saut (Skip-Connected) : Un modèle non linéaire de chaîne où les états fusionnent plusieurs parents corrélés (par exemple, $x_n$ dépend de $x_{n-1}$ et $x_{n-2}$). Cette topologie défie les récursions de premier ordre. Le cadre calcule avec succès les marginales correspondant aux récursions de forme compagnon dérivées à la main, détecte correctement les dépendances non markoviennes via la CMI et récupère le facteur de transition lié avec des bornes de fiabilité correspondant à la dispersion empirique.
3. Analyse de Fiabilité : Dans les deux cas, les bornes de Cramér-Rao analytiques dérivées de la métrique de Fisher correspondent aux erreurs types empiriques des estimateurs MLE, suivant le taux de convergence en $1/\sqrt{N}$.

Signification
Le papier affirme que sa contribution principale n'est pas une nouvelle formule, mais un principe d'organisation : traiter la carte locale-vers-globale de la covariance comme une carte différentiable. Cela permet à toute la suite de tâches des réseaux gausiens — conditionnement, test d'indépendance, estimation de vraisemblance et analyse d'identifiabilité — d'être exprimée comme des compositions de quelques primitives de matrices par blocs. En exploitant la différenciation automatique, le cadre fournit un backend agnostique à la topologie qui gère des DAG vectoriels arbitraires et des contraintes de paramètres complexes (liés, structurés, cachés) sans dérivation par tâche. Le travail est réalisé via une implémentation open-source (gaussian-bn) et sert de backend complémentaire aux tâches d'optimisation d'information développées dans des papiers connexes.