Résumé Technique : SC3D – Découverte Différentiable Dynamique Causale Stable

1. Formulation du Problème

L'article aborde le défi de la découverte de structures causales à partir de séries temporelles multivariées où les interactions se produisent sur plusieurs retards temporels et peuvent impliquer des dépendances instantanées. La découverte causale traditionnelle dans les séries temporelles se heurte à deux obstacles principaux :

1. Espace de recherche combinatoire : L'espace de recherche pour les graphes dynamiques impliquant à la fois des arêtes retardées (inter-tranches) et instantanées (intra-tranches) est combinatoire, rendant la recherche exhaustive impossible pour les systèmes de haute dimension.
2. Instabilité numérique : Les méthodes de découverte causale différentiable (DCD), qui formulent l'apprentissage de la structure comme une optimisation continue, souffrent souvent d'instabilité numérique lors de l'imposition de contraintes d'acyclicité, en particulier lorsque le nombre de variables augmente. Les contraintes d'acyclicité lisses existantes (par exemple, basées sur la trace) se dégradent rapidement au-delà de quelques dizaines de variables.

Les auteurs proposent SC3D (Découverte Différentiable Dynamique Causale Stable), un cadre conçu pour apprendre conjointement des matrices d'adjacence spécifiques aux retards et un graphe acyclique orienté (DAG) instantané au sein d'un modèle d'équations structurelles (SEM) dynamique non linéaire.

2. Méthodologie

SC3D utilise un cadre différentiable en deux étapes qui fait le pont entre les modèles autorégressifs vectoriels structurels (SVAR) et la découverte causale différentiable stable. La méthode opère sur des séries temporelles multivariées observationnelles $\{X_t\}_{t=1}^T$.

Étape 1 : Pré-sélection temporelle par nœud

La première étape vise à réduire l'espace de recherche combinatoire en identifiant les parents causaux candidats sans imposer de contraintes d'acyclicité.

• Processus : Pour chaque variable cible $X_j^{t+1}$, un modèle prédictif conditionnel (implémenté sous forme de Perceptron Multicouche, MLP) est ajusté en utilisant une fenêtre temporelle de parents candidats, incluant des variables retardées jusqu'à l'ordre $L$ et des variables contemporaines (en excluant les boucles de rétroaction).
• Objectif : Le modèle maximise une vraisemblance logarithmique conditionnelle pénalisée avec un terme de régularisation $L_1$ pour imposer la parcimonie.
• Sortie : Les magnitudes apprises des groupes d'entrée sont seuillées pour générer des masques binaires ($M_{A_\ell}$ pour les arêtes retardées et $M_B$ pour les arêtes instantanées).
• Garantie théorique : Le théorème 3.1 établit que, au niveau de la population, cette étape de pré-sélection préserve tous les vrais parents dynamiques dans la fenêtre temporelle choisie, garantissant qu'aucune véritable relation causale n'est écartée avant l'étape de raffinement.

Étape 2 : Raffinement de la structure contraint

La deuxième étape affine la structure causale en utilisant les masques générés à l'Étape 1, en se concentrant sur l'imposition de la contrainte d'acyclicité spécifiquement sur le composant instantané.

• Optimisation : Les paramètres du modèle sont ré-optimisés pour minimiser une vraisemblance négative régularisée, restreinte aux arêtes autorisées par les masques de l'Étape 1.
• Imposition de l'acyclicité : Contrairement aux méthodes précédentes qui appliquent des contraintes lisses basées sur la trace à l'ensemble du graphe, SC3D impose l'acyclicité uniquement sur la matrice d'adjacence instantanée $B$. Cela est réalisé via une pénalité de rayon spectral $\rho(|B|)$, qui est égale à zéro si et seulement si le graphe est acyclique.
• Pénalité de 2-cycles : Pour traiter l'instabilité potentielle provenant des arêtes réciproques qui pourraient satisfaire un petit rayon spectral, une pénalité $L_1$ supplémentaire sur le produit élément par élément $B \odot B^\top$ est introduite pour pénaliser directement les 2-cycles.
• Planification de la pénalité : Le coefficient de pénalité spectrale $\gamma$ est augmenté progressivement pendant l'entraînement. Une fois que le graphe instantané extrait satisfait la contrainte d'acyclicité et conserve un nombre suffisant d'arêtes, la pénalité est « gelée » pour prévenir les comportements oscillatoires et stabiliser la convergence.
• Insight théorique : La proposition 3.2 prouve que si le bloc instantané $B$ est acyclique, l'ensemble du graphe causal déroulé dans le temps est garanti acyclique, car les arêtes retardées se déplacent intrinsèquement vers l'avant dans le temps et ne peuvent pas former de cycles.

3. Contributions Clés

L'article présente quatre contributions principales :

1. Formulation novatrice : Il formule la découverte causale pour les systèmes dynamiques en utilisant des matrices d'adjacence spécifiques aux retards et des composantes DAG instantanées, faisant efficacement le pont entre les modèles VAR structurels et la découverte causale différentiable stable.
2. Approche en deux étapes : Il introduit une stratégie de filtrage et de raffinement contraint. En filtrant les parents candidats dans une fenêtre de prédicteur retardé avant d'imposer l'acyclicité, la méthode évite l'instabilité numérique associée à l'optimisation directe de graphes acycliques de haute dimension.
3. Garanties théoriques : Les auteurs fournissent des garanties au niveau de la population prouvant que l'Étape 1 préserve tous les vrais parents causaux et que l'acyclicité des dépendances instantanées suffit à garantir l'acyclicité du graphe déroulé dans le temps.
4. Validation empirique : Le cadre est évalué sur des systèmes SVAR synthétiques, des benchmarks non linéaires et chaotiques (Lorenz-96, NC8), des dynamiques non stationnaires (TVSEM) et des jeux de données réels (CausalRivers), démontrant une stabilité et une précision améliorées par rapport aux bases de référence existantes.

4. Résultats Expérimentaux

Les auteurs ont évalué SC3D par rapport à des bases de référence incluant DYNOTEARS, PCMCI+, NTS-NOTEARS, TECDI, VAR-LiNGAM et NeuralGC.

• Évolutivité et stabilité : Dans des expériences faisant varier la dimension $d$ de 10 à 50, SC3D a démontré la plus faible distance de Hamming structurelle totale (SHD). Alors que les erreurs des autres méthodes croissaient rapidement avec la dimension, SC3D a maintenu des performances robustes. Il a obtenu des erreurs uniquement sur les retards ($SHD_A$) inférieures à celles de DYNOTEARS et TCDF, indiquant une récupération supérieure des dépendances temporelles.
• Performance de classement : En utilisant les métriques AUROC et AUPRC, SC3D a atteint des performances de premier plan dans le classement des relations causales retardées (AUROC $\approx$ 0,91) et des performances compétitives dans le classement des arêtes instantanées (AUPRC $\approx$ 0,715), surpassant les bases de référence spécialisées dans les paramètres de réseaux parcimonieux.
• Robustesse à l'ordre du retard : L'analyse de sensibilité a montré que lorsque l'ordre du retard $L$ augmentait, le composant instantané de l'erreur restait stable, confirmant que la conception en deux étapes contrôle efficacement l'espace de recherche même avec des dépendances temporelles plus profondes.
• Systèmes dynamiques :
  • Lorenz-96 (Chaotique) : SC3D a obtenu l'erreur structurelle top-$k$ la plus faible et les AUROC/AUPRC les plus élevés, surpassant PCMCI+ et TECDI.
  • TVSEM (Non stationnaire) : Dans un environnement à changement de régime, SC3D a produit des trajectoires de scores plus lisses et plus cohérentes temporellement par rapport aux bases de référence, qui présentaient des transitions plus nettes mais moins stables.
  • Monde réel (CausalRivers) : Sur des données de débit fluvial, SC3D a atteint une précision structurelle et des métriques de classement compétitifs, maintenant particulièrement ses performances à des dimensions plus élevées ($d=20$) où les autres méthodes se dégradaient significativement.
• Étude d'ablation : La suppression de la pré-sélection de l'Étape 1 a provoqué une augmentation catastrophique de la SHD totale (par exemple, de ~87 à ~637 à $d=20$), confirmant que l'étape de pré-sélection est cruciale pour contrôler l'espace de recherche. Les pénalités spectrales et de 2-cycles se sont également révélées essentielles pour une récupération stable en haute dimension.

5. Importance et Revendications

L'article revendique que SC3D offre une solution stable, évolutive et différentiable pour la découverte causale dans les systèmes dynamiques multivariés. Son importance réside dans :

• Surmonter l'instabilité numérique : En découplant la réduction de l'espace de recherche (Étape 1) de l'imposition de l'acyclicité (Étape 2) et en appliquant des contraintes spectrales uniquement au bloc instantané, il évite les pièges numériques des contraintes lisses basées sur la trace en haute dimension.
• Récupération conjointe : C'est l'une des rares méthodes capable de récupérer conjointement les structures causales retardées et instantanées tout en prenant en charge les dépendances non linéaires.
• Solidité théorique : Le cadre fournit des garanties formelles concernant la préservation des vrais parents lors du filtrage et la suffisance de l'acyclicité instantanée pour l'acyclicité globale.

Les auteurs positionnent SC3D comme une alternative robuste aux méthodes existantes qui modélisent soit indépendamment les dépendances retardées et instantanées, soit qui peinent avec l'évolutivité et la stabilité lorsqu'elles les apprennent simultanément. Ce travail est présenté comme une étape vers une intervention mécaniste fiable et un raisonnement sous des décalages de distribution dans des systèmes dynamiques complexes.