Résumé Technique : La Représentation Causale Rencontre la Modélisation Stochastique sous Géométrie Générique

1. Énoncé du Problème

Le papier traite du défi consistant à apprendre des représentations causales significatives à partir de données observationnelles de haute dimension où les variables causales sous-jacentes sont des processus stochastiques en temps continu, plus précisément des processus de points multivariés (par exemple, les processus de Hawkes).

La littérature existante sur l'apprentissage de représentations causales (CRL - Causal Representation Learning) se concentre principalement sur :

• Les processus latents en temps discret.
• L'identifiabilité sous des hypothèses i.i.d. ou des processus latents en temps discret mélangés par des fonctions inversibles.
• Des scénarios où une variabilité suffisante provient de multiples sources, de variables auxiliaires ou d'interventions.

Cependant, de nombreux phénomènes du monde réel (par exemple, l'accumulation de mutations génomiques, les déclenchements de pointes neuronales, le trading financier) sont intrinsèquement des processus stochastiques en temps continu. Les méthodes actuelles peinent à identifier les variables latentes dans ces contextes, particulièrement lorsque la fonction de mélange est non inversible et générique, et que la dynamique est pilotée par des mécanismes d'auto-excitation (équations différentielles stochastiques ou processus de points). Le problème central est d'établir des garanties d'identifiabilité pour le modèle génératif (fonction de mélange, processus latent et structure causale) sous ces conditions génériques, non inversibles et en temps continu.

2. Méthodologie

Les auteurs proposent un cadre théorique fondé sur la géométrie algébrique et un algorithme pratique nommé MUTATE (MUlti-Time Adaptive Transition Encoder).

2.1 Cadre Théorique : Identifiabilité via la Géométrie

Les auteurs modélisent le processus génératif où les observations $O_t$ sont générées à partir d'un processus de points latent $N_t$ (représentant les comptages cumulés) via une fonction de mélange inconnue $f$ :
$$O_t = f(N_t(\Delta))$$
L'intensité latente $\lambda_t$ suit une dynamique de processus de Hawkes :
$$\lambda_t = U + \Phi_t \star N_t(\Delta)$$
où $U$ est un taux de base, $\Phi_t$ est le noyau causal, et $\star$ désigne la convolution.

Étapes Théoriques Clés :

1. Convergence Faible et Classes d'Équivalence : Puisque les dynamiques en temps continu ne peuvent être parfaitement récupérées à partir d'observations discrètes sans une résolution infinie, les auteurs définissent une classe d'équivalence à convergence faible. Ils établissent que le processus latent estimé converge en distribution vers le processus réel en temps continu lorsque la résolution de discrétisation $\Delta \to 0$.
2. Géométrie Algébrique des Cumulants : Pour prouver l'identifiabilité, les auteurs analysent la géométrie de l'espace des paramètres en utilisant des cumulants d'ordre supérieur. Ils traitent la fonction de mélange et les paramètres du noyau comme des points dans un espace projectif.
   • Ils définissent un idéal $I$ généré par la différence entre la distribution observée et la distribution du modèle.
   • L'identifiabilité est atteinte si cet idéal a une dimension zéro (c'est-à-dire que l'ensemble des solutions consiste en un nombre fini de points).
3. Identifiabilité Linéaire et Non Linéaire :
   • Cas Linéaire : Ils démontrent que sous des conditions génériques (bruit non gaussien, rang suffisant), la matrice de mélange et la structure du noyau sont identifiables à une échelle et une permutation près. Cela repose sur la décomposition unique des tenseurs de cumulants (décomposition CP) et les propriétés des variétés de Veronese.
   • Cas Non Linéaire : Ils assouplissent l'hypothèse de linéarité, permettant des fonctions de mélange $C^d$ génériques. Ils prouvent que si la Jacobienne de la fonction de mélange est de plein rang presque sûrement, la structure causale reste identifiable à une transformation par composante et une permutation près.
4. Nécessité et Suffisance : Le papier étabrent que les conditions proposées (généricité du mélange, existence de cumulants non nuls, idéal de dimension zéro) sont à la fois nécessaires et suffisantes pour une identifiabilité complète.

2.2 Algorithme : MUTATE

Pour implémenter ces intuitions théoriques, les auteurs proposent MUTATE, un cadre d'auto-encodeur variationnel (VAE) conçu pour les processus de points stochastiques.

• Architecture :
  • Encodeur : Mappe les observations $O_t$ vers un bruit indépendant $\epsilon$ et une intensité de base $U$.
  • Dynamique Latente : Modélise le processus latent $Z_t$ en utilisant un mécanisme causal d'auto-convolution $s_\phi(\epsilon_t, U, \Phi)$.
  • Décodeur : Reconstruit les observations à partir de la représentation latente.
• Module Neural PSD (Densité Spectrale de Puissance) : Un composant novateur qui exploite la connexion temps-fréquence.
  • Au lieu d'une convolution standard dans le domaine temporel, le module opère dans le domaine fréquentiel.
  • Il utilise le théorème de Wiener–Khinchin pour relier l'autocorrélation du processus latent à sa densité spectrale de puissance.
  • Il emploie une approche de factorisation spectrale de Wilson pour décomposer la densité spectrale, imposant l'effet de groupe $G$ sur la matrice de variance du bruit. Cela garantit que les variables latentes satisfont la structure algébrique requise pour l'identifiabilité.
• Objectif d'Entraînement : Minimise la borne inférieure de l'évidence (ELBO) avec un terme de régularisation supplémentaire pour imposer la parcimonie dans le noyau et s'assurer que le processus appris adhère au modèle génératif identifié.

3. Contributions Clés

1. Premières Conditions d'Identifiabilité pour les Processus de Points en Temps Continu : Le papier établit les premières conditions nécessaires et suffisantes garantissant l'identifiabilité complète des processus de points latents sous un mélange générique et non inversible. Cela étend le CRL au-delà des hypothèses de temps discret et de mélange inversible.
2. Caractérisation Géométrique : Il introduit une perspective novatrice liant l'apprentissage de représentations causales à la géométrie des espaces de paramètres (spécifiquement, la dimensionnalité des idéaux définis par les cumulants). Cela fournit un fondement mathématique rigoureux expliquant pourquoi certains processus stochastiques sont identifiables.
3. Cadre MUTATE : Les auteurs proposent un cadre d'auto-encodeur variationnel identifiable qui incorpore un module de transition adaptatif au temps et un module Neural PSD pour inférer des dynamiques stochastiques à partir de données de haute dimension.
4. Pont entre Théorie et Pratique : Ce travail relie les concepts abstraits de la géométrie algébrique (variétés de Veronese, idéaux de dimension zéro) à la conception algorithmique concrète pour l'apprentissage de dynamiques causales dans des systèmes en temps continu.

4. Résultats

Les auteurs évaluent MUTATE sur des jeux de données synthétiques et empiriques.

• Expériences Synthétiques :
  • Configuration : Processus de points multivariés simulés avec cinq types de noyaux différents (Exponentiel, Loi de puissance, Rectangulaire, Non linéaire simple, Mélange flexible) sous des régimes de bruit hétérogènes et de mélange gaussien.
  • Baselines : Comparaison avec TDRL, BetaVAE, SlowVAE et PCL.
  • Métrique : Coefficient de corrélation moyenne (MCC) pour la récupération des variables latentes.
  • Performance : MUTATE surpasse significativement toutes les baselines. Par exemple, sur le noyau de loi de puissance, MUTATE a atteint un MCC de 0,938, contre 0,609 pour TDRL et 0,128 pour BetaVAE. Les baselines échouent souvent à modéliser les structures temporelles, convergeant prématurément vers des optima locaux.
• Études Empiriques :
  • Génomique : Appliqué à la simulation de l'accumulation de mutations en génomique (via le simulateur SERGIO), démontrant la capacité d'identifier les gènes de mutation associés au cancer.
  • Neurosciences : Appliqué aux déclenchements de pointes neuronales, montrant l'efficacité pour suivre les dynamiques d'événements latents pilotant les signaux biologiques.

5. Signification et Revendications

Le papier prétend combler une lacune critique entre la modélisation stochastique et l'apprentissage de représentations causales.

• Avancée Théorique : Il dépasse les limitations du temps discret et du mélange inversible, fournissant un cadre rigoureux pour les processus en temps continu et auto-excités.
• Utilité Scientifique : Les auteurs soutiennent que leur méthode permet de récupérer les mécanismes causaux latents dans des domaines comme la biologie et la physique où les données sont intrinsèquement continues et stochastiques (ex: suivre les mutations de gènes conducteurs ou les pointes neuronales).
• Modestie sur la Portée : Les auteurs reconnaissent des limites. Ils notent que leurs garanties théoriques reposent sur des conditions "génériques" (qui sont vraies presque sûrement mais difficiles à vérifier numériquement). Ils précisent explicitement qu'ils évitent le "scénario le plus complexe" des noyaux entièrement non paramétriques, suggérant qu'en pratique, des noyaux plus simples suffisent souvent. Ils notent également que bien qu'ils traitent le mélange non paramétrique générique, le cadre entièrement non paramétrique reste un défi ouvert.

En résumé, ce travail fournit une solution mathématiquement fondée et algorithmiquement réalisée pour identifier les structures causales dans les systèmes stochastiques en temps continu, offrant un nouvel outil pour la découverte scientifique dans des domaines caractérisés par des dynamiques complexes et variables dans le temps.