Résumé technique : Désenchevêtrement partiel non paramétrique via la parcimonie des mécanismes

Configuration du problème

Ce travail traite du problème de l'apprentissage de représentations identifiables dans le cadre de l'apprentissage de représentations causales (CRL). L'objectif est de récupérer des facteurs latents ($z$) de haut niveau et sémantiquement significatifs à partir d'observations de haute dimension ($x$), et de découvrir le modèle graphique causal (CGM) qui régit leur dynamique.

Les auteurs considèrent un modèle génératif où les observations sont générées par une fonction de mélange potentiellement hautement non linéaire (décodeur) $f$ agissant sur les facteurs latents $z$, corrompue par du bruit :
$$x_t = f(z_t) + n_t$$
Les facteurs latents évoluent au fil du temps selon un modèle de transition $p(z_t | z_{<t}, a_{<t})$, où $a_t$ représente des variables auxiliaires observées (par exemple, des actions, des indices d'environnement ou des indicateurs d'intervention). Crucialement, les facteurs latents sont supposés être indépendants conditionnellement à leurs parents dans un graphe causal parcimonieux $G$ (comprenant $G_z$ pour les dépendances temporelles et $G_a$ pour les dépendances auxiliaires).

Le défi central est l'identifiabilité : sans hypothèses supplémentaires, les facteurs latents et la fonction de mélange sont non identifiables à des difféomorphismes arbitraires près. Alors que des travaux antérieurs ont établi l'identifiabilité sous des conditions spécifiques (par exemple, des hypothèses de famille exponentielle, des cibles d'intervention connues ou des critères graphiques stricts), cet article cherche à relâcher ces contraintes pour gérer des contextes non paramétriques et des graphes causaux latents arbitraires, permettant potentiellement un désenchevêtrement partiel.

Méthodologie

1. Cadre théorique : Régularisation par parcimonie des mécanismes

L'article introduit la régularisation par parcimonie des mécanismes comme un nouveau biais inductif. L'hypothèse centrale est que les mécanismes régissant la dynamique latente sont parcimonieux :

• Influence auxiliaire parcimonieuse : Les variables auxiliaires $a$ n'affectent que peu de facteurs latents (graphe $G_a$ parcimonieux).
• Dépendances temporelles parcimonieuses : Les facteurs latents dépendent de manière parcimonieuse de leurs états passés (graphe $G_z$ parcimonieux).

Les auteurs formalisent la relation entre le modèle de vérité terrain $\theta = (f, p, G)$ et un modèle appris $\hat{\theta} = (\hat{f}, \hat{p}, \hat{G})$. Ils définissent une carte d'enchevêtrement $v = f^{-1} \circ \hat{f}$, qui projette la représentation apprise vers la représentation de vérité terrain.

2. Théorie de l'identifiabilité

L'article développe une théorie de l'identifiabilité non paramétrique basée sur la parcimonie des graphes appris $\hat{G}_a$ et $\hat{G}_z$.

• Relations d'équivalence : Au lieu de garantir l'identifiabilité à permutation et transformation élément par élément près (désenchevêtrement complet), la théorie établit l'identifiabilité jusqu'à cohérence :

  • $a$-cohérence ($\sim_{a}^{con}$) : La carte d'enchevêtrement $v$ est une composition d'une permutation et d'un difféomorphisme préservant $G_a$.
  • $z$-cohérence ($\sim_{z}^{con}$) : La carte d'enchevêtrement $v$ est une composition d'une permutation et d'un difféomorphisme préservant $G_z$ (et $G_z^\top$).
  • Désenchevêtrement partiel : Cela implique que bien que certains facteurs latents puissent rester enchevêtrés (mélangés), la structure de cet enchevêtrement est strictement contrainte par le schéma de parcimonie du graphe de vérité terrain.

• Hypothèses d'influence suffisante : Pour prouver ces résultats, les auteurs introduisent des hypothèses d'« influence suffisante » (Hypothèses 6, 7, 8). Celles-ci exigent que la Hessienne (pour $a$ continu) ou les différences partielles (pour $a$ discret) de la log-densité du modèle de transition varient suffisamment pour engendrer les sous-espaces pertinents définis par la structure du graphe.

• Cartes préservant le graphe : Un outil mathématique clé est le concept de cartes préservant $G$, des fonctions dont les graphes de dépendance respectent les contraintes de parcimonie de $G$. La théorie montre que si le graphe appris est régularisé pour être aussi parcimonieux que le graphe de vérité terrain, la carte d'enchevêtrement doit être une carte préservant $G$.

• Désenchevêtrement complet : L'article récupère le résultat plus fort du désenchevêtrement complet (identifiabilité à permutation et transformation élément par élément près) comme un cas particulier lorsque le graphe de vérité terrain satisfait un critère graphique spécifique (Hypothèse 5), qui généralise les critères précédents de Lachapelle et al. (2022).

3. Extension aux familles exponentielles

L'article relie ses résultats non paramétriques à l'hypothèse populaire de la famille exponentielle. En supposant que le modèle de transition appartient à une famille exponentielle avec une statistique suffisante unidimensionnelle, les auteurs montrent que les hypothèses d'« influence suffisante » peuvent être assouplies, permettant des transitions markoviennes sans variables auxiliaires (une limitation dans le cas non paramétrique).

4. Procédure d'estimation

Pour implémenter ces idées, les auteurs proposent un algorithme d'apprentissage basé sur les Auto-encodeurs Variationnels (VAE) :

• Modèle : Un VAE apprend le décodeur $\hat{f}$ et le modèle de transition $\hat{p}$.
• Contrainte de parcimonie : Au lieu d'utiliser une pénalité de parcimonie (régularisation), la méthode emploie une contrainte de parcimonie. Les matrices d'adjacence $\hat{G}_a$ et $\hat{G}_z$ sont traitées comme des paramètres de distributions de Bernoulli, et l'optimisation est contrainte de sorte que le nombre attendu d'arêtes ne dépasse pas un budget $\beta$ (idéalement fixé au nombre d'arêtes de la vérité terrain).
• Optimisation : L'optimisation contrainte est résolue à l'aide d'une formulation lagrangienne avec redémarrages du dual.

Contributions clés

1. Principe novateur : Introduction de la régularisation par parcimonie des mécanismes comme principe de désenchevêtrement, applicable lorsque les facteurs latents dépendent de manière parcimonieuse des variables auxiliaires ou des états passés.
2. Identifiabilité non paramétrique : Développement d'une théorie de l'identifiabilité entièrement non paramétrique qui ne nécessite pas l'hypothèse de la famille exponentielle, permettant des graphes causaux latents arbitraires (à condition qu'aucun lien causal instantané n'existe entre les latents au même instant).
3. Théorie du désenchevêtrement partiel : Formalisation du désencêtres partiel via de nouvelles relations d'équivalence ($a$-cohérence et $z$-cohérence). La théorie prédit précisément la structure de l'« graphe d'enchevêtrement » (quels variables restent mélangées) en fonction de la structure du graphe de vérité terrain.
4. Généralisation des interventions : Démonstration que le cadre gère les interventions multi-nœuds avec des cibles inconnues, un contexte où les méthodes précédentes étaient souvent limitées aux interventions sur un seul nœud ou à des cibles connues.
5. Nouvelle métrique d'évaluation : Introduction de $R_{con}$, une métrique pour quantifier à quel point une représentation apprise est proche d'être $a$-cohérente ou $z$-cohérente, comblant le fossé entre le désenchevêtrement complet (MCC) et la qualité générale de la représentation ($R$).
6. Validation empirique : Implémentation d'un VAE à contrainte de parcimonie et validation sur des jeux de données synthétiques, montée que l'imposition de la parcimonie améliore à la fois la récupération du graphe (SHD) et le désenchevêtrement (MCC, $R_{con}$).

Résultats

• Théoriques : Les théorèmes 1, 2 et 3 établissent que sous l'influence suffisante et la régularisation de parcimonie, le modèle appris est identifiable à $a$-cohérence, $z$-cohérence ou $(a,z)$-cohérence près. La proposition 7 montre que si le critère graphique est respecté, cela se réduit au désenchevêtrement complet.
• Expérimentaux :
  • Sur les jeux de données satisfaisant le critère graphique (par exemple, des graphes diagonaux ou non-diagonaux spécifiques), le VAE à contrainte de parcimonie atteint un Coefficient de Corrélation Moyenne (MCC) quasi parfait et une faible Distance de Hamming Structurelle (SHD), surpassant les bases comme TCVAE, iVAE, PCL et SlowVAE.
  • Sur les jeux de données violant le critère graphique (autorisant uniquement le désenchevêtrement partiel), la méthode obtient des scores $R_{con}$ élevés, confirmant que les représentations apprises respectent la structure d'enchevêtrement prédite, là où les bases échouent à obtenir un désenchevêtrement partiel.
  • Les expériences démontrent que la méthode fonctionne aussi bien pour les variables auxiliaires continues (actions) que pour les interventions discrètes (incluant les interventions multi-cibles).
  • La méthode est robuste à la variance hétéroscédastique (cas de non-famille exponentielle) dans le cadre non paramétrique.

Signification et affirmations

L'article affirme fournir une version considérablement étendue de Lachapelle et al. (2022). Sa principale importance réside dans :

• Relâchement des hypothèses : Passage d'une hypothèse restrictive de la famille exponentielle à un cadre non paramétrique général.
• Élargissement du champ d'application : Autorisation de graphes causaux latents arbitraires plutôt que d'exiger des structures spécifiques pour l'identifiabilité.
• Formalisation du désenchevêtrement partiel : Fourniture d'un cadre mathématique rigoureux pour comprendre et prédire quand et comment les facteurs latents resteront enchevêtrés, plutôt que de traiter le désenchevêtrement partiel comme un mode d'échec.
• Gestion des cibles inconnues : Offre une justification théorique pour l'utilisation d'interventions parcimonieuses avec des cibles inconnues pour parvenir au désenchevêtrement.

Les auteurs positionnent ce travail comme un fondement théorique pour de futures investigations empiriques dans des scénarios réalistes, tels que la biologie de cellule unique et l'analyse vidéo, où les mécanismes sont naturellement parcimonieux mais complexes. Ils déclarent explicitement que leur travail ne prétend pas résoudre le désencêtre dans tous les contextes, mais fournit les conditions suffisantes sous lesquelles cela est possible, même en présence de mélange non linéaire et de structures causales complexes.