Résumé technique : Identifiabilité computationnelle

Énoncé du problème

L'identifiabilité causale traditionnelle, appelée « identifiabilité théorique », repose sur des dérivations mathématiques pour prouver l'existence d'un paramètre causal unique compte tenu d'un ensemble d'hypothèses (par exemple, des graphes causaux, des axiomes de probabilité). Cette approche suppose généralement des propriétés asymptotiques, des données infinies ou d'autres conditions idéalisées. Bien que des algorithmes complets et exacts existent pour des classes de modèles spécifiques (par exemple, le do-calculus pour les SCM semi-markoviens récursifs), ils échouent souvent dans des scénarios pratiques impliquant :

• Des tailles d'échantillons finis.
• Des critères graphiques ambigus où plusieurs ensembles d'ajustement existent, mais dont l'optimalité dépend de paramètres structurels inconnus.
• Des mélanges complexes de données observationnelles et interventionnelles.
• Des contextes nécessitant des hypothèses paramétriques (par exemple, linéarité, non-gaussianité) qui sont difficiles à vérifier analytiquement.

Par conséquent, les garanties théoriques offrent souvent peu d'indications sur la capacité d'un paramètre cible à être réellement estimé dans un contexte spécifique de données finies.

Méthodologie : Identifiabilité computationnelle

Les auteurs proposent l'identifiabilité computationnelle, un cadre qui redéfinit l'identifiabilité comme le succès d'une procédure de recherche computationnelle finie pour un estimateur empirique, plutôt que comme l'existence d'une solution analytique unique.

Définitions fondamentales

1. Distribution de mélange causale : Le cadre définit une somme pondérée de distributions empiriques (provenant de données observationnelles, interventionnelles ou contrefactuelles) et de distributions théoriques dérivées d'un Modèle Causal Structurel (SCM). Cela permet l'intégration de sources de données mixtes.
2. Identifiabilité computationnelle (Définition 4) : Une requête causale $\Theta[C, x]$ est considérée comme $\epsilon$-$\delta$-identifiable conditionnellement à un a priori $\pi$ sur les SCM et un espace d'hypothèses $\mathcal{H}$ s'il existe une fonction $\phi \in \mathcal{H}$ telle que la probabilité que l'erreur de l'estimateur soit dans une tolérance $\epsilon$ est d'au moins $1-\delta$.
   • Contrairement à l'identifiabilité théorique, celle-ci est conditionnée par l'a priori (la distribution sur les SCM), l'espace d'hypothèses (la classe d'estimateurs), la taille de l'échantillon et la tolérance d'erreur.
3. Approche de méta-apprentissage (Meta-Learning) : Pour opérationnaliser cela, les auteurs traitent l'identifiabilité comme un problème de méta-apprentissage. Ils définissent une distribution jointe sur les échantillons de mélange causal et les valeurs de requêtes causales. Un méta-apprenant (spécifiquement des processus neuronaux conditionnels ou des Set Transformers) est entraîné pour mapper les observations et les points de requête vers des valeurs de requêtes causales.
4. Estimation de l'identifiabilité : La probabilité d'identifiabilité est estimée empiriquement en entraînant le méta-modèle sur une distribution de SCM et en évaluant sa performance (par exemple, RMSE ou précision de la régression quantile) sur un ensemble de test. Les auteurs utilisent la régression quantile (architectures Q-CNP et Q-TNP) pour gérer les distributions d'effets de traitement asymétriques ou multimodales et pour estimer la probabilité que l'erreur tombe dans une tolérance spécifique.

Composants clés

• Conditionnement par l'a priori : La distribution du paramètre cible doit être suffisamment concentrée autour d'une valeur unique compte tenu de l'information disponible.
• Conditionnement par l'hypothèse : Un estimateur doit exister au sein de l'espace d'hypothèses choisi pour prédire le paramètre cible.
• Approximation : L'objectif est la prédiction dans une tolérance d'erreur acceptable, et non nécessairement une identification ponctuelle parfaite.

Contributions clés

1. Introduction de l'identifiabilité computationnelle : Un concept d'identifiabilité pratique, limité par le calcul, qui complète les définitions théoriques existantes. Il cadre l'identifiabilité comme une recherche d'un estimateur réussi dans un budget de calcul fini.
2. Formalisation du méta-apprentissage pour l'inférence causale : Le papier généralise le lien entre l'estimation de l'effet causal et le méta-apprentissage, en définissant les composants nécessaires (espace d'hypothèses, tolérance d'erreur, bornes de confiance et distributions de mélange) pour calculer et évaluer l'identifiabilité computationnelle.
3. Démonstration empirique : Le cadre est appliqué à des contextes complexes de petits échantillons finis où les garanties théoriques sont insuffisantes ou ambiguës.

Résultats expérimentaux

Les auteurs valident le cadre à travers trois scénarios distincts :

1. Sélection de l'ensemble d'ajustement optimal

Dans les contextes où plusieurs ensembles d'ajustement valides existent (par exemple, $Z_0 = \emptyset$, $Z_1 = \{Z_1\}$, $Z_{12} = \{Z_1, Z_2\}$), les critères théoriques ne peuvent souvent pas déterminer lequel est optimal sans connaître les paramètres structurels.

• Résultat : Le méta-modèle a réussi à identifier l'« ensemble conditionnellement optimal » (O-set) basé sur l'a priori sur les équations structurelles. Pour les modèles linéaires avec des a priori uniformes, $Z_{12}$ était optimal ; pour les équations structurelles basées sur des MLP aléatoires, $Z_0$ était optimal. Cela démontre la capacité à distinguer des contextes théoriquement équivalents en se basant sur la performance empirique.

2. Transportabilité avec des données mixtes

L'étude a examiné l'identification d'effets causaux sous confusion cachée en utilisant un mélange de données observationnelles et interventionnelles où les distributions de traitement différaient.

• Résultat : L'identifiabilité computationnelle a révélé une relation non monotone entre la composition des données et la performance. Bien que les données interventionnelles aident généralement, un ensemble de données composé exclusivement de données interventionnelles (avec une distribution de traitement décalée) a moins bien performé qu'un ensemble sans aucune donnée interventionnelle. Le cadre a quantifié le mélange optimal de types de données pour maximiser la probabilité d'identifiabilité.

3. Identification contrefactuelle (CATE vs. ITE)

Les auteurs ont comparé l'identifiabilité des effets de traitement moyens conditionnels (CATE) et des effets de traitement individuels (ITE) en présence de modérateurs non observés et de bruit.

• Résultat :
  • CATE : Identifiable dans tous les contextes, ne nécessitant ni données interventionnelles ni contrefactuelles.
  • ITE : Nécessitait des données contrefactuelles pour l'identification. Les données interventionnelles seules n'ont pas aidé et ont pu dégrader la performance dans des contextes sans bruit.
  • Dépendance à l'architecture : L'identifiabilité s'est avérée conditionnée par l'espace d'hypothèses. L'architecture Q-TNP (Set Transformer) a réussi à apprendre à faire correspondre les points de données individuels pour la récupération de l'ITE, tandis que le Q-CNP (moyenne par pooling) a échoué, soulignant que l'« identifiabilité » est relative à la classe d'estimateur choisie.
  • Non-monotonie : L'augmentation de la taille du jeu de données a amélioré l'estimation du CATE mais a parfois dégradé l'estimation de l'ITE, contredisant les attentes théoriques standards et soulignant la nature conditionnelle du cadre proposé.

Signification et revendications

Le papier affirme que l'identifiabilité computationnelle fournit une alternative actionnable et empirique à l'identifiabilité théorique. Sa principale signification réside dans :

• Praticité : Elle répond à des questions fines sur l'identifiabilité dans des contextes de petits échantillons, de graphes ambigus et de données mixtes où les solutions analytiques sont intraitables.
• Nature conditionnelle : Elle reconnaît explicitement que l'identifiabilité n'est pas une propriété absolue d'un modèle, mais qu'elle est conditionnée par l'a priori, l'espace d'hypothèses, la taille de l'échantillon et la tolérance d'erreur.
• Recherche systématique : Elle offre une voie pour rechercher systématiquement des algorithmes d'identification et des bornes partielles dans de nouveaux contextes où les résultats théoriques n'existent pas encore.

Les auteurs adoptent une position modeste, notant que ce cadre est un complément, et non un remplacement, de l'identifiabilité théorique. Ils suggèrent que les travaux futurs pourraient étendre ces définitions à l'analyse de survie, aux données manquantes et aux contextes de haute dimension, et automatiser davantage le processus de recherche.