Bayesian Invariance Modeling of Multi-Environment Data

Problématique

L'article traite du défi de la sélection de variables invariantes dans les données multi-environnements. Dans de nombreux contextes statistiques et d'apprentissage automatique, les données sont collectées à travers des environnements distincts (par exemple, différents hôpitaux, conditions expérimentales ou périodes de temps). Une approche classique de sélection de variables identifie les prédicteurs qui expliquent un résultat sous la distribution spécifique des données observées. Cependant, cela confond souvent les relations causales stables avec des associations spécifiques à l'environnement qui ne se généralisent pas à de nouveaux contextes.

L'objectif est d'identifier un sous-ensemble de caractéristiques dont la relation conditionnelle avec le résultat reste stable (invariante) à travers tous les environnements, même si les distributions marginales de ces caractéristiques elles-mêmes varient. Bien que les méthodes précédentes aient abordé ce problème via des tests d'hypothèses (par exemple, l'Invariant Causal Prediction, ICP) ou l'optimisation régularisée, ces approches peinent souvent face à la scalabilité computationnelle dans les dimensions élevées ou manquent d'un cadre probabiliste unifié pour la quantification de l'incertitude.

Méthodologie : Prédiction Invariante Bayésienne (BIP)

Les auteurs proposent la Prédiction Invariante Bayésienne (BIP), un modèle probabiliste qui traite la sélection de caractéristiques invariantes comme un problème d'inférence bayésienne.

1. Structure du modèle et hypothèses
La BIP repose sur deux hypothèses fondamentales concernant le processus de génération des données :

• Hétérogénéité des caractéristiques : Les distributions des caractéristiques varient selon les environnements.
• Invariance du résultat : Le résultat $y$ dépend d'un sous-ensemble spécifique de caractéristiques (l'ensemble invariant) de la même manière dans tous les environnements.

Le modèle traite l'ensemble des caractéristiques invariantes comme une variable latente, encodée par un vecteur sélecteur binaire $z \in \{0, 1\}^p$. La distribution jointe du sélecteur latent et des données observées $D$ se factorise comme suit :
$$p(z, D) = p(z) \prod_{e=1}^E \prod_{i=1}^{n_e} p_e(x_{z, ei}) \, g(y_{ei} | x_{z, ei}) \, p_e(x_{-z, ei} | x_{z, ei}, y_{ei})$$
Crucialement, la distribution conditionnelle du résultat étant donné les caractéristiques sélectionnées, $g(y|x_z)$, est mutualisée (pooled) à travers tous les environnements et partagée, tandis que les distributions des caractéristiques $p_e$ sont spécifiques à chaque environnement.

2. Formulation de la distribution a posteriori
Le modèle dérive une distribution a posteriori simplifiée pour le sélecteur invariant $z$ :
$$p(z | D) \propto p(z) \prod_{e=1}^E \prod_{i=1}^{n_e} \frac{g(y_{ei} | x_{z, ei})}{p_e(y_{ei} | x_{z, ei})}$$
Cette expression révèle que la probabilité a posteriori d'un ensemble de caractéristiques est proportionnelle au prior multiplié par le produit des rapports de vraisemblance entre les conditionnelles mutualisées et les conditionnelles locales spécifiques à l'environnement. Si un ensemble $z$ est véritablement invariant, la conditionnelle mutualisée correspond aux conditionnelles locales, maximisant ainsi le rapport. Si $z$ n'est pas invariant, le décalage réduit la probabilité a posteriori.

3. Algorithmes d'inférence

• Inférence exacte (BIP) : Pour les contextes de faible dimension, les auteurs énumèrent tous les $2^p$ ensembles de caractéristiques candidats pour calculer l'a posteriori exacte. Cela implique d'estimer les conditionnelles locales et mutualisées (par exemple, via le maximum de vraisemblance dans une famille gaussienne linéaire) et de calculer les rapports de vraisemblance.
• Inférence variationnelle (BIP-VI) : Pour traiter les données de haute dimension où l'énumération exacte est intraitable, les auteurs développent la BIP-VI. Cet algorithme approxime la distribution a posteriori en utilisant une famille variationnelle de type champ moyen $q_\phi(z) = \prod \text{Bernoulli}(z_j | \text{sigmoid}(\phi_j))$. Il optimise la borne inférieure de l'évidence (ELBO) en utilisant l'ascension de gradient stochastique et des estimateurs de gradient non biaisés (U2G) pour les variables discrètes. Contra�ci aux méthodes exactes, la BIP-VI ne nécessite ni recherche exhaustive ni pré-sélection des caractéristiques.

Contributions Théoriques

L'article établit des garanties théoriques rigoureuses pour le cadre BIP :

• Consistance de l'a posteriori : Sous les hypothèses d'invariance unique et d'estimation cohérente des conditionnelles, l'a posteriori de la BIP se concentre sur le véritable sélecteur de caractéristiques invariant $z^*$ lorsque le nombre d'environnements ($E$) et la taille de l'échantillon par environnement ($n$) tendent vers l'infini.
• Taux de contraction : Les auteurs prouvent que l'a posteriori se contracte exponentiellement par rapport à $n$ et $E$. Le taux dépend de deux facteurs :
  1. Connaissance a priori : Des priors informatifs qui pondèrent moins les ensembles non invariants accélèrent la contraction.
  2. Hétérogénéité des environnements : Une plus grande hétérogénéité entre les environnements (mesurée par la divergence entre les conditionnelles locales et mutualisées) conduit à une contraction plus rapide de l'a posteriori.
• Échantillons finis et relaxations : La théorie s'étend aux échantillons finis et aux hypothèses relaxées (par exemple, ensembles invariants non uniques ou erreur de spécification du modèle). Dans ces cas, l'a posteriori se concentre sur les sélecteurs « les plus approximativement invariants » cohérents avec le modèle et le prior.

Résultats Expérimentaux

Les auteurs évaluent la BIP et la BIP-VI sur des jeux de données synthétiques et réels, en les comparant à ICP, Hidden-ICP et EILLS.

1. Études Synthétiques

• Faibles dimensions ($p=10$) : La BIP et la BIP-VI récupèrent l'ensemble invariant réel avec une grande précision, surpassant ou égalant les méthodes existantes à mesure que le nombre d'environnements augmente. La masse a posteriori se concentre sur le véritable ensemble comme prédit par la théorie.
• Hautes dimensions ($p=450$) : Les méthodes existantes (ICP, EILLS) nécessitent une pré-sélection (par exemple, Lasso) pour réduire l'espace des caractéristiques, ce qui conduit souvent à de mauvaises performances si la pré-sélection manque les véritables caractéristiques invariantes. En revanche, la BIP-VI opère sur l'espace complet des caractéristiques sans pré-sélection. Elle atteint des taux de découverte exacte et une scalabilité nettement plus élevés par rapport aux versions pré-sélectionnées des autres méthodes.

2. Application Réelle : Perturbation Génique
La méthode est appliquée à un jeu de données de perturbation de gènes chez la levure ($p=6\,169$ gènes) pour identifier les régulateurs d'un gène cible.

• Performance : La BIP-VI atteint la précision la plus élevée parmi les méthodes de prédiction invariante, surpassant ICP-screen et EILLS-screen. Bien que son rappel soit modéré (en raison de la nature conservatrice de l'a posteriori et du nombre limité d'environnements), elle identifie un plus grand nombre de prédictions correctes que ICP-screen (371 contre environ 67 dans une comparaison spécifique).
• Validation : Les prédictions de la BIP-VI s'alignent étroitement avec les principales découvertes de la littérature antérieure (Meinshausen et al., 2016) et sont validées par des expériences de knock-out sur des données non utilisées.

Signification et Revendications

L'article affirme que la BIP offre une perspective probabiliste sur la prédiction invariante qui comble le fossé entre le test d'hypothèse et l'optimisation. Sa principale importance réside dans :

1. Quantification de l'incertitude : Contra est de l'estimation ponctuelle, la BIP fournit une distribution a posteriori complète sur les ensembles invariants, permettant une quantification de l'incertitude fondée sur des principes.
2. Scalabilité : La BIP-VI surmonte la complexité exponentielle de la prédiction invariante exacte, permettant l'analyse de données de haute dimension sans dépendre d'étapes de pré-sélection potentiellement coûteuses en informations.
3. Éclairage théorique : Le travail fournit des preuves formelles de consistance et de taux de contraction, liant explicitement la vitesse d'apprentissage à l'hétérogénéité des environnements.

Les auteurs notent des limites, notamment le recours à des estimations fixes pour les modèles conditionnels (ce qui peut introduire un biais dans les petits échantillons) et l'utilisation de l'inférence variationnelle à champ moyen, qui peut avoir des difficultés avec les a posteriori multimodaux dans des contextes avec très peu d'environnements. Des travaux futurs sont suggérés pour intégrer directement l'estimation des modèles conditionnels dans le cadre probabiliste et explorer des familles variationnelles plus expressives.