📊 statistics

Environment-Adaptive Covariate Selection: Learning When to Use Spurious Correlations for Out-of-Distribution Prediction

Cet article propose un algorithme de sélection de covariables adaptatif à l'environnement qui choisit dynamiquement entre des caractéristiques causales et fallacieuses sur la base de signatures au niveau de l'environnement afin d'améliorer la prédiction hors distribution lorsque seuls des parents causaux partiels sont observés.

Auteurs originaux : Shuozhi Zuo, Yixin Wang

Publié 2026-06-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shuozhi Zuo, Yixin Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un chef essayant de cuisiner la soupe parfaite. Vous avez une recette qui repose sur deux ingrédients principaux : les Carottes (que vous pouvez voir et mesurer) et les Herbes (qui sont cachées dans un bocal d'épices secret que vous ne pouvez pas voir).

Dans le monde de la science des données, les « Carottes » sont les facteurs causaux observés (les choses dont nous savons avec certitude qu'elles affectent le résultat) et les « Herbes » sont les facteurs causaux non observés (les choses qui comptent réellement, mais que nous ne pouvons pas mesurer directement).

Le Problème : Le Chef « Prudent » vs Le Chef « Téméraire »

Traditionnellement, lorsque les chefs (ou les modèles d'IA) tentent de prédire quel sera le goût de la soupe dans une nouvelle cuisine (un nouvel environnement), ils suivent une règle stricate : « N'utilisez que les ingrédients dont nous pouvons prouver qu'ils sont causaux. »

Le Chef Prudent (Modèles Causaux/Invariants) : Il refuse d'utiliser tout ce qu'il ne peut pas prouver être une cause directe. S'il ne peut pas voir les « Herbes », il les ignore complètement. Il se dit : « Si je ne peux pas mesurer l'épice secrète, je ne ferai pas de suppositions basée sur elle. »
Le Chef Téméraire (Modèles Standards) : Il utilise tout ce qui est disponible, y compris un Ingrédient Proxy (comme un type spécifique de Sel). Dans la première cuisine, il a remarqué que chaque fois que les « Herbes » étaient fortes, le « Sel » était aussi salé. Il utilise donc le Sel pour deviner la quantité d'Herbes présentes dans le bocal.

Le Dilemme :

Si la nouvelle cuisine est similaire à l'ancienne, le Sel est un excellent allié. Il indique au chef exactement combien d'Herbes se trouvent dans le bocal, rendant la soupe délicieuse.
Mais, si la nouvelle cuisine possède une marque de Sel différente (un décalage de distribution), le Sel peut être salé pour une raison totalement différente. Si le chef suit aveuglément le Sel, la soupe sera ratée.

L'article soutient que le « Chef Prudent » est souvent trop conservateur. En ignorant le Sel, il passe à côté d'un indice majeur. Mais le « Chef Téméraire » est trop confiant ; il se fait piéger quand le Sel change de signification.

La Solution : Le « Sous-Chef Intelligent » (EACS)

Les auteurs proposent une nouvelle méthode appelée Environment-Adaptive Covariate Selection (EACS). Voyez cela comme un Sous-Chef Intelligent qui ne se contente pas de choisir une recette et de s'y tenir. Au lieu de cela, le Sous-Chef examine la cuisine elle-même avant de décider quoi utiliser.

Voici comment cela fonctionne :

Lire la pièce : Avant de cuisiner, le Sous-Chef regarde les ingrédients sur le plan de travail. Il vérifie le Sel. Est-ce la même marque qu'avant ? Est-il grumeleux ? Est-il exceptionnellement salé ?
- Analogie : Dans l'article, cela revient à observer la distribution des données non étiquetées. Si le comportement du Sel semble normal, c'est un proxy fiable. S'il semble étrange, c'est un mauvais proxy.
Prendre la décision :
- Scénario A : Le Sel semble normal. Le Sous-Chef se dit : « Super ! Le Sel est toujours un indice fiable pour les Herbes. Utilisons la recette Sel + Carottes ».
- Scénario B : Le Sel semble suspect (peut-être que quelqu'un a remplacé le salière). Le Sous-Chef se dit : « Le Sel nous ment maintenant. Ignorons-le et tenons-nous en à la recette Carottes uniquement ».
Le Résultat : Le Sous-Chef adapte la recette à la cuisine spécifique. Il ne fait pas aveuglément confiance au Sel, et il ne l'ignore pas non plus systématiquement. Il utilise les signatures laissées par l'environnement de la cuisine pour décider.

Pourquoi cela importe

L'article démontre que dans de nombreuses situations réelles, nous n'avons pas toutes les « Herbes » (données causales). Nous n'avons que les « Carottes » et un peu de « Sel » (proxys).

L'ancienne méthode : Toujours ignorer le Sel parce qu'il n'est pas une « vraie » cause. (Résultat : Vous manquez des prédictions de qualité lorsque le Sel est fiable).
L'ancienne méthode 2 : Toujours faire confiance au Sel. (Résultat : Vous échouez lamentablement lorsque le Sel change de sens).
La méthode EACS : Regarder le Sel d'abord. S'il semble digne de confiance, utilisez-le. S'il semble défaillant, abandonnez-le.

La Preuve

Les auteurs ont testé cette idée de deux manières :

Simulations : Ils ont créé des mondes fictifs où le « Sel » fonctionnait parfois et parfois non. L'EACS a appris à changer de stratégie parfaitement, battant le « Chef Prudent » rigide et le « Chef Téméraire » imprudent.
Données Réelles :
- Partage de vélos (Bike Sharing) : Prédire le nombre de vélos loués en fonction de la météo. Le « Sel » était une métrique météo spécifique qui, parfois, était corrélée à la demande et, parfois, ne l'était pas. L'EACS a déterminé quand s'appuyer dessus.
- Données de revenus : Prédire les revenus en fonction de la démographie à travers différents États américains. L'EACS a adapté sa stratégie pour chaque État, utilisant différentes combinaisons de points de données pour obtenir les prédictions les plus précises.

L'Essentiel

Vous n'avez pas à choisir entre être « causalement pur » (ignorer les indices utiles) et « statistiquement téméraire » (faire confiance à tout). Vous pouvez être adaptable.

Si vous savez lire l'environnement (la distribution des données), vous pouvez apprendre quand faire confiance à un raccourci et quand l'ignorer. C'est là que réside la puissance de l'Environment-Adaptive Covariate Selection : cela apprend au modèle à être un détective intelligent, et non un simple exécutant de règles.

Résumé technique : Sélection de covariables adaptative à l'environnement (EACS)

Énoncé du problème

L'article traite d'une lacune critique dans la prédiction hors distribution (OOD) : l'échec empirique des stratégies qui restreignent strictement les modèles aux covariables causales ou invariantes. Bien que fondées sur le principe théorique que les mécanismes causaux restent stables à travers les environnements, une telle sélection « uniquement causale » est souvent moins performante que la minimisation du risque empirique (ERM) standard en pratique.

Les auteurs identent le mécanisme principal de cet échec comme étant la présence de parents causaux non observés. Lorsqu'une partie seulement des parents causaux d'un résultat est observée, des covariables non causales agissent souvent comme des proxys pour ces parents non observés.

Le compromis : Si la relation entre le proxy et le parent non observé reste stable lors d'un changement de distribution, l'inclusion du proxy améliore la précision de la prédiction. Cependant, si le changement perturbe directement le proxy ou la relation proxy-parent, le proxy devient fallacieux et nuit à la performance.
Le défi central : L'ensemble optimal de covariables n'est pas universel ; il dépend du type spécifique de changement rencontré. Puisque le type de changement n'est pas directement observé, le défi consiste à déterminer, en se basant uniquement sur la distribution non étiquetée des covariables de l'environnement cible, si un proxy reste fiable ou s'il est devenu nuisible.

Méthodologie : Sélection de covariables adaptative à l'environnement (EACS)

La solution proposée, l'algorithme Environment-Adaptive Covariate Selection (EACS), apprend une application (mapping) allant des résumés au niveau de l'environnement de la distribution des covariables vers le sous-ensemble optimal de covariables pour cet environnement spécifique.

1. Cadre et hypothèses

Modèle causal : Les données sont modélisées via un modèle structurel causal (SCM) avec un résultat $Y$ , des parents causaux observés $C_s$ , des parents causaux non observés $U$ , et des covariables non causales observées $X$ (qui peuvent servir de proxys pour $U$ ).
Classe de changement : Les environnements diffèrent par des interventions sur les covariables $(C_s, U, X)$ , tandis que l'équation structurelle pour $Y$ reste invariante.
Condition d'optimalité : Le sous-ensemble de covariables optimal $z^*(e)$ est une fonction de l'intervention $i(e)$ . EACS vise à apprendre un sélecteur $g$ qui associe une représentation de l'environnement $u_e$ à $z^*(e)$ .

2. Composants de l'algorithme

EACS se compose de deux étapes principales :

Représentation de l'environnement ( $u_e$ ) : Un résumé de la distribution des covariables cibles. Cela peut être :
- Artisanat (Hand-crafted) : Des statistiques simples (ex: variances, corrélations) dérivées de la connaissance du domaine (comme démontré dans l'exemple courant).
- Appris (Learned) : Des représentations apprises à partir de données multi-environnements via des encodeurs invariants par permutation (ex: DeepSets) pour capturer des caractéristiques distributionnelles complexes.
Sélecteur ( $g$ ) : Un modèle qui associe $u_e$ $u_{e}$ à un sous-ensemble de covariables. L'article propose deux implémentations :
- Sélecteur discret : Sélectionne parmi une bibliothèque finie de sous-ensembles candidats $\mathcal{Z}$ . Il est entraîné en minimisant le risque empirique du sous-ensemble sélectionné à travers les environnements d'entraînement. Cette version offre des garanties théoriques et une interprétabilité.
- Sélecteur à porte douce (Soft-Gating - Continu) : Produit un vecteur de porte continue $\tilde{z}_e \in (0, 1)^p$ appliqué élément par élément aux covariables. Le prédicteur et le réseau de porte sont entraînés conjointement pour minimiser le risque moyen par environnement. Cette version s'adapte aux contextes de haute dimension où l'énumération des sous-ensembles est irréalisable.

3. Incorporation des contraintes causales

Le cadre permet l'intégration de connaissances causales préalables. Si un sous-ensemble de covariables $S$ est connu pour être un parent causal, la bibliothèque de candidats est contrainte de n'inclure que des sous-ensembles contenant $S$ . Cela réduit l'espace de recherche et améliore les performances, particulièrement lorsque les tailles d'échantillon sont faibles.

4. Garanties théoriques

Pour le sélecteur discret, l'article établit des bornes de l'erreur en échantillon fini sur l'excès de risque. L'erreur se décompose en :

Erreur d'estimation intra-environnement : Diminue avec la taille de l'échantillon $n$ et la taille de la bibliothèque $|\mathcal{Z}|$ .
Erreur de sélection inter-environnement : Diminue avec le nombre d'environnements d'entraînement $m$ et la complexité (complexité de Rademacher) de la classe des sélecteurs.
Les auteurs prouvent l'optimalité asymptotique sous réserve que la représentation de l'environnement soit suffisamment informative pour distinguer les interventions nécessitant différents sous-ensembles de covariables.

Principales contributions

Identification du mécanisme : L'article identifie les parents causaux non observés comme un mécanisme spécifique provoquant l'échec de la sélection purement causale. Il démontre que les proxys non causaux ne sont pas intrinsèquement fallacieux mais sont conditionnellement utiles selon le changement.
Utilité des proxys dépendante du changement : Il établit que l'utilité d'un proxy dépend du changement et que des signatures observables dans la distribution non étiquetée des covariables (ex: changements de variance ou de structure de corrélation) peuvent diagnostiquer la fiabilité d'un proxy.
Algorithme EACS : La proposition d'un cadre unifié qui apprend des règles de sélection de covariables spécifiques à l'environnement. Il comble le fossé entre la sélection causale statique et l'ERM en s'adaptant aux signatures distributionnelles de l'environnement cible.
Validation théorique et empirique : Les auteurs fournissent des garanties théoriques pour le sélecteur discret et démontrent des gains empiriques par rapport aux bases statiques causales, invariantes et non adaptatives à travers divers changements.

Résultats empiriques

La méthode a été évaluée sur des simulations et deux jeux de données réels :

Simulations : EACS approche les performances d'un prédicteur "oracle" (qui connaît le sous-ensemble optimal pour chaque changement) lorsqu'un nombre suffisant d'environnements d'entraînement et de résumés informatifs sont disponibles. Il surpasse les méthodes causales et invariantes statiques lorsque les changements perturbent les relations de proxy.
Jeu de données Bike-Sharing : Dans un contexte avec de nombreux environnements (jours) mais peu d'échantillons par environnement, EACS a obtenu l'erreur quadratique moyenne (MSE) la plus faible parmi les bases (incluant Lasso, Anchor Regression et Invariant Causal Prediction). Notamment, l'ICP a échoué en rejetant tous les sous-ensembles, s'effondrant sur un modèle à constante uniquement.
Jeu de données ACS Income : Dans un contexte de haute dimension avec moins d'environnements (états) mais beaucoup d'échantillons, la variante à porte douce d'EACS a de nouveau obtenu la MSE moyenne la plus faible, surpassant l'OLS, Lasso et Anchor Regression.

Signification et affirmations

L'article affirme que la prédiction robuste OOD ne nécessite pas l'évitement total des covariables fallacieuses. Au lieu de cela, la stratégie optimale est d'apprendre quand de telles covariables peuvent être fiables.

Adaptation structurée : EACS offre une forme structurée d'adaptation où les paramètres de prédiction sont partagés, mais le choix des covariables varie selon l'environnement. Cela est présenté comme une alternative de moindre complexité et plus interprétable qu'un prédicteur contextuel complet qui adapterait tous les paramètres à l'environnement.
Utilité pratique : La méthode fournit une solution pratique pour les contextes où les parents causaux sont partiellement non observés, un scénario courant dans des domaines tels que la santé ou l'économie.
Limites : Les auteurs notent modestement que le succès dépend de la disponibilité de représentations d'environnement informatives et d'une diversité suffisante d'environnements d'entraînement. La variante à porte douce introduit une erreur d'approximation, et la méthode nécessite un lot de covariables de test pour construire les résumés, ce qui exclut la prédiction sur une observation unique. De plus, des contraintes causales mal spécifiées peuvent impacter négativement les performances.