Learning When the Concept Shifts: Confounding, Invariance, and Dimension Reduction

1. Problématique et Contexte

Le papier aborde le défi de l'adaptation de domaine (domain adaptation) dans des contextes où les données sont observationnelles et soumises à des décalages de distribution (distribution shifts) et des facteurs de confusion non observés (unobserved confounding).

• Le Défi : Les praticiens déploient souvent des modèles prédictifs entraînés sur un environnement source ($S$) dans un nouvel environnement cible ($T$). Avec des données observationnelles, les changements de distribution ne sont pas seulement dus à un décalage des covariables (covariate shift), mais aussi à des facteurs de confusion latents qui modifient la relation fondamentale entre les variables d'entrée $X$ et la réponse $Y$.
• Le Concept Shift : Contrairement aux décalages purement distributionnels, la présence de confusion non observée entraîne un changement de concept (concept shift). Cela signifie que le meilleur modèle linéaire (le concept optimal) pour l'environnement source diffère de celui de l'environnement cible. Minimiser le risque sur la source ne garantit donc pas une bonne performance sur la cible.
• Limites des approches existantes :
  • La minimisation classique du risque source échoue car elle est biaisée par l'endogénéité.
  • Les méthodes d'adaptation de domaine standard supposent souvent que le mécanisme conditionnel $P(Y|X)$ est invariant, ce qui n'est pas le cas ici à cause de la confusion.
  • Les méthodes causales (comme la minimisation du risque invariant - IRM) nécessitent généralement des données étiquetées dans plusieurs environnements, ce qui n'est pas le cas ici (seules les données sources sont étiquetées).

2. Modèle Causal Structurel (SCM)

Les auteurs proposent un Modèle Causal Structurel (SCM) linéaire pour formaliser le problème. Le modèle postule l'existence de variables exogènes latentes :

• $E$ (Variable de confusion) : Représente l'influence environnementale. Sa distribution change entre la source et la cible ($\rho_S \to \rho_T$). Elle affecte à la fois les covariables $X$ et la réponse $Y$, créant la confusion.
• $Z$ (Variable invariante) : Représente une structure exogène stable partagée par les deux environnements. Elle joue un rôle similaire à une variable instrumentale, mais elle est non observée.
• Équations du modèle :
  $$Y = \langle \beta^*, X \rangle + \langle \gamma, E \rangle + U$$
  $$X = \Theta Z + \Delta E + W$$
  Où $\Theta$ projette la partie invariante $Z$ et $\Delta$ projette la partie confondante $E$.

L'objectif est d'identifier un sous-espace linéaire invariant (lié à $Z$) qui permet de prédire $Y$ de manière robuste malgré les changements de $E$.

3. Méthodologie : Optimisation sur la Variété de Stiefel

Pour résoudre ce problème, les auteurs proposent une méthode d'apprentissage de représentations qui apprend un sous-espace linéaire de plus basse dimension, noté $V \in \mathbb{R}^{d \times \ell}$, et un régresseur $\alpha$ restreint à ce sous-espace.

3.1 L'Objectif d'Optimisation

Ils définissent un objectif pénalisé qui agit comme une borne supérieure du risque cible. Cet objectif équilibre la prédictibilité (risque source) et la stabilité (invariance) :

$$\min_{V \in \text{St}(d, \ell), \alpha} \underbrace{\frac{1}{2} \mathbb{E}_S[(Y - \langle X, V\alpha \rangle)^2]}_{\text{Prédictibilité (Risque Source)}} + \underbrace{\frac{\upsilon}{2} \|\alpha\|^2}_{\text{Régularisation Ridge}} + \underbrace{\frac{\eta}{2} \|V^\top (\Sigma_T - \Sigma_S) V\|_F^2}_{\text{Stabilité (Invariance)}}$$

• $\Sigma_T - \Sigma_S$ : Matrice de décalage de covariance entre les distributions de covariables cible et source.
• Terme de stabilité : La pénalité $\|V^\top (\Sigma_T - \Sigma_S) V\|_F^2$ force le sous-espace $V$ à être orthogonal aux directions où la distribution change (c'est-à-dire la direction de la confusion $\Delta$).
• Contrainte : La matrice $V$ est contrainte à appartenir à la variété de Stiefel $\text{St}(d, \ell) = \{A \in \mathbb{R}^{d \times \ell} : A^\top A = I_\ell\}$, garantissant que les vecteurs de base du sous-espace sont orthonormés.

3.2 Algorithme d'Optimisation

L'objectif est non convexe par rapport à $V$. Les auteurs utilisent une méthode de descente de gradient projetée sur la variété de Riemann (Riemannian gradient descent) :

1. Calcul du gradient riemannien de la fonction objectif.
2. Mise à jour de l'itéré via une application de rétraction (retraction map) sur la variété de Stiefel pour maintenir la contrainte d'orthonormalité.
3. Recherche de ligne (line-search) pour déterminer le pas.

4. Contributions Théoriques Clés

Le papier fournit des garanties théoriques solides sur l'optimisation non convexe :

1. Alignement avec le sous-espace invariant (Théorème 1) :
   Sous une régularisation suffisante (paramètre $\eta$ grand), presque tous les optima locaux de l'optimisation sur la variété de Stiefel s'alignent avec le sous-espace invariant $\Theta$. Plus précisément, le sous-espace appris $V$ devient approximativement orthogonal au sous-espace endogène $\Delta$ (la source de confusion).
   $$\max_{v \in V, w \in \text{Endo}} \cos \angle(v, w) \leq O\left(\frac{1}{(\upsilon \eta^2)^{1/6}}\right)$$

2. Borne de stabilité du risque (Théorème 2) :
   Pour tout point stationnaire de l'optimisation, l'écart entre le risque cible et le risque source est borné. Cet écart se rapproche de la borne idéale (oracle) lorsque les paramètres de régularisation augmentent.
   $$R_T(\beta) - R_S(\beta) \leq \text{Oracle Gap} + O\left(\frac{1}{\upsilon^{4/3}\eta^{2/3}}\right)$$
   Cela prouve que la méthode peut atteindre un écart presque idéal entre les risques source et cible, même en présence de confusion non observée.

3. Analyse d'erreur à échantillon fini (Théorème 3) :
   Les auteurs quantifient l'écart entre l'optimisation théorique (sur la population) et l'estimation par plug-in (sur les échantillons finis), fournissant des bornes de probabilité pour la convergence.

5. Résultats Empiriques

La méthode a été validée sur plusieurs jeux de données réels :

• Exemple Économique (Tabellini) : Prédiction de la production économique en Europe.
  • Scénario : Entraînement sur des zones rurales (source), test sur des zones urbaines (cible).
  • Résultat : La méthode identifie automatiquement des caractéristiques stables (comme les institutions historiques) et ignore les variables instables (urbanisation), améliorant significativement la prédiction cible par rapport à une régression standard.
• Données de Feux de Forêt, Partage de Vélos et Qualité du Vin :
  • Ces ensembles de données présentent des décalages de distribution moins explicites (saisonnalité, types de vin).
  • Les auteurs proposent des heuristiques pour le choix des hyperparamètres ($\ell, \eta, \upsilon$) sans données de validation cibles.
  • Résultat : Pour des combinaisons appropriées de paramètres, la méthode réduit le risque cible par rapport à la minimisation classique du risque source, tout en maintenant un risque source acceptable. On observe une relation non monotone (en forme de U) entre le risque cible et le paramètre de stabilité $\eta$, illustrant le compromis entre stabilité et prédictibilité.

6. Signification et Conclusion

Ce travail est significatif car il :

1. Unifie les notions de stabilité causale (invariance du mécanisme) et de stabilité distributionnelle (invariance des marginales) dans un cadre d'adaptation de domaine avec données non étiquetées en cible.
2. Résout le problème de la confusion non observée en postulant l'existence de variables latentes invariantes et en apprenant un sous-espace qui les capture sans les observer directement.
3. Démontre que l'optimisation non convexe sur une variété, souvent perçue comme difficile, possède un paysage d'optimisation favorable où les optima locaux sont théoriquement garantis d'être proches de la solution causale souhaitée.
4. Offre une méthode pratique et applicable (via l'optimisation de premier ordre) pour améliorer la robustesse des modèles de ML dans des environnements changeants, en utilisant des techniques statistiques traditionnelles (variables instrumentales conceptuelles) adaptées à l'apprentissage automatique moderne.

En résumé, l'article propose une approche rigoureuse pour « apprendre quand le concept change », en transformant le problème de décalage de distribution en un problème de recherche de sous-espace invariant, résolu efficacement par l'optimisation géométrique.