Résumé technique : Enchevêtrement Abduction–Déduction : Généralisation de domaine via des Transplants de Représentation

Énoncé du problème

La généralisation de domaine (GD) traite de l'échec des modèles de prédiction entraînés sur une distribution source à se généraliser à une distribution cible non vue. Les approches causales standard reposent souvent sur des hypothèses structurelles fortes, telles que l'existence d'un sous-ensemble de caractéristiques invariantes ou l'absence de facteurs de confusion non observés, pour identifier des prédicteurs invariants. Cependant, les benchmarks empiriques (par exemple, DomainBed) suggèrent que les méthodes existantes échouent souvent à surpasser la minimisation standard du risque empirique (MRE), en partie à cause d'un décalage entre les structures supposées et les nécessités réelles de généralisation.

Le défi central identifié dans ce travail est l'enchevêtrement abduction–déduction. Toute règle de prédiction $P(Y|X)$ peut être factorisée en une étape d'abduction (inférence des variables non observées $\tilde{U}$, telles que les facteurs de confusion, à partir de $X$ observé) et une étape de déduction (prédiction de $Y$ étant donné $X$ et $\tilde{U}$). Bien que la prédiction conjointe soit identifiable à partir des données, les cartes d'abduction et de déduction individuelles ne le sont pas ; elles sont enchevêtrées car leur produit doit être égal à la règle de prédiction observée. Les méthodes de GD traditionnelles tentent souvent d'éliminer cet enchevêtrement en imposant l'invariance sur les deux cartes ou en trouvant un sous-ensemble de caractéristiques où les deux sont invariants. Cet article soutient qu'une telle invariance stricte est souvent inutile et que l'enchevêtrement lui-même peut être exploité.

Méthodologie

1. Cadre théorique : Factorisation Abduction–Déduction

Les auteurs proposent une hypothèse structurelle où la carte de déduction (le mécanisme causal générant l'étiquette $Y$ à partir de $X$ et de $\tilde{U}$ non observé) est invariante à travers les domaines, tandis que la carte d'abduction (la distribution de $\tilde{U}$ étant donné $X$) varie.

• Factorisation : $P(Y|X) = \sum_{\tilde{u}} P(\tilde{u}|X) \cdot P(Y|X, \tilde{u})$.
• Paramétrisation : Les auteurs supposent une représentation préentraînée figée $\phi(X)$ (par exemple, issue d'un modèle fondamental). Ils paramètrent la carte d'abduction comme une lecture softmax-linéaire et la carte de déduction comme une lecture sigmoïde-linéaire de $\phi(X)$.
  • Abduction : $\vec{P}(\tilde{u}|x) \approx \text{softmax}(A_s^\top \phi(x))$
  • Déduction : $\vec{P}(y|x, \tilde{u}) \approx \text{sigmoid}(D^\top \phi(x))$
    Ici, $A_s$ sont des paramètres spécifiques au domaine, et $D$ est un paramètre partagé et invariant.

2. Transplants de Représentation

Pour naviguer dans la non-identifiabilité des cartes enchevêtrées, les auteurs introduisent les Transplants de Représentation.

• Base de Transplant ($L$) : Un opérateur linéaire $L$ est défini de telle sorte qu'il inverse à gauche les paramètres d'abduction ($A_s^\top L = I$) et se situe dans l'espace nul du paramètre de déduction ($D^\top L = 0$).
• Opérateur de Transplant ($T_{s \to s'}$) : Cet opérateur échange la composante d'abduction d'une représentation du domaine $s$ vers le domaine $s'$ tout en préservant la composante de déduction.
  • $T_{s \to s'} W = (I + L(A_s^\top - A_{s'}^\top)) W$
• Implication : Cela permet la construction d'une famille de distributions cibles plausibles. En transplantant des représentations sources dans un espace cible, on peut générer des distributions cibles candidates qui sont cohérentes avec les données sources et l'hypothèse d'une déduction invariante.

3. Optimisation Robuste Causale (CRO)

Les auteurs formulent la GD comme un jeu apprenant–adversaire appelé Optimisation Robuste Causale (CRO) :

• Adversaire : Étant donné un apprenant actuel $h$, l'adversaire recherche la distribution cible plausible « pire cas » (paramétrée par la base de transplant et les paramètres d'abduction) qui maximise le risque de $h$. Cela implique l'optimisation des paramètres de transplant sous contrainte d'ajustement sur les données sources et une pénalité de fermeture (distance de Hausdorff) garantissant que les représentations transplantées restent dans le support des données sources.
• Apprenant : L'apprenant met à jour $h$ pour minimiser le risque maximal sur l'ensemble des distributions cibles adverses générées jusqu'alors.
• Convergence : Le jeu se termine lorsque le risque pire cas converge. Sous des hypothèses idéales (données infinies, optima globaux), la solution est minimax-optimale sur l'ensemble des distributions cibles structurellement plausibles.

Contributions clés

1. Recadrage de l'Enchevêtrement : Au lieu de traiter la non-identifiabilité de l'abduction et de la déduction comme un problème à résoudre en éliminant l'enchevêtrement, l'article propose de paramétrer l'enchevêtrement. Cela permet une recherche structurée sur les distributions cibles plausibles sans exiger l'invariance stricte de la carte d'abduction.
2. Transplant de Représentation : L'introduction d'un opérateur linéaire de faible rang sur des représentations figées qui manipule le contenu d'abduction tout en conservant le contenu de déduction. Cela fournit un mécanisme concret pour une transportabilité partielle.
3. Représentations Invariantes comme Conséquence : L'article démontre que les représentations invariantes (un objectif courant en GD) émergent comme une conséquence structurelle de la paramétrisation abduction–déduction et de l'existence d'une base de transplant, plutôt que comme un objectif d'apprentissage primaire.
4. Algorithme CRO : Un algorithme pratique qui implémente l'optimisation min-max sur l'ensemble des distributions paramétrées par le transplant, offrant une garantie minimax-optimale sous des hypothèses structurelles spécifiques.

Résultats expérimentaux

La méthode a été évaluée sur des benchmarks synthétiques et réels utilisant le protocole DomainBed (exclusion d'un environnement, validation sur le domaine d'entraînement).

• Colored MNIST (Synthétique) : Dans la cellule de diagnostic où la corrélation couleur-étiquette est anti-alignée avec la source ($\rho = -0,9$), les bases de référence standard (MRE, IRM, GroupDRO, etc.) s'effondrent à une précision d'environ $10\%$ (pire que le hasard). CRO atteint 76 % de précision, identifiant avec succès la caractéristique de forme invariante en séparant la caractéristique de couleur spurieuse dans le sous-espace d'abduction et la forme dans le sous-espace de déduction.
• PACS (Monde réel) : Sur ce benchmark de reconnaissance d'objets, où l'hypothèse d'invariance de déduction n'est qu'approchée (en raison de changements de style), CRO se montre compétitif (84,6 % en moyenne), correspondant au cluster de base large mais ne menant pas les meilleurs performants (SagNet, CORAL). Les auteurs attribuent cela à la violation partielle de l'hypothèse d'invariance de déduction.
• OfficeHome (Monde réel) : CRO mène la performance moyenne (69,3 %) et arrive en tête de trois des quatre cellules d'exclusion d'un domaine. Les auteurs suggèrent que la structure à 65 classes permet au signal d'abduction d'être suffisamment riche pour la recherche de l'adversaire sans sur-paramétrisation.
• Validation Structurelle : Un jeu de données synthétique « questions morales » a été construit pour vérifier les prémisses structurelles. Les diagnostics ont confirmé que la factorisation abduction–déduction se ferme empiriquement, que les cartes d'abduction sont distinctes entre les domaines, que l'invariance de déduction tient, et qu'une base de transplant valide existe.

Signification et affirmations

L'article affirme que le transplant de représentation offre une petite paramétrisation structurée de la non-identifiabilité abduction–déduction inhérente à l'inférence causale. En embrassant l'enchevêtrement plutôt que de l'éliminer, l'algorithme CRO proposé atteint un risque cible pire cas minimax-optimale sur un ensemble de distributions cibles causalement plausibles.

La signification réside dans :

1. Rigueur théorique : Fournir une garantie formelle d'optimalité minimax sous des hypothèses structurelles spécifiques (déduction invariante, fermeture sous transplant) où les méthodes précédentes manquent souvent de telles garanties ou reposent sur des hypothèses invérifiables.
2. Efficacité pratique : Démontrer que cette approche peut récupérer des caractéristiques invariantes dans des scénarios d'« apprentissage par raccourci » (Colored MNIST) où d'autres méthodes de GD causale échouent, tout en restant compétitive dans des environnements réels complexes.
3. Nouvelle perspective : Déplacer le focus de la recherche directe de caractéristiques invariantes vers la paramétrisation de l'espace des mécanismes causaux valides (paires abduction/déduction) compatibles avec les données observées.

Les auteurs restent modestes concernant les limites, notant que l'hypothèse de fermeture (que les représentations transplantées ont des préimages dans le domaine cible) est structurelle et non vérifiable empiriquement sans données cibles. Ils reconnaissent également que la garantie minimax repose sur des conditions idéalisées (données infinies, optimisation globale) et que les performances se dégradent de manière gracieuse mais linéaire lorsque ces conditions sont assouplies.