🤖 machine learning

Learning Subset-Shared Invariances for Domain Generalization with Mixture-of-Experts

Cet article propose un cadre de généralisation de domaine qui remplace l'hypothèse restrictive d'invariance globale par une « invariance partagée par sous-ensembles » implémentée via une architecture de mélange d'experts, améliorant ainsi la généralisation vers des cibles inédites en modélisant des structures prédictives qui sont stables uniquement au sein de sous-ensembles de domaines spécifiques plutôt qu'à travers tous les domaines.

Auteurs originaux : Tien-Hung Nguyen, Tien-Dat Tran, M. -Duong Nguyen, Kok-Seng Wong

Publié 2026-06-25

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tien-Hung Nguyen, Tien-Dat Tran, M. -Duong Nguyen, Kok-Seng Wong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : le pièat du « Taille unique »

Imaginez que vous entraînez un robot à reconnaître des animaux. Vous lui montrez des photos provenant de trois « mondes » différents :

Monde A : Des photos de vrais lions dans la savane.
Monde B : Des dessins de lions de style dessin animé.
Monde C : Des croquis en noir et blanc de lions.

Les méthodes d'IA traditionnelles essaient de trouver une seule règle unique qui fonctionne pour ces trois mondes simultanément. Elles disent : « Pour être un lion, il faut avoir une crinière, une queue et une forme de nez spécifique, qu'il s'agisse d'une photo, d'un dessin ou d'un croquis. »

L'article soutient que cette approche est défectueuse. C'est comme essayer de faire entrer un pion carré dans un trou rond.

Dans le monde de la Photo, le robot pourrait apprendre que la « fourrure dorée » est un trait clé.
Dans le monde du Croquis, la « fourrure dorée » n'existe pas ; seules les « lignes » comptent.
Si le robot essaie de trouver une règle qui s'adapte parfaitement à la fois à la « fourrure dorée » et aux « lignes », il finit par être confus. Il pourrait finir par ignorer la fourrure (parce qu'elle n'est pas présente dans les croquis) ou ignorer les lignes (parce qu'elles ne sont pas présentes dans les photos).

Les auteurs appellent cela le problème de l'« invariance globale ». En forçant l'IA à être parfaitement cohérente à travers chaque monde différent, elle finit par jeter accidentellement des indices utiles qui n'existent que dans certains de ces mondes. Plus vous ajoutez de mondes différents, plus le robot oublie comment reconnaître l'animal, car il essaie d'être trop parfait.

La solution : L'équipe de spécialistes (MESSI)

Au lieu d'un seul robot essayant d'être expert en tout, les auteurs proposent une équipe de spécialistes travaillant ensemble, appelée MESSI (Mixture of Experts with Subset-Shared Invariances).

Voyez MESSI comme une cuisine de restaurant avec un Chef de cuisine (le Routeur) et plusieurs cuisiniers spécialisés (les Experts).

Le Routeur (Le Chef de cuisine) : Lorsqu'une commande arrive (une nouvelle image), le Chef regarde et décide : « Cela ressemble à un croquis. Je vais l'envoyer au Spécialiste du Croquis. Cela ressemble à une photo. Je vais l'envoyer au Spécialiste de la Photo. »
Les Experts (Les Spécialistes) :
- L'Expert 1 n'apprend que des Photos et des Dessins animés. Ils alignent leurs règles pour s'assurer qu'elles sont d'accord sur ce qu'est un « lion » dans ces deux mondes. Ils ignoren les Croquis.
- L'Expert 2 n'apprend que des Croquis et des Dessins animés. Ils alignent leurs règles pour ces deux-là.
- L'Expert 3 pourrait gérer une autre combinaison différente.

Le tour de magie : Le système ne force pas l'Expert 1 à être d'accord avec l'Expert 2. Il force seulement les experts à être d'accord entre eux sur les groupes spécifiques de mondes auxquels ils sont assignés. De cette façon, la règle de la « fourrure dorée » est préservée pour l'expert de la Photo, et la règle des « lignes » est préservée pour l'expert du Croquis.

Comment cela fonctionne en pratique

L'article introduit quelques mécanismes astucieux pour faire fonctionner cette équipe :

Alignement conditionné par le routage : Le système ne se contente pas de deviner quel expert gère quelle image. Il apprend à dire : « Pour ce type spécifique de lion dans ce monde spécifique, l'Expert A est la meilleure correspondance. » Il crée une carte souple où différents experts gèrent différents « sous-ensembles » de données.
Garder les experts honnêtes : Pour s'assurer que les experts ne deviennent pas tous paresseux et ne fassent pas exactement la même chose (ce qui annulerait l'intérêt), le système possède une « Perte de Diversité » (Diversity Loss). C'est comme un manager disant aux cuisiniers : « Vous utilisez tous les deux la même recette. Essayez de trouver une autre façon de résoudre le problème ! » Cela garantit que chaque expert apprend une compétence unique et utile.
Équilibrer la charge : Le système s'assure également qu'aucun expert ne soit surchargé pendant que d'autres restent inactifs. Il veille à ce que le travail soit réparti équitablement.

Les résultats : Pourquoi c'est meilleur

Les auteurs ont testé cela sur des benchmarks d'IA standards (comme la reconnaissance d'objets dans différents styles d'images).

L'ancienne méthode : À mesure qu'ils ajoutaient de plus en plus de types d'images différentes (plus de « mondes »), l'IA traditionnelle devenait moins performante. C'était comme essayer de parler une langue qui est un mélange parfait d'anglais, de français et de japonais : elle finissait par produire du charabia.
La méthode MESSI : À mesure qu'ils ajoutaient des mondes, MESSI restait fort. Parce qu'il ne forçait pas une règle unique et rigide, il pouvait s'adapter. Il comprenait : « D'accord, pour ce groupe d'images, j'utiliserai la Règle A. Pour ce groupe, j'utiliserai la Règle B. »

L'idée principale à retenir

Le message central de l'article est simple : Ne forcez pas l'IA à trouver une règle parfaite qui fonctionne partout.

Au lieu de cela, laissez l'IA comprendre que le monde est composé de différents « quartiers ». Dans certains quartiers, certaines règles s'appliquent. Dans d'autres, des règles différentes s'appliquent. En utilisant une équipe de spécialistes qui ne s'accordent que sur les règles de leur quartier spécifique, l'IA devient beaucoup plus intelligente et robuste lorsqu'elle rencontre un monde totalement nouveau et inconnu.

C'est la différence entre un généraliste qui connaît un peu de tout mais ne maîtrise rien, et une équipe de spécialistes qui savent exactement comment gérer les situations spécifiques qui leur sont assignées.

Résumé Technique : Apprentissage d'Invariances Partagées par Sous-Ensembles pour la Généralisation de Domaine avec un Mélange d'Experts

1. Énoncé du Problème

La généralisation de domaine (DG - Domain Generalization) vise à entraîner des modèles sur un ou plusieurs domaines sources afin qu'ils se généralisent à des domaines cibles non vus sans accès aux données de ces derniers durant l'entraînement. L'approche prédominante en DG repose sur l'apprentissage de représentations invariantes au domaine, en imposant généralement que la distribution conditionnelle $P(Z|Y)$ reste cohérente à travers tous les domaines sources. Les méthodes telles que l'alignement de caractéristiques, l'Invariant Risk Minimization (IRM) et le matching de gradient opèrent sous l'hypothion qu'une structure prédictive unique et globalement partagée existe à travers tous les environnements.

Cependant, les auteurs soutiennent que cette hypothèse est souvent trop restrictive. Dans des scénarios réels, les domaines peuvent ne partager que partiellement leurs structures prédictives ; certaines caractéristiques peuvent être stables dans certains domaines mais varier dans d'autres. Imposer une invariance globale à mesure que le nombre de domaines hétérogènes augmente restreint progressivement l'espace de représentation faisable. L'analyse théorique et les observations empiriques (Figure 1) démontrent qu'à mesure que le nombre de domaines sources croît, l'information mutuelle entre la représentation apprise et l'étiquette ( $I(Z; Y)$ ) diminue de manière monotone. Par conséquent, des facteurs prédictifs précieux qui ne sont stables qu'au sein de sous-ensembles spécifiques de domaines sont écartés, entraînant une dégradation des performances de généralisation lorsque l'hétérogénéité des domaines est élevée.

2. Méthodologie : MESSI

Pour répondre aux limites de l'invariance globale, l'article propose MESSI (Mixture-of-Experts for Subset-Shared Invariances). L'hypothèse centrale est que la structure invariante doit être modélisée comme étant partagée par sous-ensemble plutôt que globalement partagée. La méthode utilise une architecture de Mélange d'Experts (MoE - Mixture-of-Experts) pour apprendre une décomposition structurée des relations entre les domaines.

2.1 Architecture

MESSI utilise un encodeur de base partagé (ex: DeiT) suivi d'un routeur et de plusieurs réseaux d'experts :

Encodeur Partagé : Produit une représentation de caractéristiques $u = b_\phi(x)$ .
Routeur : Calcule une distribution douce sur les experts $\pi(x) = \text{softmax}(g_\theta(u))$ , approximant efficacement une variable de sous-ensemble latente $S$ .
Experts : Chaque expert $m$ produit une représentation spécifique $z^{(m)} = h_m(u)$ .
Agrégation : La représentation finale est une somme pondérée $z(x) = \sum \pi_m(x) z^{(m)}$ , permettant la composition adaptative de composantes invariantes de sous-ensembles.

2.2 Objectifs d'Entraînement

Le modèle est entraîné pour optimiser une fonction de perte composite (Équation 5) :
$\mathcal{L} = \mathcal{L}_{cls} + \lambda_{ssi}\mathcal{L}_{OT}^{ssi} + \lambda_{sp}\mathcal{L}_{sp} + \lambda_{bal}\mathcal{L}_{bal} + \lambda_{div}\mathcal{L}_{div}$

Alignement de Sous-Ensemble Conditionné par le Routage ( $\mathcal{L}_{OT}^{ssi}$ ) : Au lieu d'aligner toutes les paires de domaines, l'invariance est imposée de manière sélective. Pour chaque expert $m$ , la méthode aligne les distributions de caractéristiques conditionnelles de classe uniquement entre les paires de domaines $(i, j)$ pour lesquels l'expert a une haute responsabilité de routage pour une classe $c$ spécifique. Le poids d'alignement $a_{ijc}^{(m)}$ est dérivé des probabilités de routage. La divergence est mesurée via le Transport Optimal (OT) (ou une variante MMD), pondérée par ces masses de routage. Cela crée une « invariance induite par le routage » où le modèle apprend où l'invariance doit tenir.
Spécialisation des Experts ( $\mathcal{L}_{div}$ ) : Pour éviter que les experts ne s'effondrent en représentations redondantes, un régularisateur de diversité minimise la similitude cosinus entre les directions de caractéristiques de différents experts.
Routage Confiant et Équilibré ( $\mathcal{L}_{sp}, \mathcal{L}_{bal}$ ) :
- $\mathcal{L}_{sp}$ encourage un routage parcimonieux au niveau de l'instance (faible entropie), garantissant que chaque échantillon active un sous-ensemble spécifique d'experts.
- $\mathcal{L}_{bal}$ assure une utilisation équilibrée des experts au niveau du jeu de données, empêissant quelques experts de dominer le trafic.

3. Contributions Clés

L'article présente trois contributions principales :

Identification d'une Limite Fondamentale : Les auteurs démontrent qu'imposer l'invariance à travers un nombre croissant de domaines réduit l'information prédictive. Ils introduisent l'invariance partagée par sous-ensemble, recadrant la DG comme un problème d'apprentissage de structures d'invariances dépendantes de sous-ensembles plutôt que d'une représentation invariante globale unique.
Cadre MoE Basé sur le Routage : Ils proposent une méthode qui utilise le routage pour induire une décomposition des relations de domaines pilotée par les données. En alignant les experts uniquement avec les sous-ensembles de domaines qu'ils servent, la méthode impose l'invariance de manière sélective, permettant la composition adaptative de composantes invariantes sans nécessiter d'étiquettes explicites de sous-ensembles.
Validation Empirique : L'approche démontre une amélioration de la généralisation hors domaine sur des benchmarks standards, particulièrement sous des décalages de domaines hétérogènes et à mesure que le nombre de domaines sources augmente.

4. Résultats Expérimentaux

Les expériences ont été menées sur des benchmarks de DG standards (DomainBed : PACS, OfficeHome, TerraIncognita, DomainNet) et sur un jeu de données contrôlé Rotated-Colored MNIST conçu pour tester la croissance des domaines.

Benchmarks Standards : MESSI (spécifiquement la variante DeiT-S/16 avec OT) a atteint une précision moyenne de pointe (66,2 %) sur DomainBed, surpassant des bases solides incluant ERM, CORAL, Fishr, SAGM, ainsi que d'autres méthodes MoE comme GMoE et OMoE.
Robustesse à la Croissance des Domaines : Sur le protocole de croissance de domaine à budget fixe de Rotated-Colored MNIST, MESSI a montré une robustesse supérieure. Alors que les méthodes d'alignement global (comme CORAL) ont subi des chutes de performance à mesure que le nombre de domaines sources augmentait (en raison de la sur-contrainte), MESSI a maintenu une précision élevée avec une chute minimale (baisse de 1,86 % contre 2,58 % pour la meilleure variante de CORAL).
Études d'Ablation :
- Le retrait de l'alignement conditionné par le sous-ensemble ( $\mathcal{L}_{ssi}$ ) a provoqué la plus grande chute de performance, confirmant son rôle de composant critique.
- Le retrait de la diversité ou des régulariseurs de routage a conduit à une redondance des experts et un routage diffus, réduisant les performances.
- Les comparaisons avec des contrôles (Global-MoE, Random-Subset-MoE) ont montré que MESSI apprend une structure d'alignement distincte plutôt que de simplement sparsifier un objectif global.
Efficacité : Bien que la variante basée sur l'OT introduise un surcoût d'entraînement (environ 12,39x le temps de ERM), la variante MMD réduit cela à environ 4,24x. Les coûts d'inférence restent comparables aux autres méthodes MoE.

5. Signification et Revendications

L'article affirme que la généralisation de domaine devrait dépasser le paradigme consistant à imposer une invariance globale unique. Au contraire, il soutient que la structure prédictive est intrinsèquement dépendante des sous-ensembles.

Insight Théorique : Ce travail fournit une justification théorique (via l'analyse de l'information mutuelle) de la raison pour laquelle l'invariance globale échoue lorsque l'hétérogénéité des domaines augmente : elle force le modèle à écarter des facteurs prédictifs qui ne sont pas universellement partagés.
Implication Pratique : En modélisant l'invariance à travers des structures partiellement partagées entre des sous-ensembles de domaines, MESSI atteint une plus grande robustesse. Le mécanisme de routage permet au modèle de découvrir ces sous-ensembles directement à partir des données sans nécessiter d'étiquettes de sous-ensembles explicites ou de regroupements de domaines prédéfinis.
Limites : Les auteurs reconnaissent modestement que la méthode dépend de la capacité du routeur à se spécialiser ; si les domaines sources sont peu nombreux ou si la couverture des classes est déséquilibrée, les signaux de routage peuvent être bruités. De plus, le coût computationnel de l'alignement par paire, particulièrement avec le Transport Optimal, est plus élevé que les méthodes d'alignement global standard.

En conclusion, MESSI offre un mécanisme pour préserver et composer des invariances au niveau des sous-ensembles, suggérant que l'avenir de la DG réside dans une décomposition structurée et adaptative plutôt que dans un alignement global uniforme.