💻 computer science

Domain-Agnostic Feature Modulation for Semi-Supervised Domain Generalization

Ce papier aborde le défi de la généralisation de domaine semi-supervisée agnostique aux étiquettes de domaine en proposant une stratégie de modulation des caractéristiques pour créer des représentations robustes et invariantes au domaine, ainsi qu'une fonction de mise à l'échelle dynamique des pertes pour atténuer le bruit de domaine et améliorer la précision des pseudo-étiquettes, permettant d'obtenir des gains de performance significatifs sur les principaux benchmarks sans recourir aux étiquettes de domaine.

Auteurs originaux : Venuri Amarasinghe (University of Moratuwa), Kalinga Bandara (University of Moratuwa), Isun Randila (University of Moratuwa), Asini Jayakody (University of Moratuwa), Chamuditha Jayanga Galappaththige

Publié 2026-05-29

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Venuri Amarasinghe (University of Moratuwa), Kalinga Bandara (University of Moratuwa), Isun Randila (University of Moratuwa), Asini Jayakody (University of Moratuwa), Chamuditha Jayanga Galappaththige (Queensland University of Technology), Ranga Rodrigo (University of Moratuwa)

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Le Défi de la « Nouvelle Ville »

Imaginez que vous entraînez un robot à reconnaître des animaux. Vous lui montrez des milliers de photos de chiens et de chats prises dans un parc ensoleillé (Domaine Source). Le robot apprend parfaitement.

Mais ensuite, vous emmenez le robot dans une forêt sombre et pluvieuse (Domaine Cible) pour le tester. L'éclairage est différent, les arbres ont une apparence différente, et les animaux semblent différents. Le robot se perd. Il pourrait penser qu'un chien mouillé est un chat parce que les caractéristiques de la « forêt pluvieuse » perturbent son cerveau.

Ceci s'appelle un Changement de Domaine. Dans le monde réel, nous n'avons souvent pas de données parfaitement étiquetées pour chaque nouvel environnement (comme la forêt pluvieuse). Nous avons un peu de données étiquetées et beaucoup de données non étiquetées (des photos sans noms).

L'objectif de ce papier est d'enseigner à un robot comment gérer ces nouveaux environnements jamais vus en utilisant principalement des données non étiquetées, sans avoir besoin de savoir exactement quel environnement (domaine) chaque photo provient.

Les Deux Principaux Obstacles

Les auteurs ont identifié deux grands problèmes avec les méthodes actuelles :

Le « Jeu de Devinettes » (Étiquetage Pseudo) : Puisque nous n'avons pas d'étiquettes pour les nouvelles données, le robot doit deviner les étiquettes (par exemple : « Je suis sûr à 90 % que c'est un chien »). Ces devinettes sont appelées Étiquettes Pseudo. Si le robot est perturbé par le fond de la « forêt pluvieuse », il fait de mauvaises devinettes. Si vous enseignez au robot en utilisant de mauvaises devinettes, il s'aggrave.
La Règle « Trop Stricte » : Pour éviter les mauvaises devinettes, les méthodes actuelles sont très strictes. Elles ne permettent au robot d'apprendre que des devinettes où il est sûr à 95 %. Cela signifie qu'elles rejettent 90 % des données non étiquetées parce que le robot n'est pas assez confiant. C'est comme un professeur qui ne laisse les élèves étudier que les questions les plus faciles et ignore le reste.

La Solution : Un Tour de Magie en Deux Parties

Les auteurs proposent une nouvelle méthode appelée Modulation de Caractéristiques Agnostique au Domaine. Imaginez cela comme un tour de magie en deux étapes pour réparer le cerveau du robot.

Étape 1 : Le « Mixeur » (Modulation de Caractéristiques)

L'Analogie : Imaginez que vous essayez d'enseigner à quelqu'un de reconnaître un Chien.

Le Problème : Dans le monde de la « Photo », les chiens ont du poil. Dans le monde du « Croquis », les chiens ne sont que des lignes. Si le robot se concentre sur le « poil », il échoue dans le monde des croquis. S'il se concentre sur les « lignes », il échoue dans le monde des photos.
La Correction : Les auteurs ont créé un Modulateur de Caractéristiques. Imaginez cela comme un mixeur.
- Ils prennent les caractéristiques spécifiques d'une photo (le poil, les lignes).
- Ils les mélangent avec une « Représentation Moyenne Similaire » (SAR). Imaginez que la SAR est un « Super-Chien Moyen » créé en mélangeant les meilleures parties de chiens de tous les mondes différents (photos, croquis, dessins animés) ensemble.
- Le mixeur réduit les parties qui changent trop entre les mondes (comme le fond ou l'éclairage) et augmente les parties qui restent les mêmes (la forme du museau).
Le Résultat : Le robot arrête de regarder le fond de la « forêt pluvieuse » et commence à se concentrer sur la « forme du chien ». Cela rend les devinettes du robot (étiquettes pseudo) beaucoup plus précises.

Étape 2 : Le « Potentiomètre Intelligent » (Mise à l'Échelle de la Perte)

L'Analogie : Maintenant que le robot fait de meilleures devinettes, les auteurs ont réalisé qu'ils pouvaient être moins stricts.

L'Ancienne Façon : « Écoute seulement les devinettes où tu es sûr à 95 %. » (Cela ignore beaucoup de données).
La Nouvelle Façon : Ils ont introduit une fonction de Mise à l'Échelle de la Perte. Imaginez un potentiomètre de volume.
- Si le robot est très sûr (95 %), le volume est fort (poids élevé).
- Si le robot est un peu sûr (75 %), le volume est plus bas, mais toujours audible.
- Crucialement, ils vérifient aussi l'« incertitude » (à quel point la main du robot tremble). Si le robot est instable, ils baissent encore plus le volume pour l'empêcher d'apprendre la mauvaise chose.
Le Résultat : Le robot peut maintenant apprendre à partir de plus de données (y compris les devinettes « un peu sûres ») sans se laisser perturber par le bruit.

Pourquoi Cela Compte (Les Résultats)

Les auteurs ont testé cela sur quatre ensembles de données majeurs (comme PACS, OfficeHome, etc.), qui sont comme différents « univers » d'images.

Pas Besoin d'Étiquettes de Domaine : Contrairement aux autres méthodes qui nécessitent une étiquette disant « Cela vient du Monde des Photos », cette méthode fonctionne à l'aveugle. Elle se fiche de l'origine des données.
Meilleure Précision : En nettoyant les caractéristiques (Étape 1) et en utilisant plus de données intelligemment (Étape 2), leur méthode a battu les meilleures méthodes précédentes (comme FixMatch) avec une marge significative (environ 3 à 6 % d'amélioration).
La Victoire du « Taux de Conservation » : Ils ont réussi à garder plus de données dans la boucle d'entraînement (taux de conservation plus élevé) tout en maintenant la précision des devinettes. C'est comme faire étudier à un élève 20 % de questions supplémentaires sans qu'il ne se perde.

Résumé en Une Phrase

Le papier enseigne à un modèle de vision par ordinateur à ignorer le « bruit de fond » des différents environnements et à se concentrer sur l'objet central, lui permettant d'apprendre à partir d'un ensemble beaucoup plus vaste de données non étiquetées sans avoir besoin de savoir exactement d'où proviennent ces données.

Résumé technique : Modulation de caractéristiques agnostique au domaine pour la généralisation de domaine semi-supervisée

Énoncé du problème
La généralisation de domaine semi-supervisée (SSDG) vise à améliorer la généralisation des modèles vers des domaines cibles non vus en exploitant une petite fraction de données étiquetées parallèlement à des données non étiquetées abondantes. Bien que les méthodes SSDG existantes reposent souvent sur l'étiquetage par pseudo-étiquettes (PL) pour les données non étiquetées, elles supposent fréquemment l'accès aux étiquettes de domaine durant l'entraînement — un privilège non toujours disponible dans les scénarios réels. De plus, les décalages de domaine introduisent un « bruit de domaine », conduisant à des pseudo-étiquettes incohérentes qui dégradent les performances du modèle. Les méthodes dérivées des bases de l'apprentissage semi-supervisé souffrent souvent d'une faible précision des pseudo-étiquettes, limitant l'utilisation effective des données non étiquetées. Un dilemme fondamental existe : abaisser le seuil de confiance pour utiliser plus de données non étiquetées augmente le bruit, tandis que maintenir un seuil élevé rejette des données précieuses. Cet article aborde le cadre de la SSDG agnostique aux étiquettes de domaine, où les étiquettes de domaine pour les données non étiquetées ne sont pas disponibles durant l'entraînement.

Méthodologie
L'approche proposée introduit un cadre novateur comprenant quatre composantes clés : les Représentations Moyennes Similaires (SAR), un Modulateur de Caractéristiques, l'Étiquetage par Pseudo-étiquettes utilisant des caractéristiques modulées, et une fonction de Mise à l'échelle des Pertes avec estimation de l'incertitude.

Représentations Moyennes Similaires (SAR) :
Pour atténuer l'impact des informations spécifiques au domaine, les auteurs définissent des prototypes de classe ( $P_c$ ) basés uniquement sur les étiquettes de classe, les rendant agnostiques au domaine. Contrairement aux méthodes qui moyennent les caractéristiques à travers les domaines en utilisant les étiquettes de domaine, cette approche calcule les SAR ( $R_c$ ) en pondérant les prototypes de classe selon leur similarité cosinus. Cela crée une représentation qui met l'accent sur les signaux spécifiques à la classe tout en supprimant les variations liées au domaine (par exemple, l'arrière-plan, la texture). Les SAR servent de cible robuste pour la modulation des caractéristiques.
Modulation de Caractéristiques :
Une matrice de modulateur de caractéristiques apprenable ( $M$ ) est introduite pour mélanger les caractéristiques spécifiques à l'instance ( $z$ ) avec les SAR ( $R$ ). La caractéristique modulée $Z_m$ est calculée comme suit :
$Z_m = M \odot Z + (1 - M) \odot R$
La matrice $M$ est initialisée en fonction de la variance des caractéristiques au sein de chaque classe (les caractéristiques à forte variance, probablement spécifiques au domaine, sont sous-pondérées) et est mise à jour durant l'entraînement via une fonction de perte diagonale. Ce processus déplace les caractéristiques vers leurs SAR, encourageant l'extracteur de caractéristiques à former des représentations invariantes au domaine étroitement regroupées et contraignant le classifieur à distinguer des classes étroitement liées en se concentrant sur des caractéristiques uniques spécifiques à la classe plutôt que sur des caractéristiques partagées ou spécifiques au domaine.
Étiquetage par Pseudo-étiquettes avec Caractéristiques Modulées :
Pour générer des pseudo-étiquettes plus précises, les caractéristiques des échantillons non étiquetés sont modulées vers la SAR de chaque classe avant d'être passées au classifieur. La classe produisant le score de confiance le plus élevé sur ces caractéristiques modulées est assignée comme pseudo-étiquette. Cette stratégie réduit l'interférence de domaine durant le processus d'étiquetage, résultant en des pseudo-étiquettes de meilleure qualité.
Estimation de l'Incertitude et Mise à l'échelle des Pertes :
Pour aborder le compromis entre l'utilisation des données et le bruit des étiquettes, les auteurs emploient le dropout de Monte Carlo (MC) pour estimer l'incertitude des pseudo-étiquettes. Ils introduisent une fonction de mise à l'échelle des pertes ( $l_{scale}$ ) dynamique qui ajuste la contribution de chaque pseudo-étiquette en fonction de sa confiance ( $p_{max}$ ) et de son incertitude ( $\sigma$ ). Cela permet au modèle d'intégrer des pseudo-étiquettes de moindre confiance de manière contrôlée, augmentant le « taux de conservation » (la proportion de données non étiquetées utilisées) sans introduire significativement de bruit.

Contributions Clés

Modulateur de Caractéristiques : Une stratégie qui améliore les caractéristiques discriminantes de classe et supprime les informations spécifiques au domaine sans dépendre des étiquettes de domaine, conduisant à des pseudo-étiquettes plus précises.
Fonction de Mise à l'échelle des Pertes : Un mécanisme qui ajuste dynamiquement l'influence des pseudo-étiquettes en fonction de la confiance et de l'incertitude, optimisant l'utilisation des données non étiquetées tout en atténuant le bruit des étiquettes.
Cadre Agnostique aux Étiquettes de Domaine : La méthode aborde le problème SSDG dans un cadre plus exigeant où les étiquettes de domaine sont indisponibles, démontrant son efficacité sur quatre benchmarks majeurs.

Résultats Expérimentaux
La méthode a été évaluée sur quatre benchmarks standards de généralisation de domaine : PACS, OfficeHome, VLCS et DigitsDG, dans des configurations à 5 étiquettes et 10 étiquettes.

Performance : La méthode proposée (FM) a obtenu des améliorations constantes par rapport à la forte base FixMatch, avec des augmentations moyennes de précision de 3,3 % (configuration à 10 étiquettes) et 4,3 % (configuration à 5 étiquettes) sur les ensembles de données.
Gains Spécifiques : Des améliorations notables ont été observées sur OfficeHome (57,2 % et 61,0 % pour 5 et 10 étiquettes), VLCS (75,5 % et 75,3 %) et DigitsDG (73,0 % pour 10 étiquettes).
Analyse des Composantes : Les études d'ablation ont confirmé que le modulateur de caractéristiques améliore la précision des pseudo-étiquettes, tandis que la fonction de mise à l'échelle des pertes augmente significativement le taux de conservation. La combinaison des deux composantes a produit le meilleur équilibre entre précision et utilisation des données.
Comparaison : La méthode a surpassé d'autres méthodes SSDG de l'état de l'art (par exemple, StyleMatch, FBCSA, DGWM), dont beaucoup reposent sur des étiquettes de domaine et ne performent pas bien dans le cadre agnostique aux étiquettes de domaine.

Signification
L'article prétend résoudre le dilemme fondamental en SSDG entre l'obtention de pseudo-étiquettes précises et la maximisation de l'utilisation des données non étiquetées. En déplaçant les caractéristiques vers des Représentations Moyennes Similaires, le modèle apprend à distinguer des classes étroitement regroupées et à former des représentations invariantes au domaine sans supervision explicite du domaine. La mise à l'échelle dynamique des pertes permet en outre l'utilisation effective de pseudo-étiquettes de moindre confiance, qui sont généralement rejetées. Les auteurs affirment que ces innovations permettent au modèle de se généraliser efficacement vers des domaines non vus même en l'absence d'étiquettes de domaine, un cadre qui reflète mieux les contraintes du monde réel.