Towards Multimodal Domain Generalization with Few Labels

Cet article présente un cadre unifié pour la généralisation de domaine multimodale semi-supervisée (SSMDG), combinant régularisation par consensus, gestion des désaccords et alignement de prototypes croisés pour apprendre des modèles robustes avec peu d'étiquettes, tout en établissant les premiers benchmarks dédiés à cette tâche.

L'essentiel

🎬 Le Grand Défi : Apprendre à tout le monde avec très peu de manuels

Imaginez que vous êtes un chef cuisinier (c'est l'intelligence artificielle) qui doit apprendre à cuisiner des plats du monde entier.

1. Le problème habituel : D'habitude, pour apprendre, vous avez besoin de milliers de livres de recettes (données étiquetées) et d'un professeur qui vous dit à chaque fois si c'est bon ou pas. C'est cher et long.
2. Le problème de l'environnement : Si vous apprenez à cuisiner dans une cuisine de studio très propre avec une lumière parfaite, vous risquez de rater le plat si vous vous retrouvez dans une cuisine de camping avec une lumière tamisée et du vent. C'est ce qu'on appelle le "décalage de domaine" (le modèle ne fonctionne plus dans un nouvel environnement).
3. Le problème multimodal : Pour bien cuisiner, vous avez besoin de plusieurs sens : la vue (couleur du plat), l'ouïe (le bruit de la friture) et peut-être même l'odorat. Si l'un de ces sens manque, c'est difficile.

L'objectif de ce papier : Créer un chef capable d'apprendre très vite avec très peu de livres de recettes (peu d'étiquettes), de s'adapter à n'importe quelle cuisine (n'importe quel environnement), et de continuer à cuisiner même si un de ses sens manque (pas de son ou pas d'image).

---

🚀 La Solution : Une équipe de trois experts

Les chercheurs proposent une nouvelle méthode appelée SSMDG. Pour y arriver, ils ont créé un système avec trois "super-pouvoirs" (ou trois membres de l'équipe) qui travaillent ensemble :

1. Le "Comité de Sagesse" (Consensus-Driven Consistency)

• L'analogie : Imaginez que vous demandez à trois amis de deviner ce qu'il y a dans une boîte fermée. Si les trois disent "C'est un chat" et qu'ils sont sûrs d'eux, alors c'est probablement un chat. Vous pouvez noter cette réponse comme vraie sans avoir besoin d'ouvrir la boîte.
• Dans le papier : Le modèle regarde les données sans étiquette. Si la "vision" (vidéo) et l'"ouïe" (audio) sont d'accord et très confiants, le modèle se dit : "Ok, c'est sûr, je peux utiliser cette réponse pour apprendre." C'est comme obtenir des étiquettes gratuites et fiables.

2. Le "Diplomate des Doutes" (Disagreement-Aware Regularization)

• L'analogie : Et si vos amis ne sont pas d'accord ? L'un dit "C'est un chat", l'autre "C'est un chien". Au lieu de jeter cette boîte à la poubelle (ce que font les anciennes méthodes), le diplomate dit : "Attendez, il y a quelque chose d'intéressant ici. Même si on n'est pas sûr, on peut quand même apprendre de cette confusion, tant qu'on reste prudent."
• Dans le papier : Le modèle utilise une technique mathématique spéciale (une "perte d'erreur généralisée") pour apprendre même des cas flous où les sens ne sont pas d'accord, sans se laisser tromper par des erreurs.

3. Le "Traducteur Universel" (Cross-Modal Prototype Alignment)

• L'analogie : Imaginez que vous apprenez à cuisiner en France et au Japon. Le "plat principal" (la protéine) est le même, mais les assaisonnements changent. Ce traducteur apprend à dire : "Peu importe si c'est un plat français ou japonais, le concept de 'poulet' reste le même." De plus, si vous perdez votre nez (pas d'odeur), il peut imaginer l'odeur en regardant juste la couleur du plat.
• Dans le papier : Le modèle apprend à créer des représentations qui sont les mêmes, que ce soit pour la vidéo ou l'audio, et que ce soit pour le domaine A ou le domaine B. S'il manque un sens (ex: pas de son), il utilise l'autre sens pour "traduire" et reconstituer ce qui manque.

---

🏆 Les Résultats : Pourquoi c'est génial ?

Les chercheurs ont créé un nouveau terrain de jeu (un "benchmark") pour tester cette idée, car personne n'avait encore combiné ces trois défis ensemble.

• Avant : Les anciennes méthodes étaient comme des joueurs de football qui savaient jouer sur un terrain en herbe (domaine généralisation) mais qui s'effondraient s'il pleuvait (manque de données) ou s'ils perdaient un œil (manque de modalité).
• Maintenant : Avec cette nouvelle méthode, le modèle est comme un athlète ultra-résistant. Il apprend avec très peu d'exemples, s'adapte à n'importe quel environnement, et continue de performer même si une partie de ses capteurs est cassée.

En résumé : Ce papier nous dit comment construire des intelligences artificielles qui sont à la fois économes en données (pas besoin de tout étiqueter), robustes (elles ne paniquent pas quand l'environnement change), et résilientes (elles s'adaptent si une information manque). C'est un pas de géant pour rendre l'IA plus utile dans la vraie vie, où les données sont souvent rares, désordonnées et incomplètes.

Résumé technique

1. Problématique : La Généralisation de Domaine Multimodale Semi-Supervisée (SSMDG)

Les auteurs introduisent un nouveau problème de recherche appelé Semi-Supervised Multimodal Domain Generalization (SSMDG). Ce problème vise à combler le fossé entre trois défis majeurs du monde réel souvent traités séparément :

1. Généralisation de domaine (Domain Generalization - DG) : La capacité d'un modèle à performer sur des domaines de test inconnus (décalage de distribution) après avoir été entraîné sur plusieurs domaines sources.
2. Efficacité des données (Data Efficiency) : La capacité à apprendre efficacement avec très peu d'échantillons étiquetés, réduisant ainsi les coûts d'annotation.
3. Apprentissage Multimodal : L'exploitation de multiples modalités (ex: vidéo et audio) pour une représentation plus riche.

Limitations des approches existantes :

• SSML (Apprentissage Multimodal Semi-Supervisé) : Utilise des données non étiquetées mais ignore les décalages de domaine.
• MMDG (Généralisation de Domaine Multimodale) : Gère les décalages de domaine mais suppose que toutes les données sources sont étiquetées (ne peut pas utiliser les données non étiquetées).
• SSDG (Généralisation de Domaine Semi-Supervisée) : Gère les décalages et le manque d'étiquettes, mais est généralement limité aux entrées unimodales, ignorant les interactions inter-modales.

L'objectif du SSMDG est d'entraîner un modèle robuste sur plusieurs domaines sources avec peu d'échantillons étiquetés et beaucoup de données non étiquetées, pour généraliser à un domaine cible totalement inconnu.

2. Méthodologie : Un Cadre Unifié

Les auteurs proposent un cadre unifié composé de trois composants clés pour surmonter les défis de la faible confiance des pseudo-étiquettes et des désaccords inter-modaux. Le modèle utilise des encodeurs spécifiques à chaque modalité, des classifieurs unimodaux et un classifieur de fusion.

A. Régularisation de Cohérence Pilotée par le Consensus (Consensus-Driven Consistency Regularization - CDCR)

Cette composante vise à générer des pseudo-étiquettes fiables à partir des données non étiquetées.

• Mécanisme : Pour un échantillon non étiqueté, le modèle génère des prédictions à partir de vues faiblement augmentées (weak views).
• Critère de sélection : Un échantillon est considéré comme "en consensus" (et donc fiable) si :
  1. La prédiction de la vue fusionnée (multimodale) a une confiance élevée (au-dessus d'un seuil $\tau$).
  2. Cette prédiction fusionnée est en accord avec au moins une prédiction unimodale (vidéo ou audio).
  3. Les prédictions unimodales correspondantes ont également une confiance élevée.
• Apprentissage : Pour ces échantillons fiables, une perte de cohérence (Cross-Entropy) est appliquée entre la pseudo-étiquette et les prédictions sur les vues fortement augmentées (strong views).

B. Régularisation Sensible au Désaccord (Disagreement-Aware Regularization - DAR)

Cette composante exploite les échantillons ambigus que le CDCR rejette (ceux où les modalités ne sont pas d'accord, mais où la prédiction fusionnée est encore confiante).

• Problème : Ces échantillons contiennent de l'information utile mais sont bruyants (risque d'erreur de pseudo-étiquette).
• Solution : Au lieu d'utiliser une perte standard, les auteurs utilisent la Perte d'Entropie Croisée Généralisée (Generalized Cross-Entropy - GCE). Cette perte est connue pour sa robustesse face au bruit dans les étiquettes.
• Objectif : Stabiliser l'entraînement sur ces échantillons difficiles sans introduire de biais excessif dû à des étiquettes erronées.

C. Alignement des Prototypes Inter-Modaux (Cross-Modal Prototype Alignment - CMPA)

Cette composante assure l'invariance des caractéristiques (features) à la fois par rapport au domaine et à la modalité.

• Prototypes : Le modèle maintient des prototypes de classe (moyennes des caractéristiques) pour chaque modalité, chaque classe et chaque domaine, mis à jour par une moyenne mobile exponentielle (EMA).
• Alignement : Les caractéristiques des échantillons (originaux et traduits) sont alignées vers :
  1. Le prototype intra-domaine de la classe correspondante.
  2. La moyenne des prototypes des autres domaines (pour l'invariance de domaine).
• Traduction Inter-Modale : Le cadre intègre des translateurs ($t_{v \to a}$ et $t_{a \to v}$) qui convertissent les caractéristiques d'une modalité à une autre. Cela permet non seulement d'aligner les espaces de caractéristiques, mais aussi de synthétiser une modalité manquante lors de l'inférence (ex: générer l'audio à partir de la vidéo si l'audio est absent).

3. Contributions Clés

1. Nouveau Problème (SSMDG) : Définition formelle et étude du problème unifiant généralisation de domaine, efficacité des données et multimodalité.
2. Benchmark Complet : Création des premiers benchmarks SSMDG sur deux datasets majeurs (EPIC-Kitchens et HAC), couvrant divers scénarios de décalage de domaine et de modalités manquantes.
3. Analyse des Limites : Identification précise des échecs des paradigmes existants (SSML, MMDG, SSDG) dans ce contexte spécifique.
4. Cadre Efficace : Proposition d'une architecture unifiée (CDCR + DAR + CMPA) qui surpasse systématiquement les méthodes de base.

4. Résultats Expérimentaux

Les expériences ont été menées sur les datasets HAC (actions humaines, animales, dessins animés) et EPIC-Kitchens (actions de cuisine).

• Performance Globale : La méthode proposée surpasse toutes les catégories de méthodes de base (MMDG, SSL, SSDG, SSML) dans le scénario difficile de 5 étiquettes par classe.
  • Sur HAC : 60.77% de précision moyenne (vs ~58% pour le meilleur concurrent).
  • Sur EPIC-Kitchens : 39.94% de précision moyenne (vs ~37% pour le meilleur concurrent).
• Robustesse aux Modalités Manquantes : Le cadre gère efficacement les scénarios où une modalité (vidéo ou audio) est absente lors du test, grâce à la traduction inter-modale. La méthode de traduction surpasse nettement le remplissage par zéro (zero-filling).
• Utilisation des Données Non Étiquetées : L'analyse montre que la méthode atteint un taux d'utilisation des données non étiquetées plus élevé tout en maintenant une meilleure précision des pseudo-étiquettes que les méthodes concurrentes.
• Études d'Ablation :
  • La combinaison de CDCR et DAR est cruciale : CDCR filtre le bruit, DAR exploite l'information ambiguë.
  • L'alignement des prototypes (CMPA) est essentiel pour l'invariance de domaine et la robustesse aux modalités manquantes.
  • La stratégie de consensus "Full-CDCR" (basée sur la fusion soutenue par au moins une modalité) est supérieure aux stratégies de consensus strictes ou moyennes.

5. Signification et Impact

Ce travail est significatif car il propose une solution pratique pour le déploiement de modèles multimodaux dans des environnements réels où :

1. Les données étiquetées sont rares et coûteuses.
2. Les conditions d'acquisition varient (décalage de domaine).
3. Certaines modalités peuvent être indisponibles à l'inférence.

En unifiant la gestion du bruit des pseudo-étiquettes (via DAR) et la nécessité d'invariance de domaine/modalité (via CMPA), les auteurs fournissent une voie pratique pour créer des modèles multimodaux résilients. Les benchmarks et le code publiés ouvrent la voie à de futures recherches dans ce domaine interdisciplinaire.