MER-DG: Modality-Entropy Regularization for Multimodal Domain Generalization

Résumé Technique : MER-DG : Régularisation par Entropie de Modalité pour la Généralisation de Domaine Multimodale

Définition du Problème : Surapprentissage de la Fusion
L'article aborde la Généralisation de Domaine Multimodale (MMDG), le défi consistant à déployer des modèles multimodaux (par exemple, audio-visuel) dans des environnements cibles où les conditions d'enregistrement diffèrent des sources d'entraînement. Les auteurs identifient un mode de défaillance spécifique aux architectures MMDG standard, qualifié de Surapprentissage de la Fusion.

Dans l'entraînement de bout en bout standard, des encodeurs séparés pour chaque modalité sont optimisés conjointement avec un module de fusion afin de minimiser une fonction de perte (par exemple, l'entropie croisée) sur la sortie fusionnée. Les auteurs soutiennent que cette optimisation conjointe amène les encodeurs à exploiter des co-occurrences inter-modales — des relations statistiques entre les modalités qui découlent de conditions d'enregistrement spécifiques à la source (par exemple, la synchronisation précise du son et du mouvement d'un couteau dans une cuisine calme) — plutôt qu'à apprendre des caractéristiques invariantes au domaine. Par conséquent, les encodeurs produisent des caractéristiques qui ne sont utiles que lorsqu'elles sont combinées avec la sortie spécifique de l'autre modalité. Lorsqu'ils sont déployés dans un domaine cible avec des conditions différentes (par exemple, une cuisine bruyante), ces co-occurrences apprises s'effondrent, entraînant une dégradation des performances. Une analyse empirique confirme que l'entraînement par fusion provoque l'effondrement des encodeurs dans des sous-espaces de faible rang, éliminant les dimensions de caractéristiques qui pourraient se généraliser de manière indépendante.

Méthodologie : Régularisation par Entropie de Modalité (MER-DG)
Pour contrer le Surapprentissage de la Fusion, les auteurs proposent MER-DG, un régularisateur agnostique à l'architecture qui maximise l'entropie de la distribution de caractéristiques de chaque encodeur de manière indépendante. L'idée centrale est que la maximisation de l'entropie préserve la diversité des caractéristiques, garantissant que les caractéristiques invariantes au domaine ne sont pas éliminées durant le processus de spécialisation requis pour la fusion.

La méthode décompose l'objectif de maximisation de l'entropie différentielle en deux termes de perte additifs appliqués aux plongements de caractéristiques $Z$ de chaque modalité :

1. Perte d'Entropie Marginale ($L_{marg}$) : Ce terme empêche l'effondrement par dimension en imposant un plancher de variance. Il utilise une perte à charnière pour s'assurer que l'écart-type ($\sigma_d$) de chaque dimension de caractéristique reste au-dessus d'une échelle cible ($\gamma=1$), empêchant les dimensions de devenir inactives.
2. Perte d'Entropie Spectrale ($L_{spec}$) : Ce terme minimise la redondance entre les dimensions en maximisant le logarithme du déterminant de la matrice de corrélation. Il encourage les caractéristiques à être non corrélées, répartissant l'information sur des axes indépendants plutôt que de s'effondrer dans un sous-espace de faible dimension.

L'objectif d'entraînement total combine la perte de tâche de base ($L_{base}$) avec la somme de ces termes de régularisation sur toutes les modalités :
$$L_{total} = L_{base} + \lambda \sum_{m=1}^{M} (\alpha_{marg} L_{marg}(Z^{(m)}) + \alpha_{spec} L_{spec}(Z^{(m)}))$$

Contributions Clés

1. Identification du Surapprentissage de la Fusion : L'article identifie et analyse formellement le phénomène où l'optimisation conjointe en MMDG amène les encodeurs à surapprendre les co-occurrences inter-modales spécifiques à la source, au détriment des caractéristiques invariantes au domaine.
2. Proposition de MER-DG : Les auteurs introduisent un régularisateur simple et additif qui maximise l'entropie des caractéristiques. Il est conçu pour être compatible avec tout cadre multimodal contenant des encodeurs séparés et un module de fusion.
3. Validation Empirique du Mécanisme : Grâce à une analyse extensive (alignement inter-domaines, rang spectral, classification de domaine et performance des encodeurs autonomes), l'article démontre que l'entraînement par fusion standard dégrade la diversité des encodeurs et que MER-DG parvient à la restaurer avec succès.
4. Gains de Performance : La méthode est validée sur les benchmarks EPIC-Kitchens et HAC, montrant des améliorations constantes par rapport à la fusion standard et aux méthodes MMDG de l'état de l'art (SOTA).

Résultats Expérimentaux
Les auteurs ont évalué MER-DG sur quatre bases de référence (Fusion Standard, Contraste Inter-Modale, SimMMDG et CMRF) dans des configurations multi-sources et mono-source.

• DG Multi-Sources : MER-DG a réalisé des améliorations moyennes d'environ 5% par rapport aux architectures de fusion standard et de 2% par rapport aux méthodes SOTA (SimMMDG et CMRF) sur EPIC-Kitchens et HAC.
• DG Mono-Source : Des améliorations similaires ont été observées dans le cadre plus difficile de la source unique, avec des gains allant jusqu'à 3,00% sur SimMMDG pour le jeu de données HAC.
• Récupération de la Performance des Encodeurs Autonomes : Une découverte cruciale est que MER-DG restaure la performance autonome des encodeurs individuels à des niveaux proches de l'entraînement indépendant. Par exemple, sur EPIC-Kitchens, la précision hors domaine de l'encodeur Vidéo est passée de 56,53% (fusion standard) à 58,61% (MER-DG), s'approchant des 59,46% atteints par un modèle unimodal entraîné indépendamment. Cela confirme que le régularisateur contrebalance spécifiquement la perte de caractéristiques induite par l'entraînement par fusion.
• Ablation : Il a été constaté que les termes de perte marginale et spectrale sont tous deux nécessaires pour des performances optimales ; l'utilisation de l'un ou l'autre seul a donné des résultats sous-optimaux par rapport à l'approche combinée.

Signification et Revendications
L'article revendique que MER-DG adresse une limitation fondamentale de l'apprentissage multimodal : la tendance de l'optimisation conjointe à éliminer l'information invariante au domaine en faveur des corrélations spécifiques à la source. En préservant la diversité représentationnelle par la maximisation de l'entropie, MER-DG permet aux modèles de se généraliser de manière robuste lorsque les co-occurrences inter-modales changent. Les auteurs soulignent que la méthode nécessite une surcharge computationnelle minimale, s'intègre de manière transparente en tant que terme de perte additif et ne repose pas sur des changements architecturaux spécifiques, ce qui en fait une solution pratique pour améliorer la robustesse des systèmes multimodaux dans des scénarios de déploiement réel.