C$^2$MOE: Consistency and Complementarity-guided Mixture of Experts for Incomplete Multimodal Emotion Learning

Imaginez que vous essayez de deviner comment un ami se sent simplement en regardant une vidéo de lui en train de parler. Vous avez trois indices : ce qu'il dit (le texte), la façon dont sa voix sonne (l'audio) et l'expression de son visage (la vidéo). Dans le monde de l'intelligence artificielle, cela s'appelle la reconnaissance d'émotions multimodale. C'est comme avoir un détective super intelligent qui combine tous ces indices pour comprendre les émotions humaines mieux qu'un seul indice ne pourrait le faire seul. Mais voici le hic : dans le monde réel, les choses tournent mal. Peut-être que le microphone se coupe, que la caméra se fige ou que la connexion internet chute. Soudain, votre détective perd la moitié de ses indices. Si l'IA n'est pas conçue pour gérer ces pièces manquantes, elle s'embrouille et fait de mauvaises suppositions. C'est le problème que les scientifiques essaient de résoudre : comment apprendre aux ordinateurs à « combler les vides » de l'information manquante sans perdre le sens véritable de l'émotion ?

Ce document présente une nouvelle solution appelée C2MOE (Consistency and Complementarity-guided Mixture of Experts). Voyez cela comme une équipe de détectives spécialisés travaillant ensemble pour résoudre l'enquête lorsque certaines preuves manquent. Les chercheurs ont réalisé que les méthodes précédentes tentaient de réparer les données manquantes en se contentant de copier ce qu'elles savaient des autres indices, mais cela menait souvent à des suppositions ennuyeuses et répétitives qui manquaient les détails uniques. C2MOE fait quelque chose de plus intelligent. Il divise le travail en deux rôles distincts. Un expert, le « Détective de la Cohérence », recherche les motifs partagés entre les indices — comme le fait qu'une voix triste correspond généralement à un visage renfrogné. L'autre, le « Détective de la Complémentarité », recherche les détails uniques que seul un indice peut fournir — comme un choix de mots spécifique que seul le texte peut révéler. En utilisant un « gestionnaire » intelligent (un réseau de routage) pour décider de quel détective écouter à un moment donné, le système peut reconstruire l'information manquante beaucoup plus précisément. Les auteurs ont testé cela sur deux ensembles de données célèbres de commentaires vidéo (CMU-MOSI et CMU-MOSEI) et ont constaté que C2MOE surpassait systématiquement les méthodes existantes, surtout lorsque de larges segments de données étaient manquants. Ils suggèrent qu'en équilibrant le besoin de motifs partagés avec le besoin de détails uniques, l'IA peut rester robuste même lorsque les données sont incomplètes.

L'équipe de détectives : Comment fonctionne C2MOE

Pour comprendre comment fonctionne C2MOE, imaginons que vous essayez de reconstruire un puzzle cassé, mais que vous n'avez que la moitié des pièces. Par le passé, les modèles d'IA essayaient de deviner les pièces manquantes en regardant simplement celles qu'ils possédaient et en espérant que tout se passe bien. Parfois, ils avaient de la chance, mais souvent, ils se contentaient de deviner la même chose encore et encore, manquant les détails uniques qui rendaient l'image spéciale.

Les auteurs de ce document soutiennent qu'il existe deux types différents d'informations que nous devons récupérer :

1. La Cohérence : C'est le « langage partagé » entre les indices. Si quelqu'un crie, sa voix est forte, son visage est rouge et ses paroles sont agressives. Ces trois éléments sont cohérents les uns avec les autres.
2. La Complémentarité : C'est la « saveur unique » de chaque indice. Le texte peut vous dire ce sur quoi ils crient, tandis que l'audio vous dit à quel point ils sont en colère, et la vidéo montre contre qui ils hurlent. Ce sont des morceaux de puzzle différents qui ne se chevauchent pas, mais qui sont tous deux nécessaires.

Le problème est que ces deux objectifs s'affrontent souvent. Si vous vous concentrez trop sur la mise en cohérence de tout, vous risquez d'effacer les détails uniques. Si vous vous concentrez trop sur les détails uniques, vous risquez de perdre le lien entre les indices.

Entrez dans le Mélange d'Experts (MoE).
Au lieu d'un seul cerveau géant essayant de tout faire, C2MOE utilise une approche de « Mélange d'Experts ». Imaginez une agence de détectives avec deux spécialistes :

• L'Expert de la Cohérence : Ce détective est excellent pour repérer les motifs. Si le texte dit « Je suis heureux », cet expert sait que la voix devrait sonner joyeuse et le visage souriant. Son travail est de s'assurer que les pièces manquantes s'ajustent parfaitement avec celles que nous avons déjà.
• L'Expert de la Complémentarité : Ce détective est excellent pour repérer les choses étranges et uniques. Si le texte dit « Je suis heureux », mais que la voix est sarcastique, cet expert remarque que la voix possède une « saveur » unique que le texte ne capture pas. Son travail est de s'assurer que nous ne perdons pas ces détails uniques lorsque nous remplissons les blancs.

Le Gestionnaire Intelligent
Comment l'IA sait-elle quel détective écouter ? Elle utilise un réseau de routage, qui agit comme un gestionnaire intelligent. Lorsqu'elle voit une donnée, le gestionnaire demande : « Avons-nous besoin de correspondre au motif, ou devons-nous trouver un détail unique ? » Selon la réponse, il attribue un score à chaque expert. Si la pièce manquante doit correspondre aux autres, l'Expert de la Cohérence reçoit un score élevé. S'il faut ajouter quelque chose de nouveau, l'Expert de la Complémentarité reçoit l'aval. La réponse finale est un mélange des deux, pondéré par le degré de confiance que le gestionnaire accorde à chacun.

L'Expérience : Mettre C2MOE à l'épreuve

Les chercheurs ont testé leur nouveau système sur deux grandes collections de commentaires vidéo provenant d'Internet (CMU-MOSI et CMU-MOSEI). Ces ensembles de données contiennent des milliers de vidéos où les gens parlent de divers sujets, et l'IA doit deviner s'ils sont heureux, tristes, en colère, etc.

Pour rendre le test réaliste, ils ont simulé des « données manquantes » en cachant aléatoirement des parties des vidéos. Parfois, ils cachaient l'audio, parfois la vidéo, et parfois le texte. Ils ont même testé des scénarios où jusqu'à 70 % des données manquaient !

Les Résultats
Les résultats ont été impressionnants. Dans presque tous les scénarios, C2MOE a battu les autres méthodes de pointe.

• Sur l'ensemble de données CMU-MOSI, lorsque les trois indices (texte, audio, vidéo) étaient disponibles, C2MOE a atteint une précision de 88,5 % (précision binaire) et de 47,4 % (précision à 7 classes).
• Lorsqu'ils ont caché la vidéo et l'audio, ne laissant que le texte, C2MOE a tout de même réussi à obtenir 87,3 % de précision, ce qui est meilleur que la méthode suivante la plus performante.
• Même lorsque le taux de données manquantes était élevé (jusqu'à 0,7, soit 70 % des données disparues), C2MOE a mieux résisté que les autres. Alors que les performances des autres modèles chutaient brutalement à mesure que les données disparaissaient, la performance de C2MOE n'a que légèrement baissé.

Les auteurs ont également examiné la qualité avec laquelle l'IA remplissait les pièces manquantes. Ils ont utilisé un outil visuel appelé t-SNE pour voir à quoi ressemblaient les données « reconstruites » par rapport aux données réelles. Ils ont découvert que les suppositions de C2MOE étaient beaucoup plus proches de la réalité, préservant la forme et la structure des données, alors que les autres méthodes produisaient des suppositions désordonnées et éparpillées.

Pourquoi cela importe

L'idée principale est que tenter de forcer tout à être identique (cohérence) ne suffit pas. Il faut aussi respecter les différences uniques entre les indices (complémentarité). En utilisant une équipe d'experts spécialisés et un gestionnaire intelligent pour basculer entre eux, C2MOE peut gérer la réalité désordonnée et incomplète du monde réel bien mieux que les modèles précédents.

Le document suggère que cette approche constitue une étape importante vers la création d'une IA capable de comprendre les émotions humaines même lorsque les données sont imparfaites. Bien que les auteurs ne prétendent pas avoir résolu le problème des données manquantes pour toujours, leurs expériences suggèrent fortement que cette stratégie de « Cohérence et Complémentarité » est un moyen puissant de rendre l'IA plus robuste et fiable. Comme ils le disent, les meilleurs résultats ont été obtenus lorsqu'ils ont équilibré les motifs partagés et les détails uniques, prouvant qu'un peu de travail d'équipe entre différents types d'experts est très efficace.