Résumé Technique : Exploitation de l'Apprentissage de Curriculum Auto-Rythmé pour un Équilibre Amélioré des Modalités dans la Reconnaissance Émotionnelle Conversationnelle Multimodale

1. Définition du Problème

La Reconnaissance Émotionnelle Multimodale en Conversation (MERC) vise à détecter les états émotionnels en intégrant des données textuelles, auditives et visuelles. Malgré le potentiel des approches multimodales, un défi persistant est le déséquilibre des modalité. Dans de nombreux scénarios, certaines modalités (généralement le texte) dominent le processus d'apprentissage, tandis que d'autres (audio et visuel) sont sous-utilisées ou supprimées. Ce phénomène, décrit comme une « inhibition des modalités », conduit à des stratégies de fusion sous-optimales et à une réduction des performances globales.

L'article identifie deux dimensions spécifiques de ce déséquilibre :

• Discrépance de Propriété : Les différentes modalités présentent des comportements d'apprentissage distincts (par exemple, les caractéristiques audio peuvent surapprendre plus rapidement que les caractéristiques visuelles).
• Discrépance de Qualité : Les modalités fournissent des niveaux variables d'information discriminative, amenant les dynamiques d'apprentissage gourmandes à prioriser la modalité la plus informative tout en négligeant les plus faibles.

Les solutions existantes, telles que la modulation du gradient ou les fonctions de perte auxiliaires, reposent souvent sur des manipulations complexes des gradients, des hypothèses architecturales spécifiques ou des schémas de pondération statiques qui échouent à s'adapter dynamiquement à l'état d'apprentissage évolutif du modèle.

2. Méthodologie

Les auteurs proposent l'Apprentissage de Curriculum Auto-Rythmé (SPCL), un module plug-and-play conçu pour atténuer le déséquilibre des modalités en structurant dynamiquement le processus d'entraînement. Le cadre se compose de deux composants principaux : un Mesureur de Difficulté et un Ordonnanceur d'Apprentissage.

2.1 Mesureur de Difficulté (Conception à Deux Niveaux)

Contrairement aux approches conventionnelles qui évaluent la difficulté uniquement au niveau de l'énoncé, le SPCL proposé introduit une évaluation de la difficulté à deux niveaux :

1. Score au Niveau de l'Énoncé ($l_{ij}$) : Dérivé de la perte intermodale d'un énoncé spécifique. Une perte plus élevée indique un plus grand désalignement entre les représentations unimodales pour cette instance spécifique.
2. Score au Niveau de la Conversation ($s_i$) : Un composant novateur qui capture les dynamiques plus larges du dialogue. Il est calculé comme l'écart-type des scores unimodaux agrégés au sein d'une conversation. Un écart-type élevé indique un désalignement significatif des modalités (déséquilibre) à travers la conversation, tandis qu'une valeur faible suggère une fusion multimodale cohérente.

Le score de difficulté final ($\rho_{ij}$) pour un énoncé est calculé en utilisant la moyenne harmonique de la perte au niveau de l'énoncé et du score au niveau de la conversation. Cette formulation garantit que ni la difficulté de reconnaissance ni le désalignement des modalités ne dominent le calcul, pénalisant les valeurs extrêmes et priorisant les échantillons où les deux facteurs sont équilibrés.

2.2 Ordonnanceur d'Apprentissage

L'ordonnanceur emploie un régulariseur dur pour contrôler le rythme de l'entraînement. Il agit comme une porte binaire :

• Les échantillons avec un score de difficulté $\rho_{ij}$ inférieur à un seuil dynamique $\lambda$ sont inclus dans le calcul de la perte (poids = 1).
• Les échantillons au-dessus du seuil sont exclus (poids = 0).

Le seuil $\lambda$ est mis à jour de manière exponentielle au fil des époques ($\lambda(t) = \alpha \lambda(t-1)$), en commençant par une petite valeur initiale $\epsilon$. Cela garantit un curriculum strictement progressif où le modèle apprend d'abord à partir d'échantillons faciles et bien alignés, puis intègre progressivement des instances plus difficiles à mesure que sa compétence augmente.

2.3 Intégration

Le module SPCL s'intègre dans les architectures MERC existantes (par exemple, DialogueGCN, MMGCN) sans modifier la structure sous-jacente du réseau. La fonction de perte standard est remplacée par une perte masquée $L_{SPCL}$, qui n'accumule les gradients que des échantillons sélectionnés par l'ordonnanceur.

3. Contributions Clés

1. Cadre Novateur : Introduction d'un cadre basé sur le SPCL spécifiquement adapté à la MERC pour traiter le déséquilibre des modalités par une sélection adaptative des échantillons.
2. Mesureur de Difficulté à Deux Niveaux : Un mécanisme qui combine la performance de reconnaissance au niveau de l'énoncé avec la discrépance des modalités au niveau de la conversation (via l'écart-type des scores unimodaux) pour fournir une vue holistique de la difficulté des échantillons.
3. Ordonnanceur d'Apprentissage Dynamique : Un ordonnanceur basé sur un régulariseur dur qui introduit progressivement des échantillons en fonction de la compétence du modèle, assurant une trajectoire d'apprentissage stable et équilibrée.
4. Compatibilité Plug-and-Play : La méthode est conçue pour être agnostique à l'architecture, supportant un nombre arbitraire de modalités, d'optimiseurs et de fonctions de perte, la rendant applicable à divers modèles de référence.

4. Résultats Expérimentaux

Les auteurs ont évalué le SPCL sur deux jeux de données de référence : IEMOCAP et MELD, en intégrant le module dans quatre modèles de référence (DialogueGCN, BiDDIN, MMGCN, MM-DFN).

• Gains de Performance :

  • IEMOCAP : Le SPCL a réalisé des améliorations du score F1 pondéré (w-F1) allant de +1,2 % à +6,6 % par rapport aux modèles de référence à travers différents paramètres de modalités. Notamment, dans le paramétrage AV (Audio-Visuel) pour DialogueGCN, les gains ont atteint +10,4 %.
  • MELD : Les améliorations ont été encore plus prononcées, avec des gains atteignant jusqu'à +10,4 % par rapport aux références dans certaines configurations.
  • Le SPCL a constamment surpassé d'autres stratégies d'atténuation du déséquilibre, notamment la perte RNA, OGM-GE, FAGM et OPM.

• Études d'Ablation :

  • La suppression soit du score au niveau de l'énoncé, soit du score au niveau de la conversation a entraîné une dégradation constante des performances, confirmant la nécessité de la conception à deux niveaux.
  • La Régularisation Dure (masquage binaire) s'est révélée supérieure aux stratégies de régularisation douce (Linéaire et Logistique), offrant des performances plus stables à travers les modalités.
  • Stratégie de Rythme : Le rythme exponentiel a produit de meilleurs résultats que les rythmes Cosinus, Moyenne Mobile ou basés sur la compétence, soulignant l'importance d'une expansion fluide du curriculum.

• Équilibre des Modalités : L'analyse des ratios de modalités a montré que le SPCL a efficacement réduit la domination de la modalité textuelle et augmenté les ratios de contribution des modalités audio et visuelle, conduisant à une représentation multimodale plus équilibrée.

5. Signification et Revendications

L'article revendique que le SPCL offre une solution pratique et efficace au problème du déséquilibre des modalités dans la MERC. Sa signification réside dans :

• Évaluation Holistique : En incorporant les dynamiques au niveau de la conversation, la méthode traite les défis uniques des structures de dialogue que les métriques au niveau de l'énoncé manquent.
• Robustesse : L'approche améliore la stabilité et la généralisation du modèle, en particulier dans les scénarios où les modalités non textuelles sont faibles ou absentes (par exemple, les paramètres AV).
• Praticité : En tant que module plug-and-play, il ne nécessite aucun changement architectural aux modèles existants et maintient la compatibilité avec les pipelines d'entraînement standard.
• Applicabilité Réelle : Les gains de performance substantiels sur les jeux de données de référence soulignent le potentiel du SPCL pour les applications de reconnaissance émotionnelle réelles où les données de modalités peuvent être bruyantes ou déséquilibrées.

Les auteurs reconnaissent des limites, notant que l'efficacité de la méthode est sensible au réglage des hyperparamètres et que la progression du curriculum peut ne pas s'aligner parfaitement avec des jeux de données contenant des dialogues très brefs ou fragmentés. Un travail futur est proposé pour étendre le SPCL aux grands modèles multimodaux (LMM) et aux jeux de données interlinguales.