A Robust and Explainable Multimodal Fusion Framework for Emotion Recognition Using Visual–Textual Feature Learning and Ensemble Optimization

Résumé Technique : Un Cadre de Fusion Multimodale Robuste et Explicable pour la Reconnaissance des Émotions

Énoncé du Problème
Les systèmes actuels de reconnaissance des émotions reposent souvent sur des données unimodales (visuelles ou textuelles uniquement), ce qui limite leur capacité à capturer la nature multidimensionnelle des émotions humaines. Les approches unimodales souffrent fréquemment d'une faible conscience contextuelle, d'ambiguïté et de bruit, conduisant à des performances de classification sous-optimales. De plus, les modèles multimodaux existants fonctionnent souvent comme des « boîtes noires », manquant d'interprétabilité, ce qui entrave leur déploiement dans des domaines sensibles comme la santé et l'éducation. En outre, de nombreuses études manquent de validation rigoureuse de la robustesse, telle que la validation croisée, les tests de signification statistique et les études d'ablation, ce qui rend difficile la vérification de la généralisabilité des gains de performance ou s'ils ne sont pas de simples artefacts de divisions de données spécifiques.

Méthodologie
Les auteurs proposent un cadre de fusion multimodale explicable qui intègre les caractéristiques visuelles et textuelles à l'aide de l'apprentissage d'ensemble et de techniques de validation rigoureuses. La méthodologie suit un pipeline structuré :

1. Jeu de Données et Prétraitement : L'étude utilise un jeu de données d'émotions musicales multimodal contenant 5 866 échantillons alignés répartis en 14 classes d'émotions. Les données subissent un prétraitement pour gérer les doublons et les valeurs manquantes, suivi d'une normalisation par score Z (Z-score).
2. Ingénierie des Caractéristiques :
   • Caractéristiques Visuelles et Textuelles : Le cadre utilise un total de 28 caractéristiques ingénieries dérivées des modalités visuelles et textuelles. Les attributs visuels incluent la saturation, la texture, la luminosité, la teinte et le mouvement, ainsi que des termes d'interaction, tandis que le texte non structuré est converti en représentations numériques structurées.
   • Fusion : Le cadre emploie une fusion précoce au niveau des caractéristiques (early feature-level fusion), concaténant les vecteurs visuels et textuels pour créer une représentation unifiée qui capture les relations intermodales.
3. Architecture du Modèle :
   • Classificateurs de Base : Huit algorithmes d'apprentissage supervisé sont testés : Régression Logistique, SVM-RBF, Gradient Boosting, Random Forest, Extra Trees, XGBoost, LightGBM et CatBoost.
   • Apprentissage d'Ensemble : Une approche d'apprentissage empilé (stacked ensemble) est implémentée. Des classificateurs de base hétérogènes génèrent des prédictions, qui sont ensuite injectées dans un méta-classificateur pour apprendre la combinaison optimale de ces prédictions, visant à réduire le biais et la variance.
4. Explicabilité (XAI) : Pour remédier au problème de la « boîte noire », le cadre intègre SHAP (SHapley Additive exPlanations) pour l'analyse de l'importance globale des caractéristiques et LIME (Local Interpretable Model-agnostic Explanations) pour l'interprétation au niveau de l'instance.
5. Validation et Robustesse : L'étude emploie une validation croisée à 5 plis stratifiée, une analyse d'ablation, l'estimation de l'intervalle de confiance et des tests de signification statistique (tests t appariés, test de Friedman et test post-hoc de Nemenyi) pour garantir la fiabilité et la généralisabilité des résultats.

Contributions Clés

• Intégration Multimodale : L'article présente un cadre qui fusionne des informations visuelles et textuelles complémentaires au niveau des caractéristiques, démontrant que cette approche produit des représentations émotionnelles plus riches que les méthodes unimodales.
• Évaluation Systématique : Une évaluation complète de huit algorithmes d'apprentissage automatique divers sous des conditions expérimentales identiques identifie les meilleurs apprenants de base pour cette tâche spécifique.
• Optimisation de l'Ensemble Empilé : L'étude démontre que la combinaison de classificateurs de base hétérogènes via un ensemble empilé améliore considérablement la précision prédictive, la robustesse et la généralisation par rapport aux modèles individuels.
• Mise en œuvre de l'Explicabilité : L'intégration de SHAP et LIME fournit des explications tant globales que locales, identifiant les moteurs clés des prédictions d'émotions et augmentant la transparence du modèle.
• Validation Rigoureuse : Contrairement à de nombreuses études antérieures, ce travail inclut des contrôles de robustesse étendus, comprenant la validation croisée stratifiée, les études d'ablation et les tests de signification statistique, afin de valider que les améliorations de performance ne sont pas dues à des fluctuations aléatoires.

Résultats

• Supériorité Multimodale : La fusion multimodale a systématiquement surpassé les modèles unimodaux (visuels seuls et textuels seuls) sur tous les indicateurs d'évaluation.
• Performance des Classificateurs : Parmi les classificateurs individuels, Extra Trees a atteint la précision la plus élevée de 95,81 %, suivi de près par Random Forest et LightGBM. Les modèles linéaires traditionnels (Régression Logistique, SVM-RBF) ont été nettement moins performants.
• Performance de l'Ensemble : L'ensemble empilé proposé a obtenu la meilleure performance globale avec une précision de 98,41 %, un score F1 macro de 98,40 %, un MCC de 0,9829 et un ROC-AUC de 0,9986. Cela représente une amélioration d'environ 2,6 points de pourcentage par rapport au meilleur classificateur individuel (Extra Trees).
• Importance des Caractéristiques : L'analyse SHAP a révélé que les caractéristiques textuelles ont contribué à 52,11 % des prédictions, tandis que les caractéristiques visuelles ont contribué à 47,89 %. Les caractéristiques les plus influentes identifiées comprenaient la saturation, la texture, l'interaction luminosité-contraste, la teinte et la luminosité, ainsi que d'autres termes d'interaction.
• Robustesse : L'ensemble empilé a présenté l'écart-type le plus bas lors de la validation croisée à 5 plis (0,31 % pour la précision), indiquant une grande stabilité. Les tests statistiques ont confirmé que les résultats multimodaux et d'ensemble étaient significativement supérieurs (p < 0,05) aux bases unimodales et aux classificateurs uniques.
• Analyse d'Erreur : La confusion principale s'est produite entre des émotions sémantiquement ou visuellement similaires (par exemple, « Sentimental » vs « Triste », « Mystérieux » vs « Sombre »), suggérant que les erreurs sont souvent dues à l'ambiguïté inhérente aux émotions plutôt qu'à une défaillance du modèle.

Signification et Revendications
L'article affirme que le cadre proposé offre une solution robuste, précise et interprétable pour la reconnaissance des émotions multimodales. En combinant la fusion au niveau des caractéristiques, l'apprentissage d'ensemble empilé et les techniques XAI, l'étude comble des lacunes critiques dans la littérature actuelle concernant la transparence des modèles, la validation de la robustesse et la sous-utilisation des méthodes d'ensemble dans les contextes multimodaux. Les auteurs affirment que leur approche fournit une base fiable pour le déploiement de systèmes de reconnaissance des émotions dans des applications réelles où l'explicabilité et la fiabilité sont primordiales. L'étude conclut que bien que les résultats actuels soient prometteurs, les travaux futurs devraient explorer l'intégration de modèles de fondation basés sur les transformateurs et des modalités supplémentaires (telles que l'audio et les signaux physiologiques) pour améliorer davantage la scalabilité et la généralisation.