A Robust and Explainable Multimodal Fusion Framework for Emotion Recognition Using Visual–Textual Feature Learning and Ensemble Optimization

Resumo Técnico: Um Framework de Fusão Multimodal Robusto e Explicável para o Reconhecimento de Emoções

Declaração do Problema
Os sistemas atuais de reconhecimento de emoções frequentemente dependem de dados unimodais (visuais ou textuais), o que limita sua capacidade de capturar a natureza multidimensional das emoções humanas. Abordagens unimodais frequentemente sofrem com baixa consciência contextual, ambiguidade e ruído, levando a um desempenho de classificação subótimo. Além disso, os modelos multimodais existentes muitas vezes funcionam como "caixas pretas", carecendo de interpretabilidade, o que dificulta sua implementação em domínios sensíveis como saúde e educação. Adicionalmente, muitos estudos carecem de uma validação de robustez rigorosa, como validação cruzada, testes de significância estatística e estudos de ablação, tornando difícil verificar se os ganhos de desempenho são generalizáveis ou meros artefatos de divisões de dados específicas.

Metodologia
Os autores propõem um framework de fusão multimodal explicável que integra características visuais e textuais usando aprendizado de conjunto (ensemble learning) e técnicas de validação rigorosas. A metodologia segue um pipeline estruturado:

1. Conjunto de Dados e Pré-processamento: O estudo utiliza um conjunto de dados de emoção musical multimodal contendo 5.866 amostras alinhadas com 14 classes de emoções. Os dados passam por pré-processamento para lidar com duplicatas e valores ausentes, seguido de normalização Z-score.
2. Engenharia de Características (Feature Engineering):
   • Características Visuais e Textuais: O framework utiliza um total de 28 características projetadas derivadas de ambas as modalidades visual e textual. Os atributos visuais incluem saturação, textura, brilho, matiz (hue) e movimento, juntamente com termos de interação, enquanto o texto não estruturado é convertido em representações numéricas estruturadas.
   • Fusão: O framework emprega fusão precoce ao nível de características (early feature-level fusion), concatenando vetores visuais e textuais para criar uma representação unificada que captura relações cross-modais.
3. Arquitetura do Modelo:
   • Classificadores Base: Oito algoritmos de aprendizado de máquina supervisionados são testados: Regressão Logística, SVM-RBF, Gradient Boosting, Random Forest, Extra Trees, XGBoost, LightGBM e CatBoost.
   • Aprendizado de Conjunto (Ensemble Learning): Uma abordagem de conjunto empilhado (stacked ensemble) é implementada. Classificadores base heterogêneos geram previsões, que são então alimentadas em um meta-classificador para aprender a combinação ideal dessas previsões, visando reduzir o viés e a variância.
4. Explicabilidade (XAI): Para abordar a questão da "caixa preta", o framework integra SHAP (SHapley Additive exPlanations) para análise de importância global de características e LIME (Local Interpretable Model-agnostic Explanations) para interpretação ao nível de instância.
5. Validação e Robustez: O estudo utiliza validação cruzada de 5 dobras estratificada, análise de ablação, estimativa de intervalo de confiança e testes de significância estatística (testes t pareados, teste de Friedman e teste post-hoc de Nemenyi) para garantir a confiabilidade e a generalização dos resultados.

Principais Contribuições

• Integração Multimodal: O artigo apresenta um framework que funde informações visuais e textuais complementares ao nível de características, demonstrando que esta abordagem produz representações emocionais mais ricas do que os métodos unimodais.
• Benchmarking Sistemático: Uma avaliação abrangente de oito algoritmos diversos de aprendizado de máquina sob condições experimentais idênticas identifica os melhores aprendizes base para esta tarefa específica.
• Otimização de Conjunto Empilhado (Stacked Ensemble): O estudo demonstra que combinar classificadores base heterogêneos via um conjunto empilhado aumenta significativamente a precisão preditiva, a robustez e a generalização em comparação com modelos individuais.
• Implementação de Explicabilidade: A integração de SHAP e LIME fornece explicações tanto globais quanto locais, identificando os principais impulsionadores das previsões de emoção e aumentando a transparência do modelo.
• Validação Rigorosa: Ao contrário de muitos estudos anteriores, este trabalho inclui extensas verificações de robustez, incluindo validação cruzada estratificada, estudos de ablação e testes de significância estatística, para validar que as melhorias de desempenho não se devem a flutuações aleatórias.

Resultos

• Superioridade Multimodal: A fusão multimodal superou consistentemente os modelos unimodais (apenas visual e apenas texto) em todas as métricas de avaliação.
• Desempenho dos Classificadores: Entre os classificadores individuais, o Extra Trees alcançou a maior acurácia de 95,81%, seguido de perto pelo Random Forest e LightGBM. Modelos lineares tradicionais (Regressão Logística, SVM-RBF) tiveram um desempenho significativamente inferior.
• Desempenho do Ensemble: O conjunto empilhado (stacked ensemble) proposto alcançou o melhor desempenho geral com uma acurácia de 98,41%, um Macro F1-score de 98,40%, um MCC de 0,9829 e um ROC-AUC de 0,9986. Isso representa uma melhoria de aproximadamente 2,6 pontos percentuais sobre o melhor classificador individual (Extra Trees).
• Importância das Características: A análise SHAP revelou que as características textuais contribuíram com 52,11% para as previsões, enquanto as características visuais contribuíram com 47,89%. As principais características influentes identificadas incluíram saturação, textura, interação brilho-contraste, matiz (hue) e brilho, além de outros termos de interação.
• Robustez: O conjunto empilhado demonstrou o menor desvio padrão na validação cruzada de 5 dobras (0,31% para acurácia), indicando alta estabilidade. Testes estatísticos confirmaram que os resultados multimodais e de ensemble foram significativamente superiores (p < 0,05) aos basais unimodais e de classificador único.
• Análise de Erro: A principal confusão ocorreu entre emoções semanticamente ou visualmente semelhantes (ex: "Sentimental" vs. "Triste", "Misterioso" vs. "Sombrio"), sugerindo que os erros decorrem frequentemente da ambiguidade emocional inerente, e não de falhas do modelo.

Significância e Alegações
O artigo afirma que o framework proposto oferece uma solução robusta, precisa e interpretável para o reconhecimento de emoções multimodal. Ao combinar fusão ao nível de características, aprendizado de conjunto empilhado e técnicas de XAI, o estudo aborda lacunas críticas na literatura atual relativas à transparência do modelo, validação de robustez e subutilização de métodos de ensemble em contextos multimodais. Os autores afirmam que sua abordagem fornece uma base confiável para o implante de sistemas de reconhecimento de emoções em aplicações do mundo real onde a explicabilidade e a confiabilidade são primordiais. O estudo conclui que, embora os resultados atuais sejam promissores, trabalhos futuros devem explorar a integração de modelos de fundação baseados em transformers e modalidades adicionais (como áudio e sinais fisiológicos) para aumentar ainda mais a escalabilidade e a generalização.