Deep Temporal Modeling and Ensemble Fusion for Multimodal Emotion Recognition from Physiological Signals

Resumo Técnico: Modelagem Temporal Profunda e Fusão de Ensemble para Reconhecimento de Emoções Multimodal

Definição do Problema
A detecção precisa e em tempo real de estados emocionais humanos e estresse a partir de sinais fisiológicos é crítica para o monitoramento da saúde mental, computação vestível e computação afetiva. Embora os métodos tradicionais dependam de autorrelatos subjetivos, avanços recentes em sensores vestíveis (ex: EDA, ECG, respiração, acelerometria) permitem a inferência baseada em dados. No entanto, desafios significativos permanecem em modelar eficazmente as dependências temporais, lidar com modalidades de sensores heterogêneas e otimizar estratégias de fusão para garantir a generalização entre diferentes usuários. A literatura existente frequentemente avalia arquiteturas únicas ou estratégias de fusão específicas isoladamente, carecendo de uma comparação controlada e unificada dos principais modelos de aprendizagem profunda temporal (LSTM, TCN, Transformer) em configurações unimodais, multimodais e de ensemble.

Metodologia
Os autores apresentam um framework de avaliação abrangente utilizando o dataset WESAD, um benchmark multimodal envolvendo 15 participantes sob condições de linha de base (baseline), estresse e diversão (amusement). O estudo emprega um protocolo de Validação Cruzada Leave-One-Subject-Out (LOSO-CV) para garantir a generalização independente do sujeito.

• Pré-processamento de Dados: Sinais do Empatica E4 (pulso: EDA, BVP, TEMP, ACC) e RespiBAN (peito: RES, ECG, ACC) foram reamostrados para 4 Hz, segmentados em janelas não sobrepostas de 10 passos e normalizados por sujeito para evitar vazamento de dados (data leakage).
• Arquiteturas de Modelos: Três arquiteturas distintas de aprendizagem profunda temporal foram implementadas:
  • LSTM: Uma LSTM bidirecional de duas camadas projetada para capturar dependências temporais de longo alcance e transições graduais nos estados afetivos.
  • TCN: Uma pilha de convoluções causais dilatadas de 1D com conexões residuais, otimizada para processamento paralelo e extração de características temporais multiescala.
  • Transformer: Um codificador compacto utilizando atenção de múltiplas cabeças (multi-head self-attention) para modelar dependências sobre passos de tempo arbitrários sem assumir estrutura local, capaz de focar em segmentos temporais salientes.
• Estratégias de Fusão:
  • Fusão Precoce (Nível de Sensor): As características do pulso e do peito foram concatenadas ao longo da dimensão de canal antes da entrada nos modelos.
  • Fusão Tardia (Nível de Ensemble): Uma estratégia de ensemble foi implementada através da média das saídas de probabilidade softmax dos três modelos independentemente treinados (LSTM, TCN, Transformer) para produzir uma previsão final.
• Estudos de Ablação: Os autores conduziram extensos estudos de ablação treinando modelos apenas com entradas do pulso e apenas do peito para quantificar a contribuição individual de cada modalidade.

Resultos Principais
Os experimentos geraram as seguintes métricas de desempenho (reportadas como média ± desvio padrão através dos folds de LOSO):

• Desempenho do Ensemble: O ensemble de fusão tardia alcançou o maior desempenho geral, atingindo 98,91 ± 0,13% de acurácia e um F1-score macro de 98,56 ± 0,17%. Esta abordagem demonstrou superior estabilidade, com variância significativamente menor entre os sujeitos em comparação aos modelos individuais.
• Comparação de Arquitetura (Multimodal): Na configuração multimodal, a arquitetura Transformer alcançou consistentemente a maior acurácia entre os modelos isolados (99,02 ± 0,51%), atribuída à sua capacidade de modelar dependências temporais complexas via autoatenção.
• Desempenho Específico por Modalidade:
  • Apenas Pulso: O modelo TCN apresentou o melhor desempenho na configuração apenas de pulso (98,20 ± 0,41% de acurácia), superando tanto o LSTM quanto o Transformer nesta configuração de ablação específica.
  • Apenas Peito: O LSTM obteve os resultados mais fortes para entradas apenas de peito, embora o desempenho geral tenha sido inferior às configurações apenas de pulso.
• Contribuição da Modalidade: A fusão multimodal superou consistentemente as configurações unimodais em todas as arquiteturas. No entanto, modelos apenas de pulso demonstraram desempenho competitivo, sugerindo viabilidade para aplicações vestíveis com restrição de recursos. A classe "Amusement" (Diversão) apresentou consistentemente pontuações mais baixas em todos os modelos, destacando a dificuldade de classificar este estado em comparação ao estresse ou linha de base.

Principais Contribuições

1. Framework de Benchmarking Unificado: O artigo estabelece uma comparação sistemática e agnóstica à arquitetura de modelos LSTM, TCN e Transformer sob configurações unimodais, multimodais e de ensemble, utilizando um protocolo LOSO-CV consistente no dataset WESAD.
2. Estratégia de Fusão Dupla: O estudo demonstra a eficácia da combinação de fusão precoce de sensores (concatenação de características) com a fusão de ensemble de modelos tardia (média de probabilidade), mostrando que esta abordagem dupla aproveita tanto a sinergia entre sensores quanto a redução de variância.
3. Insights de Modalidade e Arquitetura: O trabalho esclarece que, embora os Transformers se destaquem em contextos multimodais, TCNs e LSTMs permanecem altamente eficazes em cenários limitados de sensores (apenas pulso), fornecendo orientação prática para o design de sistemas baseados no hardware disponível.
4. Análise de Robustez: Ao reportar os desvios padrão através de 15 folds de LOSO, o estudo fornece uma estimativa confiável da variabilidade inter-sujeito, demonstrando que métodos de ensemble reduzem significativamente a variância e melhoram a generalização.

Significância e Alegações
Os autores afirmam que suas descobertas oferecem insights práticos para o desenvolvimento de sistemas robustos e escaláveis de reconhecimento de emoções. Especificamente, o artigo argumenta que:

• Métodos de ensemble são altamente eficazes para o reconhecimento de emoções fisiológicas, proporcionando acurácia e estabilidade superiores em comparação com abordagens de modelo único.
• A fusão de sensores é crítica, mas sinais apenas de pulso (comuns em smartwatches) podem suportar o reconhecimento preciso, tornando a tecnologia viável para implantação no mundo real e não invasiva.
• Não existe uma única "melhor" arquitetura para todos os cenários; a escolha ideal depende da modalidade de entrada (ex: TCN para apenas pulso, Transformer para multimodal).
• Este trabalho preenche uma lacuna na literatura ao fornecer uma análise comparativa controlada destas três principais arquiteturas temporais, isolando os efeitos da escolha da arquitetura, da modalidade do sensor e do design de fusão no desempenho do reconhecimento de afeto.

O artigo conclui que a combinação de fusão de sensores e fusão baseada em ensemble é uma direção promissora para a criação de sistemas confiáveis de detecção de estresse e emoção fisiológica.