Resumo Técnico: Atenção não é tudo o que você precisa para o Reconhecimento de Emoções

Declaração do Problema

Este estudo aborda o desafio do reconhecimento de emoções multimodal utilizando o dataset EAV, que contém gravações sincronizadas de EEG, áudio e vídeo de 42 participantes engajados em interações conversacionais. Embora o conjunto de dados ofereça um recurso único para pesquisa multimodal, ele apresenta uma restrição significativa para o aprendizado profundo: após a divisão padrão de dados, existem apenas aproximadamente 280 amostras de treinamento por sujeito.

A questão central de pesquisa investiga se mecanismos de atenção complexos (especificamente a atenção fatorizada) melhoram o desempenho em conjuntos de dados tão pequenos, ou se abordagens mais simples que utilizam recursos apropriados ao domínio produzem resultados superiores. Os autores hipotetizam que a complexidade arquitetônica pode levar ao overfitting e à degradação de recursos pré-treinados em regimes de baixos dados.

Metodologia

Os autores avaliaram sistematicamente três categorias de modelos através das três modalidades (EEG, Áudio, Visão):

1. M1: Transformers de Referência (Baselines)

Os autores implementaram arquiteturas transformer padrão usando backbones pré-treinados do Hugging Face para estabelecer o desempenho de referência:

• EEG: Uma arquitetura customizada com extração de características convolucionais 1D seguida por um codificador transformer de 6 camadas com 4 cabeças de atenção.
• Áudio: Ajuste fino (fine-tuning) do Audio Spectrogram Transformer (AST) com um classificador de 5 classes customizado, utilizando uma estratégia de treinamento em duas etapas (backbone congelado seguido de descongelado).
• Visão: Um Vision Transformer (ViT) pré-treinado especificamente em reconhecimento de emoções faciais, processando 25 quadros por segmento de vídeo com previsões médias.

2. M2: Mecanismos de Atenção Fatorizada

Motivados pelas estruturas únicas de cada modalidade, os autores projetaram novos modelos de atenção fatorizada destinados a superar as referências:

• M2-EEG (Tri-Stream): Um transformer que se ramifica em três fluxos paralelos: espacial (interações de canais), temporal (dinâmicas temporais) e assimetria hemisférica (diferenças esquerda-direita baseadas no modelo de Davidson). Inclui uma conexão de salto (skip connection) aprendível para preservar as características convolucionais.
• M2-EEG (EEGNet-Melhorada): Uma EEGNet aprimorada incorporando blocos de squeeze-excitation, convoluções multiescala e técnicas avançadas de regularização.
• M2-Áudio: Um mecanismo de Atenção Dupla Temporal-Frequencial aplicado às características do AST. Ele remodela os patches em uma grade 2D (tempo × frequência) e aplica blocos sequenciais de atenção temporal e de frequência, preservando ~88% dos recursos pré-treinados via uma conexão de salto.
• M2-Visão: Um modelo de Atenção Espaço-Temporal Fatorizada (seguindo o ViViT Modelo 2) que decompõe a atenção espaço-temporal total em atenção espacial dentro dos quadros e atenção temporal entre os quadros para reduzir a complexidade computacional.

3. M3: Baselines CNN Melhorados

Após o baixo desempenho do M2, os autores exploraram modificações mínimas em CNNs de base, focando em correções de bugs e engenharia de recursos específica do domínio:

• Áudio: Aumentou o conjunto de recursos com delta MFCCs (derivadas temporais) para capturar a dinâmica espectral de curto prazo, aumentando a dimensionalidade de entrada de 180 para 220.
• EEG:
  • v1 (Correção de Bug): Removeu uma camada nn.Softmax errônea aplicada antes da CrossEntropyLoss na implementação original.
  • v2 (Potência de Banda): Substituiu sinais brutos no domínio do tempo por recursos no domínio da frequência, incluindo potência de banda (delta, theta, alpha, beta, gamma), entropia diferencial e recursos explícitos de assimetria de alpha (306 dimensões no total), alimentados em um MLP simples.
• Visão:
  • v1 (Correção SE): Corrigiu a razão de redução do bloco Squeeze-and-Excitation (SE) de 1 (sem gargalo) para 16 para garantir um reponderamento de canais eficaz.
    • v2 (Recursos Delta): Adicionou recursos delta temporais para capturar a dinâmica de expressão quadro a quadro.

Resultados Principais

Os experimentos, conduzidos em GPUs NVIDIA RTX 6000 Ada com avaliação dependente de sujeito, geraram os seguintes achados (Tabela 1 do artigo):

• Subdesempenho do M2: Todos os modelos de atenção fatorizada (M2) subperformaram consistentemente suas respectivas referências em 5 a 13 pontos percentuais.

  • EEG Tri-Stream: 48,00% (vs. 60,00% da baseline do artigo).
  • Áudio Dual-Attention: 49,46% (vs. 62,70% da baseline do artigo).
  • Visão Estilo ViViT: 69,54% (vs. 74,50% da baseline do artigo).
  • Os autores atribuem isso ao overfitting, à destruição de recursos pré-treinados e à incapacidade de vieses indutivos complexos generalizarem com ~280 amostras.

• Sucesso do M3: Modificações simples e apropriadas ao domínio alcançaram resultados de estado da arte no dataset:

  • EEG: Recursos de potência de banda alcançaram 67,62% (+7,62pp sobre a baseline do artigo).
  • Áudio: Delta MFCCs alcançaram 65,56% (+3,66pp sobre a baseline do artigo).
  • Visão: Recursos delta alcançaram 72,68% (+1,28pp sobre a CNN do artigo).
  • Notavelmente, o Vision Transformer M1 (75,30%) superou todas as modificações CNN do M3, demonstrando que o pré-treinamento específico do domínio pode ser mais impactante do que mudanças arquitetônicas.

• Variabilidade de Sujeito: Diferenças individuais significativas foram observadas. O Sujeito 17 alcançou consistentemente a maior precisão em todas as modalidades (até 93,33% para visão), enquanto os Sujeitos 35 e 12 apresentaram desafios persistentes, provavelmente devido a expressões sutis ou diferenças fisiológicas.

Significância e Alegações

O artigo conclui que para tarefas de reconhecimento de emoções de pequena escala (aprox. 280 amostras de treinamento por sujeito), o conhecimento de domínio e a implementação adequada superam a complexidade arquitetônica.

Os autores alegam três contribuições primárias:

1. Demonstração de Falha: Eles mostram que mecanismos de atenção fatorizada, apesar de serem teoricamente motivados, falham consistentemente em conjuntos de dados pequenos, subperformando baselines mais simples.
2. Validação de Recursos Simples: Eles demonstram que modificações simples e apropriadas ao domínio (especificamente recursos de domínio de frequência para EEG e coeficientes delta para áudio/vídeo) alcançam os melhores resultados neste dataset.
3. Análise Metodológica: Eles fornecem uma análise de modos de falha, identificando que a degradação de representações pré-treinadas, a insuficiência de dados de treinamento para vieses indutivos complexos e bugs de implementação (ex: double softmax) são fatores críticos em regimes de baixa amostragem.

A lição prática enfatizada é que os pesquisadores devem priorizar a verificação de bugs em implementações de baseline, aplicar engenharia de recursos específica do domínio e combinar a capacidade do modelo com os dados disponíveis antes de introduzir mecanismos de atenção complexos. Os autores observam que essas abordagens fatorizadas ainda podem ser benéficas em conjuntos de dados de emoções maiores, onde existe supervisão suficiente para aprender uma fusão estável.