Stimulus identity rather than emotion drives EEG classification on the FACED dataset

Resumo Técnico: A Identidade do Estímulo, em vez da Emoção, Direciona a Classificação de EEG no Conjunto de Dados FACED

Declaração do Problema
Conjuntos de dados de referência confiáveis são fundamentais para o avanço do reconhecimento de emoções baseado em EEG. O Finer-grained Affective Computing EEG Dataset (FACED), atualmente o maior conjunto de dados de emoção de EEG disponível publicamente, compreendendo 123 indivíduos e nove categorias de emoção, tornou-se um benchmark amplamente adotado. No entanto, este artigo identifica uma falha crítica na utilidade do conjunto de dados: o desempenho de classificação no FACED parece refletir a identidade do estímulo em vez da emoção genuína. O estudo argumenta que os protocolos de avaliação atuais no FACED são suscetíveis a confusões decorrentes de escolhas específicas de design, levando a métricas de precisão infladas ou enganosas que não se generalizam para a verdadeira decodificação emocional.

Metodologia
Os autores empregaram uma análise comparativa utilizando duas abordagens de classificação distintas: um classificador linear (LinearSVC) e um modelo de aprendizado profundo (CLISA). Para isolar os direcionadores do desempenho de classificação, o estudo conduziu três manipulações experimentais específicas nos dados do FACED:

1. Análise de Sentir vs. Não Sentir: Os autores compararam o desempenho de classificação em tentativas onde os sujeitos relataram explicitamente sentir a emoção atribuída contra tentativas onde não sentiram.
2. Substituição de Rótulos: O estudo substituiu os rótulos originais atribuídos ao estímulo (a emoção que o vídeo pretendia evocar) pelos relatos individuais de autoavaliação da emoção realmente sentida pelo sujeito, e então reavaliou a precisão da classificação.
3. Redução de Estímulos: Os autores reduziram o conjunto de dados a um único vídeo por categoria de emoção, efetivamente descartando dois terços dos dados, para testar se a precisão persistiria quando a variabilidade do estímulo fosse minimizada.

Principais Resultados
Os resultados experimentais produziram três descobertas primárias que desafiam a validade do FACED como um benchmark de reconhecimento de emoções:

• Desempenho Indistinguível: O desempenho de classificação permaneceu comparável independentemente de os sujeitos relatarem sentir a emoção alvo ou não, sugerindo que o modelo não está aprendendo estados emocionais, mas sim características do estímulo.
• Degradação de Desempenho com Autoavaliações: Quando os rótulos atribuídos ao estímulo foram substituídos por autoavaliações individuais, a precisão da classificação caiu significativamente. Isso indica que os modelos treinados nos rótulos originais estão falhando em capturar a experiência emocional subjetiva dos participantes.
• Aumento de Precisão via Redução de Estímulos: Contrariando a expectativa de que menos dados prejudicariam o desempenho, a precisão aumentou quando o conjunto de dados foi reduzido a um vídeo por categoria de emoção. Este resultado contraintuitivo confirma que os modelos estão aproveitando a identidade do estímulo (características visuais ou auditivas específicas únicas de um vídeo) em vez da própria categoria emocional.

Análise da Causa Raiz
O artigo atribui essas descobertas a três escolhas de design específicas inerentes ao FACED:

1. Poucos Estímulos por Categoria: O número limitado de vídeos únicos por categoria de emoção cria uma forte correlação entre o estímulo e o rótulo.
2. Rótulos Atribuídos ao Estímulo: A dependência da emoção pretendida do vídeo, em vez do sentimento real relatado pelo sujeito, introduz um problema de ruído de rótulo.
3. Divisões Temporais Intra-Vídeo: O uso de divisões temporais para validação cruzada (dividindo os dados do mesmo vídeo entre treinamento e teste) permite que o modelo aprenda a autocorrelação temporal e características específicas do estímulo, que então se generalizam perfeitamente para o conjunto de teste sem aprender a emoção subjacente.

Significância e Recomendações
O artigo conclui que os benchmarks atuais no FACED provavelmente estão medindo a capacidade de reconhecer clipes de vídeo específicos, em vez de decodificar estados emocionais. Para orientar pesquisas futuras e prevenir essas confusões, os autores propõem cinco recomendações específicas para designs de estudos de decodificação de emoções:

• Aumentar a diversidade de estímulos para garantir múltiplos estímulos únicos por categoria de emoção.
• Implementar independência temporal nas divisões de dados para evitar o vazamento (leakage) de características específicas do estímulo.
• Priorizar a validação de rótulos usando autoavaliações em vez de depender apenas de rótulos atribuídos ao estímulo.
• (Implicitamente) Projetar experimentos que testem explicitamente e mitiguem confusões de identidade de estímulo.

A significância deste trabalho reside em seu chamado para reavaliar a validade de benchmarks amplamente utilizados. Ao expor a suscetibilidade do FACED a confusões de identidade de estímulo, o artigo visa direcionar a comunidade para designs experimentais mais rigorosos que genuinamente avancem o campo do reconhecimento de emoções baseado em EEG.