MAD: A Multimodal and Multi-perspective Affective Dataset with Hierarchical Annotations

Este trabalho apresenta o MAD, um novo conjunto de dados multimodal com anotações hierárquicas que integra sinais fisiológicos sincronizados (como EEG e ECG) e vídeos faciais RGB-D de 18 participantes, permitindo a análise abrangente de emoções a partir de perspectivas neural, fisiológica e comportamental para avançar a computação afetiva e a modelagem neurofisiológica.

O essencial

Imagine que tentar entender as emoções de alguém apenas olhando para o rosto é como tentar adivinhar o clima de uma cidade inteira olhando apenas para uma única janela. Às vezes, a pessoa sorri (a janela está aberta), mas por dentro ela está tempestuosa. Outras vezes, ela está triste, mas mantém a cara de pedra.

O artigo que você enviou apresenta o MAD (um novo conjunto de dados chamado "Multimodal Affection Dataset"). Pense no MAD não como um simples banco de dados, mas como uma estação meteorológica completa e ultra-sincronizada para o mundo das emoções humanas.

Aqui está uma explicação simples, usando analogias do dia a dia:

1. O Problema: A "Janela" Enganosa

Antes, os cientistas estudavam emoções olhando apenas para o que as pessoas faziam (falar, sorrir, chorar) ou apenas para o que elas diziam sentir.

• O problema: O rosto pode mentir (alguém pode sorrir por educação), e o que a pessoa diz pode não ser exatamente o que ela sente no momento. É como tentar entender um filme apenas lendo o título.

2. A Solução: O "MAD" (A Estação Meteorológica)

Os pesquisadores criaram um experimento onde 18 pessoas assistiram a vídeos emocionantes (de comédias a filmes de terror) enquanto eram monitoradas de três formas diferentes, tudo ao mesmo tempo:

• O Cérebro (EEG): Como se fosse um "radar de tempestades" dentro da cabeça, captando os pensamentos e reações elétricas antes mesmo da pessoa perceber.
• O Corpo (ECG, PPG, BCG, etc.): Sensores no peito, dedos e até no assento da cadeira que medem o "motor" do corpo: batimentos cardíacos, respiração e tensão muscular. É como medir a pressão do pneu e a temperatura do motor de um carro.
• O Rosto (Câmeras 3D): Três câmeras filmaram o rosto de frente e dos lados, capturando cada micro-expressão, como se fosse uma câmera de segurança de alta definição.

O Grande Truque: Tudo isso foi gravado perfeitamente sincronizado. É como se você pudesse ver o raio (o pensamento), ouvir o trovão (o coração acelerando) e ver a chuva (o rosto triste) acontecendo exatamente no mesmo segundo.

3. A "Etiqueta" de Três Camadas

O que torna o MAD especial é que eles não apenas gravaram os dados, mas criaram três tipos de rótulos para cada momento, como se fosse uma história contada por três narradores diferentes:

1. O Rótulo do Filme (Estímulo): "Este vídeo é de terror." (O que o mundo vê).
2. O Rótulo da Pessoa (Cognição): "Eu me senti assustado." (O que a pessoa sente).
3. O Rótulo do Observador (Expressão): "Ela parece assustada." (O que o rosto mostra).

Isso permite aos cientistas comparar: O cérebro reagiu ao filme antes da pessoa perceber? O coração acelerou mesmo quando ela sorriu?

4. O Que Eles Descobriram (As Lições)

Ao testar esse novo "laboratório", eles aprenderam coisas fascinantes:

• O Cérebro é mais honesto que a mente: Quando usaram os dados do cérebro para prever a emoção baseada no filme, funcionou muito bem. Quando tentaram prever baseado no que a pessoa disse que sentia, foi muito mais difícil. O cérebro tem uma "assinatura" mais clara do que a nossa consciência.
• O Coração é um bom substituto: Eles descobriram que sensores de toque (como o ECG) e sensores sem toque (como o BCG, que mede o coração através da cadeira, ou PPG, através da luz no dedo) funcionam quase igual. Isso é ótimo para o futuro: poderemos detectar emoções sem precisar colar eletrodos no corpo, talvez apenas sentando em uma cadeira inteligente.
• Múltiplas Câmeras ajudam: Ver o rosto de um único ângulo é arriscado (se a pessoa virar a cabeça, o computador perde a expressão). Usar três câmeras (frente e lados) e ensinar o computador a entender que "o mesmo rosto" é o mesmo rosto, não importa o ângulo, tornou o sistema muito mais robusto.
• O Cérebro é o Chefe, o Corpo é o Apoio: O cérebro (EEG) sozinho é o melhor detector de emoções. Mas, se você misturar os dados do cérebro com os do coração e dos músculos, o sistema fica ainda mais preciso e resistente a erros. É como ter um time de futebol onde o atacante (cérebro) é o melhor, mas com a ajuda dos defensores (corpo), o time não perde o jogo.

Resumo Final

O MAD é como um kit de ferramentas definitivo para quem quer ensinar computadores a entender a alma humana. Ele não olha apenas para a "casca" (o rosto), mas investiga o "motor" (corpo) e o "piloto" (cérebro) ao mesmo tempo.

Isso é crucial para o futuro, pois pode ajudar a criar:

• Carros que sabem se o motorista está estressado e ajustam a música ou a luz.
• Terapias digitais que detectam ansiedade antes que a pessoa perceba.
• Robôs e assistentes virtuais que realmente "sentem" o que você está passando, e não apenas leem o que você diz.

Em suma, o MAD é a ponte que conecta o que sentimos por dentro com o que mostramos por fora, permitindo que a tecnologia nos entenda de verdade.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "MAD: A Multimodal and Multi-perspective Affective Dataset with Hierarchical Annotations", traduzido e adaptado para o português:

Resumo Técnico: MAD (Multimodal Affection Dataset)

1. Problema e Motivação

O reconhecimento de emoções é fundamental para a computação afetiva, mas as abordagens existentes enfrentam limitações significativas:

• Dependência de Comportamentos Overtos: Métodos baseados apenas em expressões faciais, texto ou fala são suscetíveis a hábitos individuais, regulação social e ocultação deliberada, não refletindo fielmente o estado interno.
• Limitações de Sinais Fisiológicos Unimodais: Sinais como EEG (atividade neural) ou ECG (ativação autonômica) capturam apenas aspectos parciais do processo emocional. O EEG é sensível a artefatos, enquanto sinais cardíacos têm poder discriminativo limitado para categorias finas.
• Falta de Anotação Hierárquica: A maioria dos conjuntos de dados públicos (como DEAP, SEED, FER2013) fornece apenas um tipo de rótulo (baseado no estímulo ou na autoavaliação), dificultando a análise da consistência e divergência entre a eliciação do estímulo, a cognição subjetiva e a expressão comportamental.
• Restrições Visuais: A maioria dos dados visuais é monocâmera (2D RGB), limitando a robustez a variações de pose e a percepção 3D.

O objetivo deste trabalho é preencher essas lacunas criando um conjunto de dados que permita a investigação cruzada de níveis (neural, fisiológico, comportamental) e modalidades.

2. Metodologia e Design do Dataset (MAD)

O MAD é um conjunto de dados multimodal de alta sincronização, coletado de 18 participantes saudáveis (9 homens, 9 mulheres). O protocolo experimental envolveu a visualização de 16 clipes de vídeo eliciadores de emoção, com intervalos de descanso.

A. Aquisição Multimodal Sincronizada:
O sistema capturou simultaneamente seis tipos de sinais fisiológicos e vídeos faciais tridimensionais:

• Sinais Fisiológicos:
  • EEG: 14 canais (Emotiv Epoc+), 128 Hz.
  • ECG, EOG, EMG: Sistema BIOPAC MP150 (1 canal EOG, 2 ECG, 3 EMG), 1000 Hz.
  • PPG e BCG: Sensores vestíveis e baseados em assento (customizados), 34 Hz.
• Dados Visuais:
  • Três câmeras Intel RealSense D455 (visão frontal, esquerda e direita) capturando vídeo RGB-D (640x480, 30 fps).

B. Estrutura de Anotação Hierárquica (Três Níveis):
O dataset introduz um esquema de anotação inovador que cobre todo o processo emocional:

1. Nível de Elicitação (Stimulus): Rótulos atribuídos por 50 anotadores externos baseados no conteúdo do vídeo (7 classes: feliz, bravo, triste, medo, ansiedade, nojo, neutro; e mapeamentos para 4 e 3 classes).
2. Nível Cognitivo (Subjective): Autoavaliação dos participantes após a visualização (7 classes e intensidade).
3. Nível de Expressão (Behavioral): Rótulos atribuídos por 10 observadores baseados nas expressões faciais visíveis (3 classes: positivo, neutro, negativo).

C. Pré-processamento:
Os dados foram segmentados em clipes de 60 segundos, com filtragem de banda e remoção de artefatos (ICA) para EEG, reamostragem para sinais periféricos e detecção de rostos com seleção de quadros expressivos para os vídeos.

3. Contribuições Principais

1. Dataset Multimodal Cruzado: Integração única de sinais centrais (EEG), periféricos (ECG, EOG, EMG, PPG, BCG) e comportamentais (vídeo RGB-D tri-view) com sincronização temporal precisa.
2. Framework de Anotação Hierárquica: Permite comparar quantitativamente a eliciação, a cognição e a expressão, facilitando o estudo de inconsistências (ex: quando a expressão não corresponde ao sentimento interno).
3. Protocolos de Benchmark: Estabelecimento de tarefas padrão para avaliação de modelos em diferentes cenários (intra-sujeito, inter-sujeito, fusão multimodal, reconhecimento facial multi-visão).

4. Resultados dos Experimentos de Benchmark

Os autores realizaram cinco categorias de experimentos para validar o dataset:

• Reconhecimento EEG Intra-sujeito: Modelos treinados com rótulos baseados no estímulo (Multimídia) superaram significativamente os treinados com rótulos cognitivos (autoavaliação). Isso sugere que a resposta neural a estímulos externos é mais consistente do que a codificação de experiências subjetivas variáveis. A consistência entre os rótulos de estímulo e cognição correlacionou-se com maior precisão de classificação.
• Transferência Inter-sujeito (Cross-subject): O MAD apresentou uma variabilidade "realista, mas aprendível". Métodos de adaptação de domínio (DAN, DANN, etc.) alcançaram desempenho estável, indicando que o dataset é adequado para pesquisas de generalização entre indivíduos.
• Consistência de Sinais Cardíacos (ECG, PPG, BCG): Apesar das diferenças nos mecanismos de sensoriamento, os três sinais exibiram sincronia temporal e padrões de ritmo de batimento cardíaco altamente consistentes. O BCG (sem contato) mostrou desempenho comparável ao ECG e PPG, validando seu potencial para reconhecimento de emoções não invasivo.
• Fusão Multimodal Fisiológica: O EEG isolado foi o melhor classificador. No entanto, a fusão de EEG com sinais periféricos (ECG, EOG, EMG) melhorou a robustez, confirmando que os sinais periféricos complementam a atividade neural central, embora não a substituam.
• Reconhecimento Facial Multi-visão: O uso de vídeos tri-view (três ângulos) com aprendizado contrastivo melhorou significativamente a robustez a variações de pose. Modelos treinados com múltiplas visões e alinhamento de características superaram abordagens de visão única, alcançando alta precisão mesmo em ângulos laterais.

5. Significado e Conclusão

O MAD estabelece uma plataforma experimental unificada para a modelagem de emoções em múltiplos níveis (neural, fisiológico e comportamental).

• Valor Científico: Permite investigar mecanismos emocionais complexos, como a dissociação entre o que é sentido (cognição) e o que é expresso (comportamento), e a interação cérebro-corpo.
• Aplicabilidade: Serve como um benchmark confiável para o desenvolvimento de algoritmos de reconhecimento de emoção mais robustos, generalizáveis e interpretáveis.
• Futuro: O dataset abre caminho para pesquisas sobre sinais cardíacos remotos (rPPG) via vídeo, fusão visão-fisiologia e modelos afetivos hierárquicos que consideram a dinâmica temporal completa da emoção.

Em suma, o MAD supera as limitações de datasets anteriores ao fornecer uma visão holística e sincronizada do processo emocional, facilitando avanços tanto na teoria psicológica quanto na engenharia de sistemas afetivos.