Improving Emotion Classification by Combining fNIRS-Derived Hemodynamic Responses with Peripheral Physiological Signals

Este estudo demonstra que a combinação de sinais fisiológicos periféricos (EDA e PPG) com respostas hemodinâmicas derivadas de fNIRS melhora significativamente a classificação independente do sujeito das dimensões afetivas de excitação e valência, alcançando o melhor desempenho ao integrar fNIRS e EDA.

O essencial

🎬 O Filme da Emoção: Como "Ler" o Que Sentimos sem Perguntar

Imagine que você está assistindo a um filme emocionante. Às vezes, você ri, chora ou fica tenso. Mas e se você pudesse saber exatamente o que uma pessoa está sentindo sem ela precisar falar nada? É isso que os cientistas deste estudo tentaram fazer.

Eles queriam descobrir se, combinando duas "janelas" diferentes para o corpo humano, conseguiriam adivinhar melhor se alguém está animado (alta excitação) ou calmo, e se está feliz (positivo) ou triste (negativo).

🧠 As Duas Janelas: O Cérebro e o Corpo

Para entender as emoções, os pesquisadores usaram duas ferramentas principais:

1. A Janela do Cérebro (fNIRS):
   Imagine que o cérebro é uma cidade que fica mais iluminada quando há muito tráfego (pensamentos e emoções). O fNIRS é como um drone que voa sobre essa cidade e mede o fluxo de "carros" (sangue oxigenado) que chegam aos bairros mais movimentados.

   • Vantagem: É como um radar que não se confunde com o barulho da rua (interferência elétrica) e funciona bem mesmo se a pessoa se mexer um pouco.
   • Desvantagem: É um pouco lento, como ver o trânsito se formar em câmera lenta.

2. As Janelas do Corpo (EDA e PPG):
   Enquanto o cérebro pensa, o corpo reage.

   • EDA (Atividade da Pele): É como medir o suor das mãos. Quando estamos nervosos ou muito animados, nossas mãos ficam mais "elétricas" (suor aumenta a condutividade). É o termômetro da excitação.
   • PPG (Batimentos): É como medir o pulso no dedo. É o ritmo do coração.

🎵 O Experimento: A Festa da Música

Os cientistas reuniram 35 estudantes e mostraram para eles 12 vídeos de músicas japonesas. Cada vídeo durava 60 segundos e foi escolhido para provocar emoções fortes (como uma música de festa muito animada ou uma balada triste e calma).

Enquanto assistiam, os participantes usavam:

• Um boné especial com sensores de luz no cérebro (fNIRS).
• Sensores nos dedos para medir suor e pulso (EDA e PPG).

Depois de cada vídeo, eles diziam: "Estou muito animado ou calmo?" e "Estou feliz ou triste?". Isso serviu para treinar o computador.

🤖 O Treinamento do Computador (O Detetive)

O objetivo não era apenas ler a emoção de uma pessoa específica, mas criar um "Detetive Universal" que funcionasse para qualquer pessoa, mesmo que o computador nunca tivesse visto aquela pessoa antes. Isso é chamado de classificação "independente do sujeito".

Eles testaram várias combinações para ver qual funcionava melhor:

• Só o cérebro?
• Só o suor?
• Só o pulso?
• Cérebro + Suor?
• Cérebro + Pulso?
• Cérebro + Suor + Pulso?

🏆 A Grande Descoberta: A Dupla Dinâmica

O resultado foi surpreendente e muito prático:

1. O Campeão: A melhor combinação foi Cérebro (fNIRS) + Suor (EDA).

   • Analogia: Pense no cérebro como alguém que sabe o que você está pensando, e o suor como alguém que sabe quão intenso é esse sentimento. Juntos, eles formam uma dupla perfeita.
   • Para detectar excitação (se a pessoa está agitada ou calma), o suor foi o grande destaque.
   • Para detectar valência (se é algo bom ou ruim), o cérebro foi essencial, mas o suor ajudou a confirmar a intensidade.

2. O Surpresa: O pulso (PPG) sozinho não foi tão bom quanto o esperado, e juntar o pulso com o suor (sem o cérebro) não ajudou muito. Eles pareciam contar a mesma história de formas diferentes, gerando redundância.

3. A Lição: O estudo mostrou que, para criar um sistema que funcione bem no mundo real (onde as pessoas se mexem e há ruído), usar o cérebro (fNIRS) junto com a reação natural da pele (suor) é a fórmula mais robusta.

💡 Por que isso importa?

Imagine um futuro onde:

• Um carro autônomo percebe que você está estressado e muda a música para algo mais calmo.
• Um robô de companhia sabe se você está triste e oferece um abraço virtual.
• Jogos de realidade virtual que ficam mais difíceis ou mais fáceis dependendo do seu nível de ansiedade.

Este estudo prova que, ao combinar a "mente" (cérebro) com o "corpo" (suor), podemos criar máquinas que entendem nossos sentimentos de forma mais precisa, sem precisar de câmeras que nos filmam o rosto ou microfones que ouvem nossa voz. É como ter um tradutor silencioso das nossas emoções.

Resumo em uma frase: Para ler o coração de alguém sem que ele fale, a melhor aposta é olhar para o que o cérebro está processando e como a pele está reagindo ao mesmo tempo.

Resumo técnico

Título: Melhoria da Classificação de Emoções Combinando Respostas Hemodinâmicas Derivadas de fNIRS com Sinais Fisiológicos Periféricos

1. Problema e Motivação

A inferência precisa e quantitativa do afeto humano é fundamental para a computação afetiva, com aplicações em interfaces adaptativas e bem-estar. Embora métodos de autorrelato (como questionários) sejam o padrão-ouro, eles são intrusivos e impraticáveis para avaliações contínuas.

• Limitações das abordagens existentes:
  • EEG (Eletroencefalografia): Embora capture diretamente a atividade do sistema nervoso central, é altamente suscetível a artefatos de movimento e ruído eletromagnético, dificultando seu uso em ambientes naturais.
  • Sinais Periféricos (EDA, PPG): Oferecem uma janela para processos afetivos internos, mas a eficácia de modelos independentes do sujeito (cross-subject) usando apenas esses sinais é variável.
  • fNIRS (Espectroscopia de Infravermelho Próximo): É mais robusto a ruídos e movimentos do que o EEG, mas a extensão em que sua combinação com sinais periféricos melhora a classificação de emoções, especialmente em cenários independentes do sujeito, ainda não está totalmente clara.
• Objetivo: Investigar se a multimodalidade, combinando fNIRS (sistema nervoso central) com EDA (atividade eletrodérmica) e PPG (fotopletismografia), melhora a classificação binária (alta vs. baixa) das dimensões afetivas fundamentais Arousal (excitação) e Valence (valência/positividade), sem depender de modelos específicos para cada indivíduo.

2. Metodologia

• Participantes e Dados:
  • 35 estudantes universitários japoneses (24 homens, 11 mulheres).
  • Após exclusão de dados com falhas de gravação, 30 sujeitos foram utilizados para a análise final.
• Estímulos:
  • Desenvolvimento de um conjunto de 12 vídeos musicais japoneses (60 segundos cada), selecionados de um pool inicial de 40.
  • Os estímulos foram categorizados em quatro quadrantes do modelo de circulo de Russell: Alta/Baixa Arousal e Alta/Baixa Valence.
  • A seleção baseou-se em ratings subjetivos de 9 sujeitos usando a Escala de Autoavaliação Maniquim (SAM).
• Aquisição de Sinais:
  • fNIRS: Sistema portátil de 34 canais (Hitachi) cobrindo áreas pré-frontais e temporais. Mediu concentrações de oxihemoglobina (O2Hb) e deoxihemoglobina (HHb). Taxa de amostragem: 10 Hz.
  • EDA e PPG: Unidade Shimmer3 GSR+. Eletrodos nos dedos (índice e médio esquerdos) para EDA e sensor óptico no dedo indicador para PPG. Taxa de amostragem: 51,2 Hz.
• Pré-processamento e Extração de Recursos:
  • fNIRS: Correção de artefatos de movimento via wavelet, filtragem passa-baixa (0,5 Hz), remoção de tendências polinomiais e normalização z-score. Os 34 canais foram agrupados em 5 regiões anatômicas.
  • EDA: Decomposição em componentes tônico e fásico. Extração de 9 recursos (desvio padrão, assimetria, curtose, número de picos, amplitude média, autocorrelação).
  • PPG: Extração de 27 recursos (19 no domínio do tempo e 8 no domínio da frequência) relacionados à variabilidade da frequência cardíaca.
  • Estratégia de "Simplicidade": O estudo intencionalmente evitou redes neurais profundas ou engenharia de recursos complexa, focando em recursos simples (média, desvio padrão, inclinação temporal) para priorizar reprodutibilidade e transparência.
• Classificação e Validação:
  • Algoritmo: Máquina de Vetores de Suporte (SVM) com kernel RBF.
  • Validação: Validação cruzada agrupada por sujeito (5-fold), garantindo que dados do mesmo sujeito não apareçam simultaneamente nos conjuntos de treino e teste (avaliação subject-independent).
  • Métricas: F1-score macro-médiado, precisão, recall e acurácia.
  • Testes Estatísticos: Teste de permutação para significância contra o acaso e teste de Wilcoxon para comparação entre conjuntos de recursos.

3. Resultados Principais

• Desempenho de Classificação (Arousal):
  • O conjunto fNIRS + EDA obteve o melhor desempenho, com um F1-score macro-médiado de 0,73.
  • Desempenho individual: fNIRS (0,65), EDA (0,69), PPG (0,59).
  • A combinação fNIRS + EDA superou significativamente o fNIRS sozinho e a maioria das outras combinações.
• Desempenho de Classificação (Valence):
  • A classificação de valência foi mais desafiadora, mas o conjunto fNIRS + EDA novamente liderou com F1-score de 0,64.
  • Desempenho individual: fNIRS (0,58), EDA (0,51), PPG (0,55).
  • Notavelmente, o EDA sozinho não foi estatisticamente significativo para valência, mas sua adição ao fNIRS melhorou o desempenho do fNIRS isolado.
• Análise de Importância de Recursos (Permutation Importance):
  • Arousal: Os recursos derivados de EDA foram os mais importantes quando combinados com fNIRS, sugerindo que a excitação pode ser inferida fortemente por sinais periféricos.
  • Valence: Os recursos derivados de fNIRS tiveram maior importância relativa, indicando que a discriminação de valência depende mais da atividade cerebral central, embora os sinais periféricos forneçam informações complementares.
  • A combinação de apenas EDA + PPG (sem fNIRS) não foi eficaz, indicando redundância entre esses dois sinais periféricos para esta tarefa.

4. Contribuições Chave

1. Evidência Empírica de Multimodalidade: Demonstra que a integração de fNIRS com sinais periféricos (especificamente EDA) supera o uso de fNIRS isolado para classificação de emoções independentes do sujeito.
2. Transparência e Reprodutibilidade: O estudo evita "caixas pretas" de deep learning, utilizando recursos simples e classificadores clássicos, estabelecendo uma linha de base clara e reprodutível para futuras pesquisas.
3. Análise de Complementaridade: Revela que a contribuição dos sinais varia por dimensão afetiva: EDA é crucial para Arousal, enquanto fNIRS é dominante para Valence, mas a fusão de ambos oferece o melhor desempenho global.
4. Viabilidade em Ambientes Naturais: Reforça o potencial do fNIRS (robusto a ruídos e movimentos) como base para sistemas de computação afetiva aplicáveis fora de laboratórios controlados.

5. Significado e Conclusão

O estudo conclui que a computação afetiva baseada em multimodalidade, centrada no fNIRS e complementada por sinais autonômicos como EDA, é uma abordagem promissora e robusta. A descoberta de que o EDA melhora significativamente a detecção de Arousal e auxilia na detecção de Valence quando combinado com dados cerebrais sugere que modelos futuros devem integrar essas fontes de dados para obter maior precisão.

Apesar das limitações (amostra jovem e desbalanceada em gênero, e o uso de recursos simplificados), os resultados validam a utilidade prática de sensores fNIRS portáteis em conjunto com wearables de sinais periféricos para aplicações do mundo real que exigem inferência contínua e não intrusiva do estado emocional.