MVGT: A Multi-view Graph Transformer Based on Spatial Relations for EEG Emotion Recognition

Este artigo apresenta o MVGT, um transformador de grafos baseado em relações espaciais que integra dinâmicas temporais, características de frequência e interações entre canais para superar os métodos atuais na reconhecimento de emoções a partir de sinais EEG.

O essencial

Imagine que o seu cérebro é uma orquestra gigante tocando uma sinfonia complexa. Cada músico (os neurônios) está em um lugar diferente, tocando em ritmos variados e em diferentes tons. Quando você sente uma emoção — seja alegria, tristeza ou medo — é como se a orquestra mudasse a música inteira: alguns instrumentos tocam mais alto, outros mudam o ritmo, e a harmonia entre eles se transforma.

O problema é que tentar entender essa música apenas ouvindo um único instrumento, ou apenas olhando para a partitura de um único momento, não funciona. É aí que entra o MVGT, o "maestro de inteligência artificial" criado pelos pesquisadores da Universidade de Pequim.

Aqui está a explicação simples de como eles fizeram isso:

1. O Desafio: Ouvir a Sinfonia Completa

Os sinais do cérebro (chamados de EEG) são como ondas de rádio que carregam informações em três dimensões ao mesmo tempo:

• O Ritmo (Tempo): Como a música muda segundo a segundo.
• O Tom (Frequência): Se a música é aguda ou grave (ondas rápidas ou lentas).
• A Geografia (Espaço): Quem está tocando com quem? O violino está conversando com o violoncelo ou com a bateria?

Métodos antigos tentavam analisar apenas uma dessas coisas de cada vez, como tentar entender uma sinfonia olhando apenas para o maestro e ignorando os músicos. O resultado? Perder detalhes importantes.

2. A Solução: O Maestro MVGT

Os autores criaram um sistema chamado MVGT (Transformer de Gráfico Multivista). Pense nele como um maestro superpoderoso que usa três óculos diferentes ao mesmo tempo para entender a emoção:

🕶️ Óculos 1: O Ritmo Contínuo (Tempo)

Em vez de olhar para o cérebro em "fotos" congeladas (um instante só), o MVGT olha para vídeos curtos.

• A Analogia: Imagine que você está tentando entender uma piada. Se você olhar apenas para a cara do comediante no segundo exato em que ele abre a boca, não vai entender a graça. Você precisa ver o movimento, o tempo da fala e a reação. O MVGT faz o mesmo: ele pega um "bloco" contínuo de tempo e o trata como uma única peça de informação, permitindo que ele entenda a evolução da emoção, não apenas um ponto estático.

🕶️ Óculos 2: A Paleta de Cores (Frequência)

O cérebro emite diferentes "cores" de ondas (como ondas lentas de sono ou ondas rápidas de alerta).

• A Analogia: O MVGT usa uma técnica chamada "Entropia Diferencial" (DE) que funciona como um equalizador de som. Ele separa o sinal em faixas (como graves, médios e agudos) para ver quais frequências estão mais ativas quando você está feliz ou triste. É como ajustar o som do rádio para ouvir claramente a voz do cantor, sem o ruído de fundo.

🕶️ Óculos 3: O Mapa de Conexões (Espaço)

Este é o ponto mais genial. O cérebro não é um bloco único; é dividido em regiões (frente, lados, fundo).

• A Analogia: Imagine que cada eletrodo no seu couro cabeludo é um vizinho em uma cidade. O MVGT não apenas olha para cada vizinho, mas desenha um mapa de como eles se conectam.
  • Ele sabe que o "Vizinho da Frente" (região frontal) conversa muito com o "Vizinho da Esquerda" quando você está feliz.
  • Ele usa três tipos de mapas mentais:
    1. Por Lobo: Divide a cidade em bairros grandes (Frontal, Temporal, etc.).
    2. Por Simetria: Olha para a esquerda e direita como espelhos (importante para emoções).
    3. Por Distância: Mede a distância física entre os vizinhos. Se dois eletrodos estão perto, eles provavelmente têm uma conversa mais intensa.

3. Como Tudo se Junta?

O MVGT pega essas três visões e as mistura em uma única "super-representação".

• Ele usa uma tecnologia chamada Transformer (a mesma família de IA que faz o ChatGPT funcionar) para prestar atenção nas partes mais importantes da música cerebral.
• Ele tem um truque especial chamado "Reciclagem": assim como um músico que ouve a gravação, ajusta o tom e toca de novo, o modelo passa várias vezes pelos dados, refinando sua compreensão a cada rodada, até chegar à resposta mais precisa.

4. O Resultado: Quem Ganhou?

Os pesquisadores testaram esse "maestro" em bancos de dados públicos onde pessoas assistiam a vídeos emocionantes enquanto tinham eletrodos na cabeça.

• O Veredito: O MVGT foi o melhor de todos! Ele superou os outros métodos mais antigos com uma precisão impressionante (acima de 96% em alguns testes).
• A Descoberta: Ao olhar para os "mapas" que a IA criou, eles viram que as emoções não vêm de uma única parte do cérebro, mas sim de uma dança coordenada entre várias regiões. Por exemplo, para detectar felicidade, o modelo percebeu que a frente do cérebro e os lados estavam conversando intensamente.

Resumo em uma Frase

O MVGT é como um detetive de emoções que não apenas ouve o que o cérebro diz, mas entende o ritmo da fala, o tom de voz e quem está conversando com quem, permitindo que a máquina "sinta" o que você está sentindo com uma precisão sem precedentes.

Resumo técnico

Resumo Técnico: MVGT para Reconhecimento de Emoções via EEG

1. Problema e Motivação

O reconhecimento de emoções baseado em Eletroencefalografia (EEG) é um desafio significativo na computação afetiva. Embora os sinais de EEG contenham informações ricas em domínios temporais, frequenciais e espaciais, a maioria das abordagens tradicionais falha em explorar plenamente essas características multidimensionais de forma integrada.

• Limitações das abordagens existentes:
  • Domínio Temporal: Modelos baseados em RNNs sofrem com dificuldades de paralelização, enquanto CNNs têm campos receptivos limitados. Métodos que tratam pontos de tempo individuais como tokens podem perder a sincronia de eventos devido às características anisotrópicas da condução de volume no cérebro.
  • Domínio Espacial: Redes Neurais de Grafos (GNNs) baseadas em passagem de mensagens (MPGNN) podem sofrer com problemas de "over-smoothing" (suavização excessiva) e "over-squashing" (esmagamento excessivo), além de muitas vezes subutilizar as relações geométricas e anatômicas intrínsecas aos canais de EEG.
  • Domínio Frequencial: A utilização de características de domínio de frequência (como Entropia Diferencial) muitas vezes não é combinada de forma eficaz com as outras dimensões.

O objetivo do trabalho é superar essas limitações criando um modelo que integre dinamicamente informações de múltiplos domínios para capturar a complexidade dos sinais de EEG.

2. Metodologia: MVGT (Multi-view Graph Transformer)

Os autores propõem o MVGT, um Transformer de Grafos baseado em relações espaciais. A arquitetura é projetada para processar o EEG como um grafo onde os nós são os canais e as arestas representam conexões funcionais e estruturais.

Componentes Principais:

• Representação de Frequência:

  • Utiliza a Entropia Diferencial (DE) como representação de características. A DE é calculada para cinco bandas de frequência ($\delta, \theta, \alpha, \beta, \gamma$), sendo considerada uma das métricas mais eficazes para distinguir padrões de energia em EEG.

• Codificação Temporal (Abordagem "Invertida"):

  • Diferente do padrão que trata pontos de tempo únicos como tokens, o MVGT trata segmentos contínuos de tempo (obtidos por janelas deslizantes sobrepostas) como tokens.
  • Esses segmentos são processados por Redes Neurais Feed-Forward (FFN) dentro do Transformer, permitindo capturar dependências temporais de longo alcance e dinâmicas contínuas sem as limitações de campos receptivos das CNNs.

• Codificação Espacial (Múltiplas Vistas):
  Para capturar a estrutura espacial complexa, o modelo integra três tipos de codificações espaciais que atuam como vieses (biases) na atenção:

  1. Codificação de Região Cerebral (BRE): Baseada em neurociência, divide os canais em regiões (ex: Lóbulos, Hemisférios, Frontal). São propostas quatro esquemas aprendíveis: LOBE, GENERAL, HEMISPHERE e FRONTAL.
  2. Codificação de Centralidade (CE): Reflete a importância relativa de cada nó na rede, calculada a partir da soma dos pesos das conexões.
  3. Codificação de Estrutura Geométrica (GSE): Modela as distâncias euclidianas entre os canais no espaço 3D usando uma função de base Gaussiana. Isso permite que o modelo aprenda correlações direcionadas (i, j) e (j, i) distintas, evitando a suposição de simetria rígida.

• Arquitetura do Modelo:

  • Utiliza uma estrutura Pre-LN (Normalização de Camada antes da Atenção e FFN) para estabilidade do gradiente.
  • Emprega o mecanismo de Refinamento Iterativo ("Recycling"): A saída do modelo é realimentada recursivamente nos mesmos módulos para refinar a representação das emoções e capturar detalhes mais eficazes.
  • O mecanismo de Atenção Multi-Cabeça (MHA) incorpora a GSE como um termo de viés no softmax, permitindo que o modelo ajuste adaptativamente as relações entre canais.

3. Contribuições Chave

1. Integração Multidomínio: O MVGT é a primeira abordagem a integrar sistematicamente a dinâmica temporal de segmentos contínuos, características de frequência (DE) e múltiplas codificações espaciais (anatômicas, de centralidade e geométricas) em um único framework de Transformer de Grafos.
2. Codificação Espacial Direcionada e Geométrica: A introdução de uma matriz de codificação espacial direcionada e baseada em distância geométrica supera as limitações das matrizes de adjacência simétricas tradicionais, permitindo uma modelagem mais precisa das interações inter-canais.
3. Mecanismo de Refinamento Iterativo: A técnica de "recycling" melhora a capacidade discriminativa do modelo ao iterar sobre as representações aprendidas.
4. Desempenho Superior: O modelo estabelece novos patamares (state-of-the-art) em conjuntos de dados públicos de reconhecimento de emoções.

4. Resultados Experimentais

O modelo foi avaliado nos conjuntos de dados SEED e SEED-IV, comparando-se com métodos state-of-the-art (como DGCNN, BiDANN, RGNN, EmoGT, etc.).

• Desempenho no SEED:
  • O esquema FRONTAL alcançou 96,55% de precisão média, superando o melhor baseline (MV-SSTMA com 95,32%) em 1,23%.
  • O modelo demonstrou alta eficácia na distinção entre emoções positivas e negativas (matriz de confusão mostrou baixa taxa de erro de classificação cruzada).
• Desempenho no SEED-IV:
  • O esquema GENERAL alcançou 94,03% de precisão, superando o melhor baseline em 1,21%.
• Estudo de Ablação:
  • A remoção de qualquer um dos quatro componentes principais (Codificação Temporal Invertida, BRE, CE, GSE) resultou em queda de desempenho, confirmando a importância de cada módulo.
  • A Codificação de Estrutura Geométrica (GSE) teve o maior impacto individual, aumentando a precisão em média 1,25% (SEED) e 3,05% (SEED-IV).
• Visualização:
  • As visualizações das relações inter-canais revelaram que a atividade cerebral emocional envolve a interação coordenada de múltiplas regiões (frontal, temporal, parietal), e não apenas áreas isoladas, validando a hipótese de redes distribuídas.

5. Significado e Conclusão

O MVGT representa um avanço significativo na área de reconhecimento de emoções via EEG. Ao demonstrar que a combinação de representações temporais contínuas com codificações espaciais ricas (anatômicas e geométricas) dentro de uma arquitetura de Transformer é superior às abordagens unidimensionais ou baseadas apenas em GNNs tradicionais, o trabalho oferece:

• Uma nova direção para o design de modelos de EEG que respeitam a natureza física e fisiológica do sinal.
• Evidências de que a estrutura geométrica e a divisão de regiões cerebrais são cruciais para a modelagem de estados emocionais.
• Um modelo robusto e flexível que pode ser adaptado para outras tarefas de análise de sinais cerebrais, embora a dependência do design de codificação baseado em neurociência para emoções seja uma limitação a ser considerada para outras tarefas cognitivas.

Em suma, o MVGT demonstra que a modelagem explícita das relações espaciais e temporais de múltiplas perspectivas é fundamental para desbloquear o potencial completo dos sinais de EEG na computação afetiva.