MVGT: A Multi-view Graph Transformer Based on Spatial Relations for EEG Emotion Recognition

Este artículo presenta MVGT, un transformador de grafos multi-vista basado en relaciones espaciales que integra dinámicas temporales, características frecuenciales y conexiones entre canales para superar el estado del arte en el reconocimiento de emociones mediante señales EEG.

Lo esencial

¡Claro que sí! Imagina que el cerebro es una orquesta gigante y las emociones son las melodías que toca. Para entender qué canción está tocando tu cerebro (si estás feliz, triste o enojado), los científicos usan un casco con sensores llamado EEG (electroencefalograma) que "escucha" la música eléctrica de tu cabeza.

El problema es que esta música es muy compleja. Es como si intentaras entender una sinfonía mirando solo un instrumento, o solo mirando el ritmo, o solo la altura de las notas. Hasta ahora, las computadoras tenían dificultades para entender todas las partes de la canción al mismo tiempo.

Aquí es donde entra el nuevo modelo del que habla el artículo: MVGT. Vamos a desglosarlo con analogías sencillas:

1. El Problema: Escuchar solo una nota

Antes, los métodos para leer emociones del cerebro eran como intentar adivinar la canción de una orquesta escuchando solo al violinista (la frecuencia), o solo al batería (el tiempo), o solo mirando quiénes están sentados juntos (el espacio). A menudo, perdían la magia de cómo todos trabajan juntos.

2. La Solución: El Director de Orquesta Inteligente (MVGT)

Los autores crearon un nuevo "director de orquesta" llamado MVGT (Transformador de Gráfico Multi-vista). Este director es especial porque tiene tres superpoderes para entender la música cerebral:

• 🎵 El Oído del Tiempo (Dinámica Temporal):
  En lugar de escuchar una sola nota de un segundo, este director escucha fragmentos completos de la canción. Imagina que en lugar de tomar una foto de un segundo, grabas un video de 5 segundos. Así, el modelo entiende cómo la emoción cambia y fluye con el tiempo, no solo cómo es en un instante congelado.

• 🎼 El Oído de la Frecuencia (Características de Frecuencia):
  El cerebro tiene diferentes "tonos" o frecuencias (como graves, medios y agudos). El modelo sabe que las emociones se esconden en diferentes tonos. Usa una herramienta matemática llamada "Entropía Diferencial" (suena complicado, pero es como un analizador de espectro muy preciso) para separar y entender la energía de cada tono, desde los graves profundos hasta los agudos rápidos.

• 🧠 El Mapa de la Orquesta (Relaciones Espaciales):
  Aquí está la parte más genial. El cerebro no es una caja negra; tiene zonas específicas (frente, lados, atrás).

  • El Mapa de Regiones: El modelo sabe que la parte frontal del cerebro es como el "director de la alegría" y el lado derecho es más sensible al miedo. Le da un "código de color" a cada sensor según su zona.
  • El Mapa de Distancias: Sabe que dos sensores que están físicamente cerca (como dos violines uno al lado del otro) probablemente estén hablando entre sí.
  • El Mapa de Importancia: Sabe qué sensores son los "solistas" más importantes en ese momento.

3. ¿Cómo funciona el "Director" (El Transformador)?

Imagina que el modelo es un director de orquesta con gafas de realidad aumentada.

1. Mira a todos los músicos (los sensores del cerebro).
2. Usa sus tres superpoderes (Tiempo, Frecuencia, Espacio) para ver quién está tocando qué, cuándo y con quién se está conectando.
3. En lugar de ignorar a los músicos que están lejos, el modelo crea un mapa de conexiones (un gráfico) donde puede ver que el "violín del lado izquierdo" está hablando intensamente con el "bajo del lado derecho".
4. El truco final (Reciclaje): El modelo no solo escucha una vez. Escucha, piensa, y luego vuelve a escuchar la misma música con lo que aprendió la primera vez. Es como si el director dijera: "Espera, creo que entendí mal esa parte, escuchémosla de nuevo para afinar el detalle". Esto le permite detectar emociones muy sutiles.

4. Los Resultados: ¡La orquesta suena perfecta!

Cuando probaron este nuevo director con datos reales de personas viendo películas que les hacían sentir cosas, ¡funcionó increíblemente bien!

• Superó a todos los métodos anteriores (los "directores" antiguos).
• Logró identificar si alguien estaba feliz, triste o neutral con una precisión superior al 96% en algunos casos.
• Lo más importante: Descubrió que las emociones no nacen en un solo lugar del cerebro, sino que son el resultado de toda la orquesta trabajando junta.

En resumen

El MVGT es como un detective de emociones que no solo escucha el sonido, sino que entiende el ritmo, el tono y la geografía de la orquesta cerebral al mismo tiempo. Al combinar estas tres visiones y "releer" la información varias veces, logra entender lo que sientes con una claridad que antes era imposible.

¡Es un gran paso para que las computadoras entiendan mejor lo que sentimos!

Resumen técnico

Resumen Técnico: MVGT para Reconocimiento de Emociones mediante EEG

1. Planteamiento del Problema

El reconocimiento de emociones basado en electroencefalografía (EEG) es un desafío fundamental en la computación afectiva. Aunque las señales de EEG contienen información rica en los dominios temporal, frecuencial y espacial, existen dificultades significativas para aprovecharlas de manera integral:

• Limitaciones de los enfoques tradicionales: Las análisis de una sola perspectiva a menudo fallan al capturar la interacción compleja entre estas dimensiones.
• Dominio Temporal: Los modelos recurrentes (RNN) tienen dificultades de paralelización y los CNNs tienen campos receptivos limitados. Además, tratar puntos de tiempo individuales como tokens puede ignorar eventos desalineados en el tiempo debido a la conducción de volumen anisotrópica del cerebro.
• Dominio Espacial: Los métodos basados en redes neuronales de grafos (GNN) tradicionales pueden sufrir de "sobresuavizado" (over-smoothing) y "sobrecuajado" (over-squashing). Además, a menudo subutilizan las relaciones geométricas y anatómicas inherentes a la distribución de los electrodos en el cuero cabelludo.
• Dominio Frecuencial: Se requiere una representación eficiente de las características de las bandas de frecuencia para distinguir patrones emocionales.

2. Metodología Propuesta: MVGT

Los autores proponen MVGT (Multi-view Graph Transformer), un modelo basado en transformadores de grafos que integra información de tres dominios mediante un diseño de "múltiples vistas" y codificaciones espaciales avanzadas.

A. Representación de Datos y Dominio Frecuencial:

• Se utilizan Entropías Diferenciales (DE) de las señales de EEG en cinco bandas de frecuencia ($\delta, \theta, \alpha, \beta, \gamma$) como representación de características. La DE ha demostrado ser efectiva para distinguir patrones de energía de alta y baja frecuencia.

B. Dominio Temporal (Embedding Temporal Invertido):

• Inspirados en trabajos recientes, el modelo no trata puntos de tiempo individuales como tokens. En su lugar, segmentos continuos de tiempo (obtenidos mediante ventanas deslizantes) se embeben como tokens únicos.
• Se emplean Redes Neuronales Feed-Forward (FFN) dentro del transformador para capturar patrones temporales dentro de estos segmentos, ampliando el campo receptivo temporal y evitando problemas de desalineación.

C. Dominio Espacial (Codificaciones Múltiples):
El núcleo de MVGT es la integración de tres tipos de codificaciones espaciales en un mecanismo de atención de grafos:

1. Codificación de Región Cerebral (BRE): Asigna etiquetas a los electrodos basándose en esquemas de división anatómica (Lóbulos, General, Frontal, Hemisferios). Esto permite al modelo aprender correlaciones intra e inter-regionales.
2. Codificación de Centralidad (CE): Calcula la importancia relativa de cada nodo (electrodo) basándose en la suma de pesos de sus conexiones en el grafo.
3. Codificación de Estructura Geométrica (GSE): Modela las distancias euclidianas entre electrodos utilizando funciones de base gaussiana. Esta codificación se introduce como un término de sesgo (bias) en la función de atención Softmax, permitiendo que el modelo aprenda correlaciones direccionales $(i, j)$ y $(j, i)$ distintas, adaptándose a la anatomía real del cerebro.

D. Arquitectura del Modelo:

• Utiliza una estructura GraphNorm para normalizar las entradas.
• Emplea una arquitectura Pre-LN (Normalización por Capa antes de la Atención y FFN) para estabilidad en el entrenamiento.
• Incluye un mecanismo de "Reciclaje" (Recycling): Las salidas del modelo se retroalimentan iterativamente a través de los mismos módulos (3 iteraciones) para refinar la discriminación de información y capturar detalles emocionales más profundos.

3. Contribuciones Clave

1. Integración Multidominio: MVGT es uno de los primeros modelos que fusiona sistemáticamente dinámicas temporales continuas, características de frecuencia (DE) y relaciones espaciales complejas en un solo marco de transformador de grafos.
2. Codificación Espacial Avanzada: La introducción de la GSE basada en distancias geométricas y la BRE basada en neurociencia supera las limitaciones de las matrices de adyacencia simétricas tradicionales, permitiendo una percepción espacial más flexible y precisa.
3. Nueva Estrategia Temporal: El enfoque de tratar segmentos de tiempo completos como tokens ("Inverted temporal embedding") mejora la capacidad del modelo para capturar dependencias temporales a largo plazo en comparación con los métodos basados en puntos discretos.
4. Mecanismo de Refinamiento Iterativo: El uso de "reciclaje" permite que el modelo aprenda representaciones más robustas y detalladas de los patrones emocionales.

4. Resultados Experimentales

El modelo fue evaluado en dos conjuntos de datos públicos de referencia: SEED y SEED-IV.

• Rendimiento General: MVGT superó a los métodos más avanzados (State-of-the-Art) como DGCNN, BiDANN, RGNN y EmoGT.
  • En el conjunto SEED, la variante con esquema FRONTAL alcanzó una precisión del 96.55% (mejora del 1.23% sobre el mejor baseline).
  • En el conjunto SEED-IV, la variante con esquema GENERAL alcanzó una precisión del 94.03% (mejora del 1.21% sobre el mejor baseline).
• Estudio de Ablación:
  • La inclusión de la Codificación Geométrica (GSE) tuvo el mayor impacto positivo, aumentando la precisión en un promedio de 1.25% (SEED) y 3.05% (SEED-IV).
  • El método de Embedding Temporal Invertido mejoró la precisión en un 0.8% en SEED, validando la importancia de procesar segmentos continuos.
  • La combinación de todos los componentes (BRE, CE, GSE, Inverted) maximizó el rendimiento, demostrando su papel complementario.
• Visualización: El análisis de las correlaciones entre canales reveló que las actividades emocionales involucran interacciones distribuidas entre múltiples regiones (frontal, temporal, parietal), confirmando que las emociones no surgen de áreas aisladas.

5. Significado e Impacto

El trabajo de MVGT representa un avance significativo en la computación afectiva basada en EEG al demostrar que:

• La consideración explícita de la geometría anatómica y las relaciones espaciales direccionales es crucial para modelar señales cerebrales.
• La integración de información temporal continua y espacial estructurada permite una representación más rica de los estados emocionales.
• El modelo ofrece una herramienta robusta y flexible que no solo mejora la precisión de clasificación, sino que también proporciona insights neurocientíficos sobre cómo se distribuyen las redes neuronales durante la experiencia emocional.

En conclusión, MVGT establece un nuevo estándar para el reconocimiento de emociones mediante EEG, superando las limitaciones de los enfoques unidimensionales y ofreciendo una arquitectura escalable para futuras investigaciones en interfaces cerebro-computadora.