🤖 AI

Benchmarking Positional Encoding Strategies for Transformer-Based EEG Foundation Models

Este artículo evalúa cinco estrategias de codificación posicional dentro de la arquitectura transformadora CBraMod para modelos fundamentales de EEG, revelando que ninguna estrategia supera universalmente a las demás en todas las tareas, con la Codificación Posicional Esférica destacando en la imaginación motora y la Codificación Posicional Condicional Asimétrica ofreciendo un rendimiento más consistente en diversos escenarios de decodificación.

Autores originales: Ayse Betul Yuce, Sebastian Stober

Publicado 2026-05-29

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Ayse Betul Yuce, Sebastian Stober

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tu cerebro es una orquesta masiva y que la EEG (Electroencefalografía) es la técnica que utilizamos para grabar la música que toca. Para entender esta música, los científicos utilizan potentes modelos de IA llamados Transformers. Estos modelos son como directores de orquesta superinteligentes que pueden escuchar la grabación y averiguar qué están haciendo los músicos (tus células cerebrales).

Sin embargo, hay un problema: los Transformers son naturalmente "sordos al tono" respecto a dónde ocurren las cosas. Si cambias el orden de los músicos en la orquesta, el Transformer escucha exactamente la misma canción. Pero en el mundo real, la posición de un electrodo en tu cabeza importa inmensamente. Un electrodo en tu frente escucha una "música" diferente a uno en la parte posterior de tu cabeza.

Este artículo es una prueba de cata para ver qué método funciona mejor para enseñar a estos directores de orquesta de IA dónde se encuentran los electrodos. Los investigadores tomaron un modelo de IA estándar (llamado CBraMod) y cambiaron su "guía de ubicación" por cinco estrategias diferentes para ver cuál ayudaba mejor a la IA a comprender las señales cerebrales.

Aquí tienes un desglose de las cinco "guías de ubicación" que probaron:

1. La estrategia "Sin Mapa" (NoPE)

Este es el grupo de control. Se le dan a la IA las señales cerebrales pero ninguna información en absoluto sobre dónde están los electrodos. Es como darle a un director una partitura pero decirle: "No necesitas saber qué instrumento está tocando qué nota; solo adivina".

Resultado: La IA tuvo más dificultades. Demostró que saber dónde provienen las señales es crucial para el aprendizaje.

2. La guía "Vecindario Flexible" (ACPE)

Este método es como un mapa inteligente que observa el vecindario inmediato de cada señal. En lugar de mirar un mapa fijo de toda la cabeza, pregunta: "¿Quién está sentado junto a este electrodo ahora mismo?". Utiliza un truco matemático especial (convoluciones) para determinar la disposición dinámicamente.

Resultado: Fue el rendimiento más consistente. Funcionó bien tanto en "Imaginería Motora" (imaginar mover tu mano) como en "Reconocimiento de Emociones" (sentir felicidad o tristeza). Es como un director que se adapta a la sala cada vez que entra.

3. La guía "Globo" (SPE - Codificación Posicional Esférica)

Los autores inventaron esta. Dado que la cabeza humana es redonda, trataron los electrodos como puntos en un globo terráqueo. Mapearon cada electrodo utilizando ángulos (como latitud y longitud) en lugar de una cuadrícula plana.

Resultado: Fue un especialista.
- Para Imaginería Motora: Fue el campeón. Imaginar el movimiento parece depender en gran medida de la forma específica de la cabeza, por lo que este mapa de "globo" funcionó perfectamente.
- Para Emociones: Tropezó. Las emociones podrían no importar tanto la forma geométrica exacta de la cabeza, por lo que este mapa rígido no fue tan útil.

4. La guía "Globo con Traductor" (SPE+Proj)

Esta es la guía "Globo", pero con un giro: añadieron una pequeña capa aprendible que intenta "traducir" el mapa del globo a algo que a la IA le guste más.

Resultado: No ayudó mucho. Parece que el mapa original de "Globo" ya era lo suficientemente bueno, y el traductor solo hizo las cosas ligeramente confusas.

5. La guía "Pizarra en Blanco" (PE Aprendible)

Aquí, se le da a la IA un mapa en blanco y se le dice: "Tú mismo averigua las ubicaciones mientras aprendes". Comienza sin conocimiento y aprende las posiciones de los electrodos desde cero para cada nueva tarea.

Resultado: Fue un ganador sorpresa para las Emociones. Cuando se permitió a la IA volver a aprender el mapa específicamente para la tarea de emociones, obtuvo el mejor rendimiento. Sin embargo, esto es un esfuerzo pesado; requiere que la IA vuelva a aprender todo cada vez que cambia de tarea, lo cual no siempre es eficiente.

La Gran Conclusión

Los investigadores descubrieron que no existe un único "mapa perfecto" para todas las tareas cerebrales.

Si quieres detectar pensamientos de movimiento, un mapa geométrico que respete la forma redonda de la cabeza (SPE) es excelente.
Si quieres detectar emociones, un mapa flexible basado en el vecindario (ACPE) o permitir que la IA aprenda el mapa desde cero (PE Aprendible) funciona mejor.
Si necesitas una solución que funcione consistentemente bien en diferentes tareas sin necesidad de reentrenar todo, la guía de Vecindario Flexible (ACPE) es la opción más fiable.

En resumen, al igual que no usarías un mapa de calles plano para navegar una cordillera, no debes usar una sola "guía de ubicación" para cada tipo de actividad cerebral. La mejor estrategia depende completamente de lo que el cerebro esté haciendo en ese momento.

Resumen Técnico: Evaluación Comparativa de Estrategias de Codificación Posicional para Modelos Fundacionales de EEG Basados en Transformadores

Declaración del Problema

La electroencefalografía (EEG) es una técnica no invasiva crítica para las aplicaciones de interfaz cerebro-computadora (BCI), sin embargo, los modelos de decodificación supervisada tienen dificultades para generalizar entre tareas, sujetos y conjuntos de datos debido a la baja relación señal-ruido y la alta variabilidad inter-sujeto. Para abordar esto, han surgido modelos fundacionales basados en transformadores entrenados con aprendizaje auto-supervisado. No obstante, los transformadores son inherentemente invariantes a la permutación y requieren una codificación posicional (CP) explícita para modelar dependencias estructurales.

A diferencia de los tokens textuales, los electrodos de EEG poseen una distribución espacial específica en el cuero cabelludo. Los actuales modelos fundacionales de EEG basados en transformadores emplean mecanismos diversos y a menudo incomparables para codificar esta estructura espacio-temporal, incluyendo incrustaciones específicas por canal, codificación temporal relativa e incrustaciones aprendidas. Existe una falta de evaluación sistemática sobre qué estrategia de codificación posicional es óptima para la decodificación de EEG, particularmente dada la significancia anatómica de la colocación de electrodos y la variabilidad en las montajes de canales entre conjuntos de datos.

Metodología

Los autores realizaron una evaluación comparativa controlada dentro del esqueleto CBraMod, un modelo fundacional de EEG auto-supervisado que utiliza un mecanismo de atención en cruz para capturar dependencias espacio-temporales. Para aislar el impacto del diseño posicional, el estudio mantuvo la arquitectura original del transformador, los protocolos de entrenamiento e hiperparámetros, reemplazando únicamente el módulo de codificación posicional.

Estrategias de Codificación Posicional Evaluadas

Se compararon cinco estrategias:

Sin Codificación Posicional (NoPE): Una línea base sin información posicional explícita.
Codificación Posicional Condicional Asimétrica (ACPE): Un método donde las representaciones posicionales se generan dinámicamente a partir de vecindades espacio-temporales de parches de EEG utilizando convoluciones 2D profundas con kernels asimétricos ( $k_s > k_t$ ). Esto captura dependencias inter-canal de largo alcance y contexto temporal de corto alcance sin depender de coordenadas absolutas.
Codificación Posicional Esférica (SPE): Una estrategia novedosa propuesta en este trabajo que aprovecha la geometría esférica de la colocación de electrodos. Calcula los ángulos de acimut ( $\theta$ ) e inclinación ( $\phi$ ) para cada electrodo y los mapea a representaciones de longitud fija utilizando funciones sinusoidales de múltiples frecuencias. Esto codifica relaciones angulares invariantes al tamaño de la cabeza y la escala, sin parámetros aprendibles.
SPE con Proyección (SPE+Proj): Una extensión de SPE donde las incrustaciones de canal y parche se pasan a través de proyecciones lineales aprendibles separadas antes de la suma.
CP Aprendible: Incrustaciones de canal y parche totalmente aprendibles sumadas para formar la codificación final. Estas se reinicializan y aprenden desde cero durante el ajuste fino si el montaje aguas abajo difiere del preentrenamiento.

Configuración Experimental

Preentrenamiento: Realizado en el conjunto de datos Healthy Brain Network EEG (HBN-EEG) (>3,000 participantes, 128 canales) utilizando un objetivo de reconstrucción de parches enmascarados.
Tareas Aguas Abajo:
- Imaginería Motora (MI): Clasificación en el conjunto de datos PhysioNet MI (64 canales, 4 clases).
- Reconocimiento de Emociones: Clasificación en el conjunto de datos FACED (32 canales, 9 clases).
Protocolos de Evaluación: Los modelos se evaluaron bajo sondeo lineal (esqueleto congelado, clasificador entrenado) y ajuste fino (todos los pesos actualizados).
Métricas: Precisión equilibrada, Kappa de Cohen y puntuación F1 ponderada.

Resultados Clave

El estudio encontró que ninguna estrategia de codificación posicional superó consistentemente a las demás en todas las tareas y protocolos. El rendimiento fue altamente dependiente de la tarea:

Imaginería Motora (PhysioNet-MI):
- SPE logró el mejor rendimiento en el protocolo de sondeo lineal, sugiriendo que los priores geométricos explícitos son beneficiosos cuando los patrones de activación espacial son distintos.
- ACPE logró el mejor rendimiento en el protocolo de ajuste fino.
- NoPE fue consistentemente la más débil en el sondeo lineal pero permaneció competitiva después del ajuste fino, indicando que el esqueleto puede recuperar parcialmente la estructura posicional a través de la optimización de extremo a extremo.
Reconocimiento de Emociones (FACED):
- ACPE y CP Aprendible arrojaron los mejores resultados.
- SPE tuvo un rendimiento significativamente inferior en comparación con otras estrategias en ambos protocolos, sugiriendo que los priores geométricos estrictos pueden no beneficiar tanto a las representaciones relacionadas con emociones como a la imaginería motora.
Pérdida de Preentrenamiento: La ausencia de codificación posicional resultó en la mayor pérdida de reconstrucción enmascarada, confirmando que la información posicional es crucial para la calidad de la representación de preentrenamiento. CP Aprendible y SPE+Proj lograron las pérdidas de validación más bajas.

Significado y Conclusiones

El artículo concluye que la estrategia óptima de codificación posicional para modelos fundacionales de EEG es dependiente de la tarea, sin una solución universal.

Especificidad de la Tarea: Las estrategias que codifican geometría anatómica explícita (SPE) son ventajosas para tareas con alta distinguibilidad espacial (por ejemplo, imaginería motora) pero pueden ser subóptimas para tareas donde los patrones espaciales son menos rígidos (por ejemplo, reconocimiento de emociones).
Generalización vs. Adaptabilidad: ACPE demuestra un rendimiento consistente al aprender patrones de vecindad local a partir del contenido del parche, haciéndola robusta en diversas tareas sin requerir conocimiento explícito de coordenadas. Por el contrario, la CP Aprendible, aunque requiere reinicialización para diferentes montajes, puede superar a las estrategias fijas cuando se permite que el modelo aprenda estructuras espaciales específicas de la tarea desde cero en el conjunto de datos objetivo.
Implicaciones Prácticas: SPE ofrece una alternativa ligera, sin parámetros y agnóstica al montaje que se precalcula a partir de ángulos de electrodos, convirtiéndola en una opción viable cuando la estructura espacial es relevante y el reentrenamiento es indeseable.

Los autores enfatizan que, aunque las diferencias de rendimiento fueron relativamente pequeñas, son medibles y significativas dado que solo se alteró el módulo de codificación posicional. Se sugiere trabajo futuro para explorar estas estrategias en tareas de EEG más diversas, montajes de electrodos y conjuntos de datos de preentrenamiento más grandes para evaluar aún más la generalizabilidad de la codificación consciente de la topología.