Resumen Técnico: Extractores de Características Temporales en Modelos Fundacionales de EEG

Planteamiento del Problema

Los modelos fundacionales de electroencefalografía (EEG) buscan aprender representaciones generalizables a partir de registros cerebrales a gran escala para abordar desafíos como la alta dimensionalidad, la no estacionariedad, las bajas relaciones señal-ruido y la sustancial variabilidad entre sujetos. Aunque estos modelos suelen emplear un módulo de incrustación (embedding) para transformar los datos brutos de EEG antes de refinarlos con un backbone de transformador, el papel específico de los extractores de características temporales sigue siendo poco explorado.

Los enfoques existentes varían ampliamente: algunos utilizan codificadores convolucionales 1D ligeros (a menudo combinados con características en el dominio de la frecuencia), mientras que otros dependen únicamente de capas de proyección lineal. Sin embargo, las diferencias en los módulos de incrustación suelen estar entrelazadas con variaciones en la arquitectura general y los paradigmas de entrenamiento, lo que impide un estudio sistemático del efecto directo de la extracción de características temporales. Además, no está claro si los modelos fundacionales de series temporales preentrenados (TSFM), que aprenden representaciones temporales de propósito general a partir de diversos conjuntos de datos, pueden transferirse eficazmente al dominio de la EEG como extractores de características temporales congelados.

Metodología

Los autores llevan a cabo una comparación controlada de tres estrategias de extracción de características temporales dentro de un marco unificado de modelo fundacional de EEG. Para aislar el efecto del extractor, todos los demás componentes —incluyendo la representación de entrada, la estrategia de parcheo, el procedimiento de enmascaramiento, la codificación posicional esférica y el backbone del transformador— se mantienen constantes.

1. Representación de Entrada y Parcheo

• Entrada: Registros de EEG multicanal ($X \in \mathbb{R}^{C \times T}$).
• Parcheo: Siguiendo las prácticas de los Vision Transformers, los registros se dividen en parches de 2 segundos.
• Normalización:
  • Para la configuración de MOMENT (TSFM preentrenado), se utiliza el preprocesamiento nativo del modelo (Normalización de Instancia Reversible).
  • Para las líneas base Lineal y Convolucional, se aplica una normalización de máximo absoluto para preservar los cruces por cero y la polaridad de la señal.

2. Estrategias de Extracción de Características Temporales

El estudio compara tres enfoques distintos:

• Proyección Lineal: Una línea base mínima donde cada parche de EEG es proyectado al espacio de incrustación del modelo mediante una única capa lineal.
• Codificador Temporal Convolucional: Un codificador convolucional de separación de profundidad (depthwise separable) que aplica filtros temporales compartidos a cada token de canal-parche. Utiliza núcleos de diversos tamaños a lo largo de la dimensión temporal, seguidos de una convolución puntual y aplanamiento.
• TSFM Preentrenado (MOMENT): Se utiliza el modelo MOMENT-small congelado como extractor de características. A diferencia de los TSFM orientados a la predicción, MOMENT fue preentrenado con un objetivo de reconstrucción enmascarada diseñado para el aprendizaje de representaciones.
  • Adaptación: Dado que MOMENT espera secuencias de longitud 512 y los parches de EEG contienen 200 puntos temporales, se aplica un relleno de ceros a la izquierda y enmascaramiento de entrada.
  • Agregación: Se aplica una reducción de media sobre las representaciones internas de los parches para producir una incrustación de dimensión fija.
  • Congelación: El codificador MOMENT se mantiene congelado tanto durante el preentrenamiento como durante el entrenamiento posterior (downstream); las incrustaciones se computan de forma offline.

3. Arquitectura del Modelo y Entrenamiento

• Codificación Posicional: Se utiliza la Codificación Posicional Esférica (SPE) para la información espacial (ubicación de los electrodos) y la codificación sinusoidal estándar para los índices de los parches temporales.
• Backbone: Un codificador de transformador con autoatención y capas de alimentación hacia adelante (feed-forward).
• Objetivo: Reconstrucción enmascarada ($L = \|\hat{X}_M - \tilde{X}_M\|_2^2$) sobre los parches enmascarados.
• Conjuntos de Datos:
  • Preentrenamiento: Healthy Brain Network EEG (HBN-EEG) con aproximadamente 3,000 participantes.
  • Tareas posteriores (Downstream): PhysioNet Motor Imagery (MI) y FACED (Reconocimiento de Emociones).

Contribuciones Clave

1. Análisis Sistemático: El artículo proporciona un análisis controlado del papel de los extractores de características temporales en los modelos fundacionales de EEG a través de dos tareas distintas (imaginación motora y reconocimiento de emociones).
2. Evaluación de la Transferencia de TSFM: Evalúa un TSFM preentrenado y de dominio general (MOMENT) como un extractor de características temporales congelado dentro de un modelo fundacional de EEG, comparándolo con estrategias de incustación lineal y convolucional estándar.

Resultados

Los modelos fueron evaluados utilizando protocolos de sondaje lineal (linear probing, backbone congelado) y de ajuste fino (fine-tuning).

• Imaginación Motora (PhysioNet-MI):
  • En el entorno de sondaje lineal, los modelos lineales y convolucionales simples mostraron un rendimiento competitivo, mientras que el modelo MOMENT mostró un rendimiento promedio inferior.
  • En el entorno de ajuste fino, el modelo lineal logró el mayor rendimiento promedio, seguido de MOMENT.
• Reconocimiento de Emociones (FACED):
  • Tanto los modelos convolucionales como el MOMENT superaron a la línea base lineal bajo ambos protocolos.
  • El conjunto de datos de emociones se benefició más de un modelado temporal más rico (convolucional o TSFM) en comparación con el conjunto de datos de imaginación motora.
• Significancia Estadística: Las pruebas de Friedman indicaron diferencias significativas entre los modelos en la mayoría de las configuraciones. Sin embargo, las comparaciones post-hoc con la corrección de Holm-Bonferroni no revelaron diferencias significativas entre pares, lo que llevó a los autores a centrarse en las tendencias consistentes de rendimiento medio.

Significado y Afirmaciones

El artículo concluye que ninguna estrategia de extracción de características temporales supera consistentemente a las otras en todos los entornos de prueba.

• Dependencia de la Tarea: Las proyecciones lineales simples son competitivas para tareas de imaginación motora, mientras que el reconocimiento de emociones se beneficia de un modelado temporal más rico (convolucional o basado en TSFM).
• Viabilidad de los TSFM: Aunque no fue adaptado específicamente para EEG, el TSFM preentrenado (MOMENT) sirve como un extractor de características temporales efectivo. Esto sugiere que las representaciones de series temporales de propósito general pueden transferirse como extractores congelados dentro de los modelos fundacionales de EEG.
• Limitaciones: Los autores señalan que el entorno de transferencia congelada puede limitar la capacidad del modelo para capturar plenamente la dinámica temporal específica de las señales de EEG, y que las conclusiones generales están limitadas por el alcance de la evaluación. Se propone trabajo futuro para investigar la adaptación de los TSFM durante el preentrenamiento y su evaluación en un rango más amplio de tareas.