Resumen Técnico: STAMP: Adaptador Espacio-Temporal con Agrupación de Múltiples Cabezales

Declaración del Problema

Los modelos fundacionales de series temporales (TSFMs), preentrenados en dominios diversos, han demostrado un rendimiento sólido en diversas tareas de modelado. Simultáneamente, se han desarrollado modelos fundacionales específicos para datos de electroencefalografía (EEGFMs) para capturar las características espacio-temporales únicas de la actividad eléctrica cerebral. Sin embargo, no se ha realizado un análisis comparativo entre los TSFMs generales y los modelos fundacionales específicos para EEG en tareas de EEG. Además, mientras que los EEGFMs suelen incorporar arquitecturas complejas para modelar dependencias espaciales y temporales, los TSFMs generales típicamente tratan las entradas como series temporales univariadas, lo que los hace naturalmente ineficaces para tareas de EEG, donde las relaciones espaciales entre canales y la evolución temporal son críticas. La aplicación ingenua de TSFMs a datos de EEG (por ejemplo, utilizando una agrupación media simple) produce un rendimiento cercano al aleatorio.

Metodología

Los autores introducen STAMP (Adaptador Espacio-Temporal con Agrupación de Múltiples Cabezales), un adaptador ligero y flexible diseñado para situarse encima de TSFMs de propósito general para habilitar un modelado efectivo de EEG. STAMP aprovecha las incrustaciones univariadas producidas por un TSFM congelado y modela implícitamente las características espacio-temporales de los datos de EEG a través de tres componentes principales:

1. Codificaciones Posicionales (PEs): Para abordar la falta de contexto espacial y temporal en las incrustaciones estándar de TSFM, STAMP añade incrustaciones posicionales aprendibles. Estas incluyen incrustaciones posicionales por token ($p_{ij}$), incrustaciones por espacio ($s_i$) y incrustaciones por tiempo ($t_j$). La incrustación modificada se calcula como $\tilde{e}_{ij} = e'_{ij} + p_{ij} + s_i + t_j$, donde $e'_{ij}$ es la incrustación del TSFM con reducción de dimensionalidad. Los estudios de ablación indican que el uso de los tres tipos de codificaciones produce el mejor rendimiento.

2. MLP de Puerta Cruzada (CC-GMLP): Para capturar relaciones a través de la cuadrícula espacio-temporal, STAMP emplea una arquitectura novedosa de CC-GMLP inspirada en el Transformador de Cruce (CC-TF) y los MLPs de Puerta (GMLP). Este módulo separa el modelado de relaciones espaciales y temporales. Procesa la cuadrícula de entrada $\tilde{E}$ a través de una serie de bloques donde las unidades de puerta temporal ($g_T$) y espacial ($g_S$) operan independientemente a lo largo de sus respectivos ejes antes de la concatenación. Esto permite un aprendizaje eficiente en parámetros de relaciones entre canales independientes de la evolución temporal específica de la señal.

3. Agrupación de Atención de Múltiples Cabezales (MHAP): Para agrupar las incrustaciones de tokens mezcladas para una predicción final, STAMP utiliza MHAP. Este mecanismo aprende a ponderar la importancia de cada token con respecto a la tarea final. Proyecta los tokens en espacios de menor dimensión, calcula puntuaciones de atención contra vectores de consulta y agrupa los resultados. Un paso final de agregación a través de las consultas determina la importancia general de cada cabeza, produciendo un vector de resumen. Esto se combina con una conexión residual hacia la media de las incrustaciones de tokens mezclados antes de una proyección lineal final.

El adaptador se entrena encima de un TSFM congelado (principalmente MOMENT Large, pero también probado con MOMENT Small/Base, Chronos y TSPulse). El número total de parámetros entrenables en STAMP es aproximadamente 750.000, una fracción de los millones de parámetros encontrados en los EEGFMs típicos.

Contribuciones Clave

• Primer Análisis Comparativo: El artículo proporciona el primer análisis comparativo de modelos fundacionales específicos para EEG frente a TSFMs generales en tareas específicas de EEG.
• Arquitectura de Adaptador Novel: La introducción de STAMP, que adapta con éxito las incrustaciones univariadas de TSFM para datos de EEG multivariados espacio-temporales sin requerir que el TSFM sea reentrenado con datos de EEG.
• Eficiencia: STAMP logra un rendimiento comparable a los EEGFMs más avanzados (como CBraMod y LaBraM) mientras utiliza significativamente menos parámetros entrenables (aprox. 0,74M frente a 29M para CBraMod y 5,8M para LaBraM).
• Evaluación Exhaustiva: El método se evalúa en 8 conjuntos de datos de referencia de EEG que cubren diversas tareas clínicas, incluyendo imaginación motora, aritmética mental, reconocimiento de emociones y clasificación de eventos.

Resultados

• Rendimiento frente a Líneas Base: STAMP produce un rendimiento similar o superior al de los EEGFMs (CBraMod, LaBraM) y supera estrictamente a los modelos de EEG no fundacionales (EEG Conformer, ST-Transformer) en la mayoría de los conjuntos de datos.
• Estudios de Ablación:
  • Codificación Posicional: La inclusión de los tres tipos de codificación posicional (token, espacial, temporal) mejoró consistentemente el rendimiento, siendo la exclusión de las PEs la que produjo los peores resultados.
  • Mezcla de Tokens: La arquitectura CC-GMLP superó tanto a la mezcla básica GMLP como a las estrategias de mezcla basadas en Transformadores (B-TF, CC-TF) en todos los conjuntos de datos.
  • Agregación de Tokens: Aunque MHAP y la agrupación media produjeron un rendimiento similar en la mayoría de los conjuntos de datos, MHAP proporcionó un impulso significativo en el rendimiento en el conjunto de datos BCIC-IV-2a, sugiriendo su utilidad para capturar relaciones complejas entre tokens.
• Compatibilidad con TSFM: STAMP funcionó bien con incrustaciones de varios TSFMs (MOMENT, Chronos, TSPulse), incluso aquellos no preentrenados con datos de EEG (Chronos, TSPulse), demostrando la generalizabilidad del adaptador.
• Limitaciones: STAMP mostró un rendimiento inferior en comparación con otros métodos en conjuntos de datos de reconocimiento de emociones (SEED-V y FACED). Los autores hipotetizan que los TSFMs actuales pueden no extraer características relevantes para el reconocimiento de emociones de grano fino, ya que el rendimiento no mejoró significativamente incluso al cambiar a incrustaciones de Chronos.

Significado y Afirmaciones

El artículo afirma que STAMP demuestra que los modelos fundacionales de series temporales de propósito general pueden adaptarse eficazmente para tareas de EEG con parámetros adicionales entrenables mínimos. Los autores argumentan que, aunque los TSFMs pueden parecer tener un rendimiento inferior en comparación con los EEGFMs "directamente de la caja", relativamente pocas adaptaciones, específicamente la adición de codificaciones posicionales y una estrategia de mezcla de tokens, son suficientes para lograr resultados competitivos.

El significado radica en el potencial para reducir el costo y el tiempo de desarrollo de soluciones de EEG aprovechando TSFMs preentrenados existentes y a gran escala, en lugar de entrenar modelos fundacionales masivos y específicos de dominio desde cero. Los autores señalan que, aunque generar incrustaciones iniciales requiere recursos computacionales, esto puede hacerse de antemano y en paralelo. Concluyen que STAMP ofrece una vía flexible y eficiente en parámetros para modelar datos de EEG, aunque reconocen que se necesita más exploración para tareas donde los TSFMs actuales tienen dificultades, como el reconocimiento de emociones de grano fino.