Resumen Técnico: Interpretación de Transformers Fundacionales de EEG con LRP

Declaración del Problema

La adopción de Modelos Fundacionales (MF) en electroencefalografía (EEG) ofrece una solución potencial a la escasez de datos en diagnósticos de aprendizaje profundo e interfaces cerebro-computadora (ICC). Sin embargo, la naturaleza "opaca" de estos modelos, especialmente aquellos basados en arquitecturas Transformer, obstaculiza su adopción más amplia y la confianza clínica. Si bien los métodos de atribución de características como la Propagación de Relevancia por Capas (LRP) se han aplicado con éxito a redes neuronales convolucionales (CNN) y perceptrones multicapa (MLP) en EEG, su aplicación a los modernos MF de EEG basados en Transformer permanece inexplorada. El desafío central es determinar si la LRP puede sondear eficazmente los procesos de decisión de estos modelos complejos para verificar su validez o descubrir estrategias de aprendizaje espurias (por ejemplo, efectos de "Clever Hans") sin depender de etiquetas de verdad fundamental para cada tarea.

Metodología

Los autores proponen la aplicación de LRP consciente de la atención [8] al modelo LaBraM [2], un Modelo Fundacional de EEG prominente. La metodología involucra tres componentes principales:

1. Configuración del Modelo: El estudio evalúa a LaBraM bajo tres configuraciones para aislar los efectos del preentrenamiento:

   • Ajuste fino (Finetuned): Enfoque estándar donde se adapta todo el modelo.
   • Congelado (Frozen): La columna vertebral preentrenada se congela, con solo una cabeza de clasificación entrenable.
   • Desde cero (From Scratch): Inicialización aleatoria sin preentrenamiento.
     Cada configuración se entrena cinco veces para tener en cuenta la variabilidad en el abandono (dropout), la inicialización y el muestreo de datos.

2. Atribución y Visualización:

   • Se aplica LRP para generar puntuaciones de relevancia para cada elemento de entrada (paso de tiempo y canal) para cada decisión de clasificación.
   • Para gestionar la alta dimensionalidad de los datos de EEG ($n_{canales} \times t_{entrada}$) y el volumen de puntuaciones generadas, los autores emplean una estrategia de agregación. Agregan las atribuciones a lo largo del tiempo para analizar patrones espaciales (topografía) y a través de los canales para analizar patrones temporales.
   • Las visualizaciones espaciales utilizan la coloración discreta de celdas de Voronoi para preservar la topología de los electrodos, evitando la distorsión de los mapas de calor rectangulares.

3. Paradigmas Experimentales:

   • Detección de Pico-R (Validación): Una tarea de clasificación binaria que predice artefactos del campo cardíaco (CFA) en EEG crudo. Esto sirve como validación de verdad fundamental porque la fuente fisiológica (corazón) y la ubicación esperada del electrodo (Iz) son conocidas.
   • PhysioMI L/R (Paradigma Establecido): Una tarea de imaginación/ejecución motora (puño izquierdo vs. derecho) utilizando el conjunto de datos PhysioNet. Esto prueba la capacidad del modelo para generalizar y revela un posible aprendizaje de atajos.
   • AffectiveVR (Exploratorio): Un paradigma naturalista que predice la activación (arousal) y la valencia subjetivas durante una experiencia de realidad virtual. Esta tarea carece de una verdad fundamental clara, sirviendo como campo de pruebas para la generación de hipótesis exploratorias.

Contribuciones Clave

El artículo hace tres contribuciones específicas:

1. Validación de LRP en MF de EEG: Demuestra por primera vez que la LRP consciente de la atención produce atribuciones plausibles en Transformers fundamentales de EEG. Esto se valida contra la tarea de detección de Pico-R, donde la relevancia se concentra correctamente en el electrodo Iz, el sitio más cercano al corazón.
2. Detección de Comportamiento Espurio: El método identifica con éxito el comportamiento "Clever Hans" en modelos de imaginación motora. Revela que los modelos con mala generalización dependen en gran medida de artefactos oculares (movimiento de los ojos) en lugar de señales de la corteza motora, explotando probablemente pistas visuales del diseño experimental.
3. Exploración de Hipótesis Novedosas: En ausencia de intuición establecida para estados afectivos complejos, los autores caracterizan la promesa y los límites únicos de la LRP. Identifican un patrón recurrente y biológicamente plausible de relevancia de electrodos centrales (C2, Cz, FC2, CP2) en la predicción de la activación, sugiriendo una firma sensoriomotora novedosa de la activación distinta de la valencia.

Resultados

• Rendimiento:
  • Detección de Pico-R: El LaBraM ajustado fino logró una precisión equilibrada (BAC) de ~75%, confirmando que el modelo aprende la señal fisiológica correcta.
  • PhysioMI L/R: El rendimiento fue mixto. Dos de las cinco ejecuciones ajustadas finamente lograron >70% de BAC, mientras que otras se desempeñaron cerca de la adivinanza aleatoria. Crucialmente, los mapas de atribución distinguieron estos grupos: las ejecuciones exitosas mostraron patrones temporales-frontales lateralizados, mientras que las ejecuciones fallidas se centraron en regiones oculares.
  • AffectiveVR: Todos los modelos (ajustado fino, desde cero, congelado) y la línea base CSP-LDA se desempeñaron de manera similar, con BACs alrededor del 55% (ligeramente por encima de la línea base aleatoria del 50% para clasificación binaria por división mediana).
• Patrones de Atribución:
  • Inversión de Signo: Los patrones fueron consistentes en estructura espacial pero ocasionalmente invertidos en signo (coloración reversa), lo cual no afecta la magnitud de la relevancia.
  • Imaginación Motora: Los modelos exitosos mostraron patrones lateralizados, pero incluso estos se centraron en electrodos temporales más cercanos a las regiones de movimiento ocular que a las regiones motoras de la mano, sugiriendo una dependencia de movimientos oculares correlacionados con la tarea en lugar de firmas motoras neuronales puras.
  • Activación vs. Valencia: La predicción de activación destacó consistentemente un grupo de electrodos centrales (corteza sensoriomotora), potencialmente vinculado a potenciales de preparación modulados por el contexto emocional. Este patrón estuvo ausente en la predicción de valencia, respaldando la hipótesis de que es una firma específica de la activación y no un artefacto general de decodificación motora.
  • Predicción de Valencia: Los patrones fueron menos consistentes con la literatura establecida y mostraron ambigüedad, destacando la dificultad de interpretar mapas de calor en dominios de baja intuición donde los artefactos espurios (por ejemplo, EMG de músculos faciales) son difíciles de distinguir de las señales neuronales.

Significado y Afirmaciones

El artículo posiciona a la LRP como una herramienta de doble propósito para MF de EEG: verificación y exploración.

• Verificación: La LRP puede validar que los modelos están aprendiendo las señales fisiológicas previstas (como se ve en la detección de Pico-R) y exponer el sobreajuste o el aprendizaje de atajos (como se ve en la dependencia ocular de los modelos de imaginación motora fallidos). Esto es crítico en EEG, donde las señales no son directamente interpretables y el aprendizaje de atajos ha invalidado históricamente líneas de investigación.
• Exploración: Al traducir representaciones aprendidas en hipótesis neurocientíficas, la LRP puede revelar relaciones novedosas y biológicamente plausibles (por ejemplo, la firma sensoriomotora central en la activación). Los autores afirman que esto mueve la investigación de MF de EEG más allá del rendimiento predictivo puro hacia la comprensión de las relaciones cerebro-conducta.

Limitaciones y Modestia:
Los autores reconocen explícitamente tres advertencias:

1. Interpretabilidad: La interpretación de mapas de calor en EEG sigue siendo subjetiva y requiere experiencia en el dominio; las estrategias sin sentido son más difíciles de identificar que en imágenes naturales.
2. Base Metodológica: La elección de la LRP se basa en comparaciones realizadas en modelos no Transformer; se necesitan medidas adicionales de fidelidad (por ejemplo, AOPC) en MF de EEG.
3. Capacidad del Modelo: La falta de ganancias de rendimiento consistentes sobre modelos "desde cero" o especializados (como CSP-LDA) sugiere que los MF de EEG actuales aún no han aprovechado plenamente su "comprensión subyacente" del EEG. En consecuencia, el potencial de descubrimiento de la LRP está actualmente restringido por las capacidades de los modelos subyacentes.

El artículo concluye que, si bien la LRP es una herramienta poderosa para la trayectoria del desarrollo de MF de EEG, su utilidad para la implementación clínica o el descubrimiento definitivo está actualmente limitada por la madurez de los propios modelos fundamentales.