What Causes Performance Degradation in Cross-Subject EEG Classification?

Título: ¿Qué causa la degradación del rendimiento en la clasificación de EEG entre sujetos?

1. El Problema

La clasificación de electroencefalograma (EEG) entre sujetos (cross-subject) es fundamental para interfaces cerebro-computadora (BCI) y análisis clínico, ya que los modelos deben generalizar a sujetos no vistos durante el entrenamiento. Sin embargo, se observa consistentemente que el rendimiento en configuraciones independientes del sujeto (donde los sujetos de entrenamiento y prueba son disjuntos) es significativamente menor que en configuraciones dependientes del sujeto (donde hay superposición de sujetos).

Aunque la literatura atribuye comúnmente esta caída al variabilidad inter-sujeto (diferencias anatómicas, colocación de electrodos, patrones de actividad), los autores argumentan que esta explicación es insuficiente, especialmente para ciertos tipos de tareas. El problema central es identificar los mecanismos subyacentes específicos que causan esta degradación y diferenciarlos según la formulación de la tarea.

2. Metodología

Los autores diseñaron una serie de experimentos controlados utilizando el modelo de aprendizaje profundo EEGConformer y tres conjuntos de datos públicos (mTBI-ODD, ADFTD, AOPD). La metodología se basó en comparar dos tipos de tareas de EEG:

• Tareas Multi-Clase por Sujeto (MCPS): Un sujeto transita entre múltiples estados de clase (ej. imaginación motora, reconocimiento de emociones). Ejemplo: mTBI-ODD y la parte de estímulos de AOPD.
• Tareas de Una sola Clase por Sujeto (SCPS): Cada sujeto tiene una etiqueta fija que no cambia con el tiempo (ej. detección de enfermedades como Alzheimer o Parkinson). Ejemplo: ADFTD y la parte de detección de PD de AOPD.

Experimentos Clave:

1. Evaluación Independiente vs. Dependiente del Sujeto: Se midió la caída de rendimiento al pasar de un esquema donde los sujetos se repiten en entrenamiento/prueba a uno donde son disjuntos.
2. Control de Confundidores de Datos: Se utilizó el conjunto de datos AOPD (que contiene tanto tareas MCPS como SCPS) para aislar el efecto de la formulación de la tarea de las diferencias entre conjuntos de datos.
3. Experimento de Discriminación de Sujeto: Se entrenó un modelo para clasificar la identidad del sujeto (ID) directamente. Esto verificó si las señales de EEG contienen características fuertes y distinguibles de cada individuo.
4. Experimento de Permutación de Etiquetas: Se alteraron las etiquetas de las clases para eliminar la información real de la tarea mientras se mantenía la distribución marginal:
   • En SCPS, se permutaron las etiquetas a nivel de sujeto (asignando una etiqueta aleatoria fija a todo un sujeto).
   • En MCPS, se permutaron las etiquetas a nivel de muestra (desacoplando la señal de la etiqueta dentro del mismo sujeto).
   • Objetivo: Si el modelo mantiene un alto rendimiento tras la permutación, significa que está aprendiendo un "atajo" (shortcut) basado en la identidad del sujeto en lugar de características de la tarea.

3. Contribuciones Clave

• Identificación de dos mecanismos distintos: Se demuestra que la degradación del rendimiento no es un fenómeno monolítico, sino que depende de la formulación de la tarea:
  • En MCPS, la degradación se debe principalmente a la variabilidad inter-sujeto (cambio de dominio).
  • En SCPS, la degradación se debe principalmente al aprendizaje de atajos (shortcut learning) basado en características específicas del sujeto.
• Crítica a los protocolos de evaluación: Se evidencia que las evaluaciones dependientes del sujeto en tareas SCPS sobreestiman drásticamente el rendimiento real, ya que el modelo puede simplemente memorizar la identidad del sujeto en lugar de aprender patrones neurológicos relevantes.
• Analogía visual: Se propone una analogía con la clasificación de imágenes (estilo vs. contenido) para ilustrar cómo el modelo aprende a mapear el "estilo" (identidad del sujeto) a la etiqueta en lugar del "contenido" (la tarea real).

4. Resultados

• Caída de Rendimiento:
  • En tareas MCPS, la caída al pasar a evaluación independiente fue mínima (ej. -1.86% en F1 en mTBI-ODD).
  • En tareas SCPS, la caída fue catastrófica (ej. -49.77% en F1 en ADFTD y -30.66% en AOPD).
• Discriminación de Sujeto: El modelo logró clasificar la identidad del sujeto con un 98.59% de precisión (F1), demostrando que las señales de EEG contienen características de identidad muy fuertes que el modelo puede explotar.
• Experimento de Permutación (La prueba definitiva):
  • MCPS: Tras permutar las etiquetas, el rendimiento cayó al nivel del azar (~50%). Esto confirma que en MCPS, el modelo necesita las características de la tarea y no puede usar la identidad del sujeto como atajo.
  • SCPS (Dependiente del Sujeto): Tras permutar las etiquetas, el rendimiento se mantuvo alto (~98%). Esto demuestra que el modelo estaba ignorando la tarea y simplemente memorizando qué etiqueta estaba asociada a qué sujeto.
  • SCPS (Independiente del Sujeto): Tras permutar las etiquetas, el rendimiento colapsó al azar (~50%). Esto confirma que, sin la superposición de sujetos, el modelo no tiene atajos disponibles y falla si no ha aprendido características reales de la tarea.

5. Significado e Implicaciones

• Reevaluación de la literatura: Muchos estudios en detección de enfermedades cerebrales (SCPS) pueden estar reportando métricas engañosamente altas debido a fugas de información a través de la identidad del sujeto.
• Diseño de Protocolos: Es imperativo utilizar evaluaciones independientes del sujeto para tareas SCPS para obtener una estimación realista de la generalización.
• Futuras Direcciones:
  • Desarrollar métodos de aprendizaje que disocien las características de identidad del sujeto de las características relevantes para la tarea durante el entrenamiento.
  • Explorar soluciones a nivel de datos (más sujetos, modelos fundacionales pre-entrenados) para mitigar el aprendizaje de atajos.
  • Investigar la naturaleza temporal de estas características de identidad (¿persisten a lo largo de sesiones separadas por días?).

En conclusión, el artículo establece que la brecha de rendimiento en EEG entre sujetos no es solo un problema de variabilidad biológica, sino un problema fundamental de diseño de aprendizaje automático donde los modelos explotan correlaciones espurias (identidad del sujeto) en tareas con etiquetas fijas por sujeto.