Beyond Accuracy: Robustness, Interpretability and Expressiveness of EEG Foundation Models

Título: Más allá de la precisión: Robustez, interpretabilidad y expresividad de los modelos fundacionales de EEG

Enunciado del problema
Los Modelos Fundacionales de Electroencefalografía (EEG-FMs) han surgido como un enfoque prometedor para las Interfaces Cerebro-Computadora (BCI), con el objetivo de aprender representaciones de propósito general a partir de grandes corpus no etiquetados mediante auto-supervisión. Sin embargo, las evaluaciones actuales de estos modelos se limitan predominantemente a métricas de precisión "limpias" y dentro de la distribución. Este enfoque pasa por alto factores críticos para el despliegue en el mundo real: el ruido inherente de las señales de EEG (debido a la impedancia de los electrodos, el movimiento y los artefactos ambientales), la necesidad de interpretabilidad en dominios clínicos de alto riesgo y la calidad real de las representaciones aprendidas. Benchmarks anteriores han demostrado que los EEG-FMs a menudo ofrecen ganancias marginales sobre líneas base supervisadas como EEGNet, pero las causas raíz, ya sea una pobre robustez, un aprendizaje de características desalineado o representaciones preentrenadas de baja calidad, permanecen sin examinar.

Metodología
Los autores realizaron un estudio de benchmarking sistemático que involucró a seis EEG-FMs de última generación (BIOT, CBraMod, LaBraM, NeuroRVQ, BrainOmni y REVE) y una línea base supervisada (EEGNet) en ocho conjuntos de datos diversos que abarcan imaginación motora, ejecución motora, potenciales relacionados con eventos (ERP), memoria de trabajo, estadificación del sueño y clasificación del estado ocular. El estudio empleó tres capas distintas de análisis:

1. Análisis de Robustez: Los modelos entrenados con datos limpios se evaluaron en el momento de la prueba bajo cinco condiciones de perturbación: ruido blanco y rosa aditivo (a diferentes relaciones señal-ruido), eliminación aleatoria de canales (relleno con ceros), eliminación de canales basada en regiones (relleno con ceros y eliminación real) e inyección de ruido específica de región.
2. Análisis de Interpretabilidad: El estudio aplicó la Propagación de Relevancia Capa por Capa Consciente de la Atención (AttnLRP) para atribuir las predicciones del modelo a regiones cerebrales específicas. Para los modelos donde AttnLRP fue numéricamente inestable (NeuroRVQ y BrainOmni), se utilizó Gradiente × Entrada (G×I). El análisis examinó si los modelos se centraban en regiones neurofisiológicamente plausibles y cómo cambiaban estos mapas de atención bajo perturbación.
3. Análisis de Expresividad: Mediante sondeo lineal por bloques, los autores investigaron dónde emerge la información relevante para la tarea dentro de la arquitectura del transformador (bloques tempranos vs. tardíos) y si las representaciones preentrenadas son suficientes para tareas posteriores. Se prestó una atención específica al impacto de las estrategias de agrupación (promedio de agrupación vs. aplanamiento de tokens) en el rendimiento de la adaptación de "solo cabeza" (columna vertebral congelada).

Resultados clave

• Robustez: Ningún modelo domina todos los modos de fallo.

  • Ruido: BrainOmni demostró la mayor robustez ante el ruido aditivo, perdiendo solo un 5,4 % de precisión a -5 dB en comparación con un 14–21 % para los demás.
  • Eliminación (Dropout): Paradójicamente, BrainOmni fue uno de los más frágiles bajo la eliminación aleatoria de canales cuando los canales se rellenaron con ceros (-13,3 % de degradación). Sin embargo, cuando los canales eliminados se eliminaron por completo (eliminación real) en lugar de rellenarse con ceros, los modelos de canales variables (incluido BrainOmni) se recuperaron significativamente, lo que sugiere que su fragilidad se debe al manejo de entradas con valor cero y no a una falta de información de la tarea.
  • Régimen: A niveles extremos de ruido, todos los modelos convergieron a un límite de rendimiento específico de la tarea, indicando un régimen limitado por la señal donde la arquitectura importa menos. A ruido moderado, las diferencias arquitectónicas siguieron siendo decisivas.

• Interpretabilidad:

  • Alineación espacial: Todos los modelos concentraron ampliamente la relevancia en regiones cerebrales apropiadas para la tarea (por ejemplo, electrodos centrales para tareas motoras, sitios occipitales para ERP), alineándose con la neurofisiología conocida.
  • Estabilidad ante perturbaciones: Bajo perturbación, los mapas de atribución permanecieron espacialmente estables incluso cuando la precisión de la predicción se degradó. Esto sugiere que los modelos continúan prestando atención a las regiones cerebrales correctas, pero fallan al decodificar el contenido de la señal corrupta.
  • Excepciones: BrainOmni produjo mapas de atención difusos, probablemente debido a su operación sobre tokens latentes abstractos en lugar de electrodos físicos.

• Expresividad:

  • Sondeo por bloques: Las señales linealmente decodificables relevantes para la tarea estaban presentes en los bloques tempranos de los modelos preentrenados. El ajuste fino reutilizó principalmente los bloques tardíos para especializarse en la tarea posterior, un patrón consistente con los hallazgos en transformadores de PLN.
  • Artefactos de agrupación: El pobre rendimiento previamente observado de la adaptación de "solo cabeza" para modelos como LaBraM y NeuroRVQ se atribuyó en gran medida a su uso de promedio de agrupación, que colapsa la información a nivel de token. Reemplazar el promedio de agrupación con aplanamiento de tokens mejoró significativamente el rendimiento de "solo cabeza" (ganancias de 14–21 %), acercando estos modelos a la línea base EEGNet. Esto indica que los EEG-FMs poseen una capacidad representacional suficiente cuando se preservan las incrustaciones a nivel de token.

Significado y afirmaciones
El artículo afirma proporcionar la primera evaluación sistemática de la robustez, la interpretabilidad y la expresividad para los modelos fundacionales de EEG. Los autores argumentan que:

1. La robustez depende de la tarea y la perturbación: Las clasificaciones del rendimiento del modelo cambian según el tipo de corrupción (ruido vs. eliminación) y la señal específica de la tarea.
2. Existe una base espacial pero es insuficiente: Aunque los modelos aprenden representaciones con base espacial consistentes con la neurofisiología, esto no garantiza una predicción fiel bajo corrupción.
3. Las estrategias de agrupación confunden la evaluación: La "baja calidad" percibida de las representaciones preentrenadas en configuraciones de "solo cabeza" a menudo es un artefacto del diseño de la agrupación (promedio de agrupación vs. aplanamiento) y no de las representaciones en sí mismas.
4. Direcciones futuras: El estudio destaca la necesidad de que las evaluaciones futuras utilicen agrupación basada en concatenación para evitar confundir el diseño de la agrupación con la calidad de la representación y considerar la eliminación real de canales en lugar del relleno con ceros al probar modelos de canales variables.

Los autores concluyen que, aunque los EEG-FMs muestran potencial, su desarrollo requiere una evaluación rigurosa más allá de la precisión limpia para garantizar la fiabilidad en entornos clínicos y de BCI en el mundo real.