Single-Channel EEG-Based Cognitive Load Assessment in Online Learning: A Hybrid Deep Learning Approach

Resumen Técnico: Evaluación de la Carga Cognitiva Basada en EEG de Canal Único en el Aprendizaje en Línea

Planteamiento del Problema
La transición hacia la educación en línea ha eliminado las pistas visuales de las que los instructores dependen para evaluar la comprensión y la carga cognitiva de los estudiantes. Aunque la electroencefalografía (EEG) ofrece una solución potencial para el monitoreo continuo, los enfoques existentes suelen requerir configuraciones de múltiples canales complejas y grandes conjuntos de datos, lo que limita su aplicabilidad en entornos educativos del mundo real. Además, los conjuntos de datos pequeños en la investigación de EEG frecuentemente conducen al sobreajuste y a estimaciones de precisión excesivamente optimistas cuando los protocolos de evaluación no separan estrictamente a los sujetos de entrenamiento y de prueba. Este estudio aborda la viabilidad de utilizar un dispositivo de EEG de canal único y de consumo (NeuroSky MindWave Mobile 2) para distinguir entre contenido educativo fácil y difícil, abordando rigurosamente los desafíos de la generalización con muestras pequeñas.

Metodología
El estudio utiliza un conjunto de datos públicamente disponible de Wang et al. [24], que originalmente comprendía diez alumnos viendo videos educativos de diversas dificultades. Tras excluir a un sujeto debido al ruido excesivo en la señal, el análisis se centra en nueve sujetos (90 ensayos). Los datos incluyen formas de onda de canal único sin procesar muestreadas a ~512 Hz y métricas derivadas en el dispositivo.

• Ingeniería de Características: El enfoque emplea una estrategia de doble entrada.

  1. Forma de Onda Sin Procesar: Segmentos de EEG sin procesar y normalizados que se introducen en una rama convolucional.
  2. Características de Potencia de Banda: Una secuencia de vectores de potencia relativa (bandas Delta, Theta, Alpha, Beta) computados sobre subventanas que se introducen en una rama recurrente.
  3. Características de Línea Base: Se utilizaron descriptores tradicionales en el dominio del tiempo (media, varianza, asimetría, curtosis, cruces por cero, etc.) para los baselines de clasificadores convencionales.

• Arquitectura del Modelo: Los autores proponen un modelo híbrido CNN+LSTM+Attention.

  • La Rama Convolucional utiliza convolución 1D, max-pooling y normalización por lotes para extraer patrones temporales locales de la forma de onda sin procesar.
  • La Rama Recurrente utiliza redes de Memoria de Corto Plazo de Longitud (LSTM) apiladas para modelar dependencias de largo alcance en la secuencia de potencia de banda.
  • Mecanismos de Atención: Se aplican capas de atención aditiva (softmax sobre los pasos de tiempo) a cada rama para reponderar y agrupar características basadas en su capacidad informativa.
  • Fusión: Las salidas se concatenan y se pasan a través de una capa totalmente conectada con normalización por lotes, dropout y regularización L2 antes de una salida sigmoide binaria.

• Entrenamiento y Regularización: Para mitigar el sobreajuste en el pequeño conjunto de datos, los autores implementaron dropout, regularización L2 y parada temprana (early stopping). Compararon varios tamaños de ventana (25, 50 y 100 muestras) para determinar la granularidad temporal óptima.

• Protocolo de Evaluación:

  • Intra-sujeto (Within-Subject): Validación cruzada estándar donde las ventanas del mismo sujeto aparecen tanto en el conjunto de entrenamiento como en el de prueba.
  • Independiente del Sujeto (Propuesto como Estándar): Los autores argumentan que la validación cruzada de dejar un sujeto fuera (Leave-One-Subject-Out o LOSO) es la verdadera prueba de generalización, donde ningún alumno aparece tanto en el entrenamiento como en la prueba. Proporcionaron un pipeline reproducible para facilitar esta evaluación.

Resultados Clave

• Rendimiento de la Línea Base: Los clasificadores de aprendizaje automático convencionales (Random Forest, XGBoost, SVM, etc.) utilizando características diseñadas manualmente lograron precisiones modestas, que oscilaron entre el 25% y el 55%, siendo la mejor precisión de la etiqueta definida por el usuario de aproximadamente el 55%.
• Rendimiento del Modelo Híbrido:
  • En un entorno intra-sujeto, el modelo híbrido CNN+LSTM+Attention alcanzó una precisión máxima del 78.5% (usando una ventana de 50 muestras).
  • Sin regularización, el modelo exhibió un sobreajuste significativo, con la precisión de entrenamiento divergiendo de la precisión de validación.
  • Con regularización (dropout y L2), la precisión de validación se estabilizó entre el 68% y el 73%, superando significativamente a los baselines convencionales.
• Visualización Cualitativa: Los autores desarrollaron una herramienta que visualiza la carga cognitiva estimada como un mapa de calor sobre la línea de tiempo del video, demostrando la capacidad del sistema para identificar segmentos potencialmente desafiantes cualitativamente.

Significancia y Reivindicaciones
El artículo enmarca este trabajo explícitamente como un estudio de viabilidad más que como un sistema desplegable. Los autores enfatizan varios puntos críticos respecto a la significancia de sus hallazgos:

1. Viabilidad de Hardware de Consumo: El estudio demuestra que un dispositivo de EEG de canal único y bajo costo puede distinguir estados de carga cognitiva con una precisión sustancialmente mayor que los clasificadores convencionales basados en características cuando se combina con una arquitectura de aprendizaje profundo híbrida.
2. Cautela Metodológica: Los autores argumentan que la evaluación intra-sujeto es inherentemente optimista para esta tarea. Afirman que la evaluación independiente del sujeto (LOSO) debe ser el estándar para juzgar si tales sistemas se generalizan a nuevos alumnos. Por consiguiente, no presentan los resultados de LOSO como una métrica resuelta, sino que proporcionan el código y el protocolo para que otros reproduzcan esta evaluación rigurosa.
3. Ciencia Abierta: El trabajo contribuye con una herramienta abierta basada en notebooks que registra el EEG, ejecuta la inferencia y visualiza los resultados, junto con un pipeline de evaluación reproducible que incluye baselines de azar, pruebas de significancia de permutación de etiquetas y ablaciones de ramas.

En conclusión, aunque el modelo muestra promesa para identificar contenido difícil dentro de sujetos conocidos, los autores mantienen una postura cautelosa, destacando que el tamaño pequeño del conjunto de datos y la naturaleza de canal único de los datos limitan las afirmaciones de fiabilidad clínica o de aula sin una validación adicional independiente del sujeto.