Single-Channel EEG-Based Cognitive Load Assessment in Online Learning: A Hybrid Deep Learning Approach

Resumo Técnico: Avaliação da Carga Cognitiva Baseada em EEG de Canal Único em Aprendizagem Online

Definição do Problema
A transição para o ensino online eliminou as pistas visuais das quais os instrutores dependem para avaliar a compreensão e a carga cognitiva dos alunos. Embora a Eletroencefalografia (EEG) ofereça uma solução potencial para o monitoramento contínuo, as abordagens existentes frequentemente exigem configurações de múltiplos canais complexas e grandes conjuntos de dados, limitando sua aplicabilidade em cenários educacionais do mundo real. Além disso, conjuntos de dados pequenos em pesquisas de EEG frequentemente levam ao sobreajuste (overfitting) e a estimativas de precisão excessivamente otimistas quando os protocolos de avaliação não separam rigorosamente os sujeitos de treinamento e teste. Este estudo aborda a viabilidade do uso de um dispositivo de EEG de canal único, de nível de consumo (NeuroSky MindWave Mobile 2), para distinguir entre conteúdos de vídeo educacionais fáceis e difíceis, enquanto aborda rigorosamente os desafios da generalização de amostras pequenas.

Metodologia
O estudo utiliza um conjunto de dados publicamente disponível de Wang et al. [24], composto originalmente por dez alunos assistindo a vídeos educacionais de diferentes níveis de dificuldade. Após excluir um sujeito devido ao excesso de ruído no sinal, a análise foca em nove sujeitos (90 tentativas). Os dados incluem formas de onda brutas de canal único amostradas a aproximadamente 512 Hz e métricas derivadas internamente (on-board).

• Engenharia de Atributos (Feature Engineering): A abordagem emprega uma estratégia de entrada dupla.

  1. Forma de Onda Bruta: Segmentos brutos de EEG normalizados são inseridos em um ramo convolucional.
  2. Atributos de Potência de Banda (Band-Power Features): Uma sequência de vetores de potência relativa (bandas Delta, Theta, Alpha, Beta) computados sobre subjanelas é inserida em um ramo recorrente.
  3. Atributos de Linha de Base (Baseline Features): Descritores tradicionais no domínio do tempo (média, variância, assimetria, curtose, cruzamentos por zero, etc.) foram usados para baselines de classificadores convencionais.

• Arquitetura do Modelo: Os autores propõem um modelo híbrido CNN+LSTM+Attention.

  • O Ramo Convolucional utiliza convolução 1D, max-pooling e normalização por lote (batch normalization) para extrair padrões temporais locais da forma de onda bruta.
  • O Ramo Recorrente utiliza redes Long Short-Term Memory (LSTM) empilhadas para modelar dependências de longo alcance na sequência de potência de banda.
  • Mecanismos de Atenção: Camadas de atenção aditiva (softmax sobre passos de tempo) são aplicadas a cada ramo para reponderar e agrupar atributos com base na informatividade.
  • Fusão: As saídas são concatenadas e passadas por uma camada totalmente conectada, com normalização por lote, dropout e regularização L2, antes de uma saída sigmoide binária.

• Treinamento e Regularização: Para mitigar o sobreajuste em conjuntos de dados pequenos, os autores implementaram dropout, regularização L2 e interrupção precoce (early stopping). Eles compararam várias janelas de tamanho (25, 50 e 100 amostras) para determinar a granularidade temporal ideal.

• Protocolo de Avaliação:

  • Dentro do Sujeito (Within-Subject): Validação cruzada padrão onde as janelas do mesmo sujeito aparecem tanto nos conjuntos de treinamento quanto nos de teste.
  • Independente de Sujeito (Padrão Proposto): Os autores argumentam que a validação cruzada Leave-One-Subject-Out (LOSO) é o verdadeiro teste de generalização, onde nenhum aluno aparece tanto no treinamento quanto no teste. Eles disponibilizaram um pipeline reproduzível para facilitar essa avaliação rigorosa.

Principais Resultados

• Desempenho de Baseline: Classificadores de aprendizado de máquina convencionais (Random Forest, XGBoost, SVM, etc.) usando atributos manuais alcançaram acurácias modestas, variando de 25% a 55%, com a melhor acurácia do rótulo definido pelo usuário em aproximadamente 55%.
• Desempenho do Modelo Híbrido:
  • Em um cenário dentro do sujeito, o modelo híbrido CNN+LSTM+Attention alcançou um pico de acurácia de 78,5% (usando uma janela de 50 amostras).
  • Sem regularização, o modelo exibiu sobreajuste significativo, com a acurácia de treinamento divergindo da acurácia de validação.
  • Com regularização (dropout e L2), a acurácia de validação estabilizou entre 68% e 73%, superando significativamente os baselines convencionais.
• Visualização Qualitativa: Os autores desenvolveram uma ferramenta que visualiza a carga cognitiva estimada como um mapa de calor sobre a linha do tempo do vídeo, demonstrando a capacidade do sistema de identificar segmentos potencialmente desafiadores qualitativamente.

Significância e Alegações
O artigo enquadra este trabalho explicitamente como um estudo de viabilidade, e não como um sistema pronto para implantação. Os autores enfatizam vários pontos críticos sobre a significância de seus achados:

1. Viabilidade de Hardware de Consumo: O estudo demonstra que um dispositivo de EEG de canal único e baixo custo pode distinguir estados de carga cognitiva com acurácia substancialmente superior aos classificadores baseados em atributos convencionais quando pareado com uma arquitetura de aprendizado profundo híbrida.
2. Cautela Metodológica: Os autores argumentam que a avaliação dentro do sujeito é inerentemente otimista para esta tarefa. Eles afirmam que a avaliação independente de sujeito (LOSO) deve ser o padrão para julgar se tais sistemas se generalizam para novos alunos. Consequentemente, eles não apresentam os resultados de LOSO como uma métrica resolvida, mas fornecem o código e o protocolo para que outros reproduzam essa avaliação rigorosa.
3. Ciência Aberta: O trabalho contribui com uma ferramenta baseada em notebook que registra o EEG, executa inferência e visualiza resultados, juntamente com um pipeline de avaliação reproduzível que inclui baselines de chance, testes de significância de permutação de rótulos e ablações de ramos.

Em conclusão, embora o modelo mostre promessa na identificação de conteúdo difícil dentro de sujeitos conhecidos, os autores mantêm uma postura cautelosa, destacando que o tamanho pequeno do conjunto de dados e a natureza de canal único dos dados limitam as alegações de confiabilidade clínica ou de sala de aula sem validação adicional independente de sujeito.