What Causes Performance Degradation in Cross-Subject EEG Classification?

Título: O que Causa a Degradação de Desempenho na Classificação de EEG Cross-Subject?

1. Problema Investigado

A classificação de EEG (Eletroencefalograma) baseada em múltiplos sujeitos (cross-subject) é fundamental para interfaces cérebro-computador (BCI) e análise clínica, pois os modelos devem generalizar para sujeitos não vistos durante o treinamento. No entanto, observa-se consistentemente que o desempenho nesses cenários é significativamente inferior ao de configurações dependentes do sujeito (subject-dependent), onde dados de treino e teste podem vir do mesmo indivíduo.

Embora a existência dessa lacuna de desempenho seja conhecida, as causas subjacentes não foram sistematicamente estudadas. A literatura atribui geralmente essa queda à variabilidade inter-sujeito (diferenças anatômicas, posicionamento de eletrodos, padrões de atividade cerebral). O artigo questiona se essa variabilidade é a única causa, especialmente em tarefas onde cada sujeito possui apenas um rótulo fixo.

2. Metodologia

Os autores propõem uma distinção crítica entre dois tipos de tarefas de classificação de EEG:

• MCPS (Multi-Class-Per-Subject): Um único sujeito transita por múltiplos estados de classe ao longo do tempo (ex: imaginação motora, reconhecimento de emoção).
• SCPS (Single-Class-Per-Subject): Cada sujeito é atribuído a um rótulo fixo que não muda (ex: detecção de doenças como Alzheimer ou Parkinson).

Para investigar as causas da degradação, foram realizados experimentos controlados utilizando três conjuntos de dados públicos (mTBI-ODD, ADFTD, AOPD) e o modelo de rede neural EEGConformer. A metodologia envolveu:

1. Avaliação Comparativa: Comparação de desempenho entre configurações Subject-Dependent (amostras do mesmo sujeito em treino e teste) e Subject-Independent (sujeitos disjuntos entre treino e teste).
2. Controle de Confundidores: Uso do conjunto de dados AOPD, que contém tanto tarefas MCPS quanto SCPS, para isolar o efeito da formulação da tarefa versus diferenças no conjunto de dados.
3. Experimento de Discriminação de Sujeito: Treinamento de um modelo para classificar a identidade do sujeito (ID) diretamente a partir do sinal de EEG, para verificar se características específicas do sujeito são codificadas fortemente.
4. Experimento de Permutação de Rótulos:
   • Para SCPS: Permutação de rótulos ao nível do sujeito (mantendo a relação 1:1 entre sujeito e rótulo, mas destruindo a relação com a tarefa real).
   • Para MCPS: Permutação de rótulos ao nível da amostra (desacoplando totalmente o sinal da tarefa).
   • Objetivo: Se o modelo mantiver alto desempenho após a permutação, ele está aprendendo "atalhos" (shortcut learning) baseados na identidade do sujeito, e não na tarefa real.

3. Contribuições Principais

O artigo identifica que a degradação de desempenho não é unificada, mas sim causada por dois mecanismos distintos dependendo da tarefa:

1. Variabilidade Inter-Sujeito: É o fator dominante em tarefas MCPS. A diferença na distribuição dos sinais entre sujeitos causa uma mudança de domínio (domain shift).
2. Aprendizado de Atalho (Shortcut Learning): É o fator crítico em tarefas SCPS. Como cada sujeito tem um rótulo fixo, o modelo aprende a associar a "identidade do sujeito" (artefatos específicos, assinatura neural única) ao rótulo da doença, ignorando as características reais da tarefa.

4. Resultados Chave

• Queda de Desempenho:
  • Em tarefas MCPS (mTBI-ODD e AOPD), a transição de Subject-Dependent para Subject-Independent resultou em uma queda mínima de desempenho (aprox. 0,9% a 1,8% no F1-score).
  • Em tarefas SCPS (ADFTD e AOPD), a queda foi catastrófica, chegando a 49,77% no F1-score (de 97,66% para 47,89% no ADFTD).
• Discriminação de Sujeito: O modelo conseguiu classificar a identidade dos sujeitos com 98,59% de precisão (F1-score), demonstrando que o sinal de EEG contém informações robustas de identidade que podem ser exploradas como atalhos.
• Experimento de Permutação (A evidência crucial):
  • MCPS: Ao permutar os rótulos, o desempenho caiu para o nível de acaso (aleatório), confirmando que o modelo dependia das características da tarefa.
  • SCPS: Ao permutar os rótulos em configuração Subject-Dependent, o desempenho permaneceu alto (98,15%), provando que o modelo estava apenas memorizando a identidade do sujeito associada ao rótulo original. No entanto, em configuração Subject-Independent, o desempenho colapsou para o acaso (49,60%), pois a "memória" do sujeito não era mais válida.

5. Significado e Conclusão

O estudo fornece uma nova perspectiva sobre os desafios da classificação de EEG:

• Protocolos de Avaliação: Resultados em configurações Subject-Dependent para tarefas SCPS são frequentemente enganosos e superestimam drasticamente a capacidade de generalização do modelo, pois o modelo pode estar apenas "decorando" os pacientes em vez de diagnosticar a doença.
• Mecanismos Distintos: A solução para MCPS deve focar em reduzir a variabilidade inter-sujeito (alinhamento de domínio). Para SCPS, a solução exige a eliminação do aprendizado de atalhos, forçando o modelo a aprender características da tarefa e não do sujeito.
• Analogia Visual: O artigo utiliza uma analogia de imagens onde o "estilo" (sujeito) é confundido com o "conteúdo" (tarefa). Em SCPS, se um estilo (sujeito) sempre aparece com uma classe (doença), o modelo aprende a reconhecer o estilo, não a doença.

Em suma, o trabalho enfatiza a necessidade urgente de protocolos de avaliação rigorosos (Subject-Independent) e o desenvolvimento de métodos que dissem características de identidade do sujeito das características relevantes para a tarefa, especialmente no contexto de diagnóstico médico baseado em EEG.