Beyond Accuracy: Robustness, Interpretability and Expressiveness of EEG Foundation Models

Título: Além da Precisão: Robustez, Interpretabilidade e Expressividade de Modelos Fundamentais de EEG

Declaração do Problema
Os Modelos Fundamentais de Eletroencefalografia (EEG-FMs) emergiram como uma abordagem promissora para Interfaces Cérebro-Computador (BCIs), visando aprender representações de propósito geral a partir de grandes corpora não rotulados via auto-supervisão. No entanto, as avaliações atuais desses modelos são predominantemente limitadas a métricas de precisão "limpas" e dentro da distribuição. Esse foco ignora fatores críticos para a implantação no mundo real: o ruído inerente aos sinais de EEG (devido à impedância dos eletrodos, movimento e artefatos ambientais), a necessidade de interpretabilidade em domínios clínicos de alto risco e a qualidade real das representações aprendidas. Benchmarks anteriores mostraram que os EEG-FMs frequentemente oferecem apenas ganhos marginais sobre baselines supervisionadas como o EEGNet, mas as causas raiz — seja robustez deficiente, aprendizado de características desalinhado ou representações pré-treinadas de baixa qualidade — permanecem inexploradas.

Metodologia
Os autores conduziram um estudo sistemático de benchmarking envolvendo seis EEG-FMs de última geração (BIOT, CBraMod, LaBraM, NeuroRVQ, BrainOmni e REVE) e uma baseline supervisionada (EEGNet) em oito conjuntos de dados diversos, cobrindo imaginação motora, execução motora, potenciais relacionados a eventos (ERP), memória de trabalho, estadiamento do sono e classificação do estado ocular. O estudo empregou três camadas distintas de análise:

1. Análise de Robustez: Modelos treinados em dados limpos foram avaliados no momento do teste sob cinco condições de perturbação: ruído branco e rosa aditivo (em diferentes Relações Sinal-Ruído), dropout aleatório de canais (com preenchimento por zeros), dropout de canais baseado em região (com preenchimento por zeros e remoção real) e injeção de ruído específica de região.
2. Análise de Interpretabilidade: O estudo aplicou a Propagação de Relevância em Camadas Consciente de Atenção (AttnLRP) para atribuir previsões do modelo a regiões cerebrais específicas. Para modelos onde a AttnLRP foi numericamente instável (NeuroRVQ e BrainOmni), foi utilizado o produto Gradiente × Entrada (G×I). A análise examinou se os modelos se concentravam em regiões neurofisiologicamente plausíveis e como esses mapas de atenção se deslocavam sob perturbação.
3. Análise de Expressividade: Usando sondagem linear por blocos, os autores investigaram onde informações relevantes para a tarefa emergem dentro da arquitetura do transformador (blocos iniciais vs. tardios) e se as representações pré-treinadas são suficientes para tarefas subsequentes. Um foco específico foi colocado no impacto das estratégias de agrupamento (pooling médio vs. achatamento de tokens) no desempenho da adaptação "apenas cabeça" (espinha dorsal congelada).

Principais Resultados

• Robustez: Nenhum modelo único domina todos os modos de falha.

  • Ruído: O BrainOmni demonstrou a maior robustez ao ruído aditivo, perdendo apenas 5,4% de precisão a -5 dB, comparado a 14–21% para os outros.
  • Dropout: Paradoxalmente, o BrainOmni foi um dos mais frágeis sob dropout aleatório de canais quando os canais eram preenchidos por zeros (degradação de -13,3%). No entanto, quando os canais descartados eram removidos completamente (dropout real) em vez de preenchidos por zeros, modelos de canais variáveis (incluindo o BrainOmni) recuperaram-se significativamente, sugerindo que sua fragilidade decorre do manuseio de entradas de valor zero e não da falta de informação da tarefa.
  • Regimes: Em níveis extremos de ruído, todos os modelos convergiram para um piso de desempenho específico da tarefa, indicando um regime limitado pelo sinal onde a arquitetura importa menos. Em ruído moderado, as diferenças arquitetônicas permaneceram decisivas.

• Interpretabilidade:

  • Alinhamento Espacial: Todos os modelos concentraram amplamente a relevância em regiões cerebrais apropriadas para a tarefa (por exemplo, eletrodos centrais para tarefas motoras, sítios occipitais para ERP), alinhando-se com a neurofisiologia conhecida.
  • Estabilidade sob Perturbação: Sob perturbação, os mapas de atribuição permaneceram espacialmente estáveis, mesmo à medida que a precisão da previsão degradava. Isso sugere que os modelos continuam a atender às regiões cerebrais corretas, mas falham em decodificar o conteúdo do sinal corrompido.
  • Exceções: O BrainOmni produziu mapas de atenção difusos, provavelmente devido à sua operação sobre tokens latentes abstratos em vez de eletrodos físicos.

• Expressividade:

  • Sondagem por Blocos: Sinais linearmente decodificáveis relevantes para a tarefa estavam presentes nos blocos iniciais de modelos pré-treinados. O ajuste fino (fine-tuning) principalmente reaproveitou blocos tardios para se especializar na tarefa subsequente, um padrão consistente com descobertas em transformadores de PLN.
  • Artefatos de Agrupamento: O baixo desempenho anteriormente observado da adaptação "apenas cabeça" para modelos como LaBraM e NeuroRVQ foi amplamente atribuído ao uso de pooling médio, que colapsa informações em nível de token. Substituir o pooling médio por achatamento de tokens melhorou significativamente o desempenho "apenas cabeça" (ganhos de 14–21%), aproximando esses modelos da baseline EEGNet. Isso indica que os EEG-FMs possuem capacidade representacional suficiente quando os embeddings em nível de token são preservados.

Significância e Alegações
O artigo alega fornecer a primeira avaliação sistemática de robustez, interpretabilidade e expressividade para modelos fundamentais de EEG. Os autores argumentam que:

1. A robustez é dependente da tarefa e da perturbação: As classificações do desempenho do modelo mudam com base no tipo de corrupção (ruído vs. dropout) e no sinal específico da tarefa.
2. A fundamentação espacial existe, mas é insuficiente: Embora os modelos aprendam representações espacialmente fundamentadas consistentes com a neurofisiologia, isso não garante previsão fiel sob corrupção.
3. Estratégias de agrupamento confundem a avaliação: A "baixa qualidade" percebida das representações pré-treinadas em configurações "apenas cabeça" é frequentemente um artefato do design de agrupamento (pooling médio vs. achatamento) e não das próprias representações.
4. Direções Futuras: O estudo destaca a necessidade de que avaliações futuras utilizem agrupamento baseado em concatenação para evitar confundir o design de agrupamento com a qualidade da representação e para considerar a remoção real de canais em vez de preenchimento por zeros ao testar modelos de canais variáveis.

Os autores concluem que, embora os EEG-FMs mostrem promessa, seu desenvolvimento requer avaliação rigorosa além da precisão limpa para garantir confiabilidade em configurações clínicas e de BCIs do mundo real.