Resumo Técnico: Avaliação Comparativa de Estratégias de Codificação Posicional para Modelos Fundamentais de EEG Baseados em Transformers

Declaração do Problema

A eletroencefalografia (EEG) é uma técnica não invasiva crítica para aplicações de interface cérebro-computador (BCI), contudo, modelos de decodificação supervisionada lutam para generalizar entre tarefas, sujeitos e conjuntos de dados devido a baixas razões sinal-ruído e alta variabilidade inter-sujeito. Para abordar isso, modelos fundamentais baseados em transformers treinados com aprendizado auto-supervisionado emergiram. No entanto, os transformers são inerentemente invariantes à permutação e requerem codificação posicional (CP) explícita para modelar dependências estruturais.

Diferentemente de tokens textuais, os eletrodos de EEG possuem uma distribuição espacial específica no couro cabeludo. Modelos fundamentais de EEG baseados em transformers atuais empregam mecanismos diversos e frequentemente incomparáveis para codificar essa estrutura espaço-temporal, incluindo incorporações específicas de canal, codificação temporal relativa e incorporações aprendidas. Há uma falta de avaliação sistemática sobre qual estratégia de codificação posicional é ótima para a decodificação de EEG, particularmente dado o significado anatômico do posicionamento dos eletrodos e a variabilidade nas montagens de canais entre conjuntos de dados.

Metodologia

Os autores conduziram uma avaliação comparativa controlada dentro da espinha dorsal CBraMod, um modelo fundamental de EEG auto-supervisionado que utiliza um mecanismo de atenção cruzada para capturar dependências espaço-temporais. Para isolar o impacto do design posicional, o estudo manteve a arquitetura original do transformer, os protocolos de treinamento e os hiperparâmetros, substituindo apenas o módulo de codificação posicional.

Estratégias de Codificação Posicional Avaliadas

Cinco estratégias foram comparadas:

1. Sem Codificação Posicional (NoPE): Uma linha de base sem informação posicional explícita.
2. Codificação Posicional Condicional Assimétrica (ACPE): Um método onde representações posicionais são geradas dinamicamente a partir de vizinhanças espaço-temporais de patches de EEG usando convoluções 2D profundas com kernels assimétricos ($k_s > k_t$). Isso captura dependências inter-canais de longo alcance e contexto temporal de curto alcance sem depender de coordenadas absolutas.
3. Codificação Posicional Esférica (SPE): Uma estratégia novel proposta neste trabalho que aproveita a geometria esférica do posicionamento dos eletrodos. Calcula os ângulos de azimute ($\theta$) e inclinação ($\phi$) para cada eletrodo e mapeia-os para representações de comprimento fixo usando funções sinusoidais de múltiplas frequências. Isso codifica relações angulares invariantes ao tamanho da cabeça e à escala, sem parâmetros aprendíveis.
4. SPE com Projeção (SPE+Proj): Uma extensão da SPE onde incorporações de canal e patch passam por projeções lineares aprendíveis separadas antes da soma.
5. CP Aprendível: Incorporações de canal e patch totalmente aprendíveis somadas para formar a codificação final. Estas são reinicializadas e aprendidas do zero durante o ajuste fino se a montagem a jusante diferir do pré-treinamento.

Configuração Experimental

• Pré-treinamento: Conduzido no conjunto de dados Healthy Brain Network EEG (HBN-EEG) (>3.000 participantes, 128 canais) usando um objetivo de reconstrução de patches mascarados.
• Tarefas a Jusante:
  • Imaginação Motora (MI): Classificação no conjunto de dados PhysioNet MI (64 canais, 4 classes).
  • Reconhecimento de Emoção: Classificação no conjunto de dados FACED (32 canais, 9 classes).
• Protocolos de Avaliação: Os modelos foram avaliados sob sondagem linear (espinha dorsal congelada, classificador treinado) e ajuste fino (todos os pesos atualizados).
• Métricas: Precisão Balanceada, Kappa de Cohen e Pontuação F1 Ponderada.

Resultados Principais

O estudo constatou que nenhuma estratégia única de codificação posicional superou consistentemente as outras em todas as tarefas e protocolos. O desempenho foi altamente dependente da tarefa:

• Imaginação Motora (PhysioNet-MI):
  • SPE alcançou o melhor desempenho no protocolo de sondagem linear, sugerindo que priores geométricos explícitos são benéficos quando padrões de ativação espacial são distintos.
  • ACPE alcançou o melhor desempenho no protocolo de ajuste fino.
  • NoPE foi consistentemente a mais fraca na sondagem linear, mas permaneceu competitiva após o ajuste fino, indicando que a espinha dorsal pode recuperar parcialmente a estrutura posicional através de otimização ponta a ponta.
• Reconhecimento de Emoção (FACED):
  • ACPE e CP Aprendível produziram os melhores resultados.
  • SPE teve desempenho significativamente inferior em comparação com outras estratégias em ambos os protocolos, sugerindo que priores geométricos estritos podem não beneficiar representações relacionadas a emoções tanto quanto a imaginação motora.
• Perda de Pré-treinamento: A ausência de codificação posicional resultou na maior perda de reconstrução mascarada, confirmando que a informação posicional é crucial para a qualidade da representação de pré-treinamento. CP Aprendível e SPE+Proj alcançaram as menores perdas de validação.

Significado e Conclusões

O artigo conclui que a estratégia ótima de codificação posicional para modelos fundamentais de EEG é dependente da tarefa, sem uma solução universal.

• Especificidade da Tarefa: Estratégias que codificam geometria anatômica explícita (SPE) são vantajosas para tarefas com forte distinguibilidade espacial (por exemplo, imaginação motora), mas podem ser subótimas para tarefas onde padrões espaciais são menos rígidos (por exemplo, reconhecimento de emoção).
• Generalizabilidade vs. Adaptabilidade: ACPE demonstra desempenho consistente ao aprender padrões de vizinhança local a partir do conteúdo do patch, tornando-a robusta em diversas tarefas sem exigir conhecimento explícito de coordenadas. Por outro lado, a CP Aprendível, embora exija reinicialização para diferentes montagens, pode superar estratégias fixas quando o modelo é permitido aprender estruturas espaciais específicas da tarefa do zero no conjunto de dados alvo.
• Implicações Práticas: SPE oferece uma alternativa leve, sem parâmetros e agnóstica à montagem, pré-calculada a partir de ângulos de eletrodo, tornando-se uma opção viável quando a estrutura espacial é relevante e o re-treinamento é indesejável.

Os autores enfatizam que, embora as diferenças de desempenho tenham sido relativamente pequenas, elas são mensuráveis e significativas, dado que apenas o módulo de codificação posicional foi alterado. Sugere-se trabalho futuro para explorar essas estratégias em tarefas de EEG mais diversas, montagens de eletrodos e conjuntos de dados de pré-treinamento maiores para avaliar ainda mais a generalizabilidade da codificação consciente da topologia.