Resumo Técnico: Extratores de Características Temporais em Modelos de Fundação de EEG

Declaração do Problema

Modelos de fundação de eletroencefalografia (EEG) visam aprender representações generalizáveis a partir de registros cerebrais de larga escala para enfrentar desafios como alta dimensionalidade, não estacionariedade, baixas relações sinal-ruído e variabilidade substancial entre sujeitos. Embora esses modelos tipicamente empreguem um módulo de incorporação (embedding) para transformar dados brutos de EEG antes de refiná-los com um backbone de transformer, o papel específico dos extratores de características temporais permanece subexplorado.

As abordagens existentes variam amplamente: algumas utilizam codificadores convolucionais 1D leves (frequentemente combinados com características no domínio da frequência), enquanto outras dependem exclusivamente de camadas de projeção linear. No entanto, as diferenças nos módulos de incorporação estão frequentemente entrelaçadas com variações na arquitetura geral e nos paradigmas de treinamento, impedindo um estudo sistemático do efeito direto da extração de características temporais. Além disso, não está claro se modelos de fundação de séries temporais pré-treinados (TSFMs), que aprendem representações temporais de propósito geral a partir de diversos conjuntos de dados, podem ser transferidos efetivamente para o domínio do EEG como extratores de características temporais congelados.

Metodologia

Os autores conduzem uma comparação controlada de três estratégias de extração de características temporais dentro de um framework unificado de modelo de fundação de EEG. Para isolar o efeito do extrator, todos os outros componentes — incluindo a representação de entrada, a estratégia de patching, o procedimento de mascaramento, a codificação posicional esférica e o backbone de transformer — são mantidos constantes.

1. Representação de Entrada e Patching

• Entrada: Registros de EEG multicanais ($X \in \mathbb{R}^{C \times T}$).
• Patching: Seguindo as práticas de Vision Transformer, os registros são divididos em patches de 2 segundos.
• Normalização:
  • Para a configuração MOMENT (TSFM pré-treinado), a normalização nativa do modelo (Normalização de Instância Reversível) é utilizada.
  • Para os baselines Linear e Convolucional, a normalização de máximo absoluto é aplicada para preservar cruzamentos por zero e a polaridade do sinal.

2. Estratégias de Extrator de Características Temporais

O estudo compara três abordagens distintas:

• Projeção Linear: Um baseline minimalista onde cada patch de EEG é projetado no espaço de incorporação do modelo via uma única camada linear.
• Codificador Temporal Convolucional: Um codificador convolucional separável em profundidade (depthwise separable) que aplica filtros temporais compartilhados a cada token de canal-patch. Ele utiliza kernels de tamanhos variados ao longo da dimensão temporal, seguidos de convolução pontual (pointwise) e achatamento (flattening).
• TSFM Pré-treinado (MOMENT): O modelo MOMENT-small pré-treinado é utilizado como um extrator de características. Diferente dos TSFMs orientados à previsão, o MOMENT foi pré-treinado com um objetivo de reconstrução mascarada projetado para aprendizado de representação.
  • Adaptação: Como o MOMENT espera sequências de comprimento 512 e os patches de EEG contêm 200 pontos temporais, aplica-se preenchimento à esquerda com zeros (zero-padding) e mascaramento de entrada.
  • Agregação: A redução pela média é aplicada sobre as representações internas de patch para produzir uma incorporação de dimensão fixa.
  • Congelamento: O codificador MOMENT é mantido congelado durante tanto o pré-treinamento quanto o treinamento subsequente (downstream); as incorporações são computadas offline.

3. Arquitetura do Modelo e Treinamento

• Codificação Posicional: A Codificação Posicional Esférica (SPE) é usada para informação espacial (localização dos eletrodos), e a codificação senoidal padrão é usada para índices de patches temporais.
• Backbone: Um codificador transformer com camadas de autoatenção e feed-forward.
• Objetivo: Reconstrução mascarada ($L = \|\hat{X}_M - \tilde{X}_M\|_2^2$) sobre patches mascarados.
• Datasets:
  • Pré-treinamento: Healthy Brain Network EEG (HBN-EEG) com aproximadamente 3.000 participantes.
  • Tarefas Subsequentes (Downstream): PhysioNet Motor Imagery (MI) e FACED (Reconhecimento de Emoção).

Principais Contribuições

1. Análise Sistemática: O artigo fornece uma análise controlada do papel dos extratores de características temporais em modelos de fundação de EEG através de duas tarefas distintas (imaginação motora e reconhecimento de emoção).
2. Avaliação de Transferência de TSFM: Avalia um TSFM pré-treinado e de domínio geral (MOMENT) como um extrator de características temporais congelado dentro de um modelo de fundação de EEG, comparando-o com estratégias padrão de incorporação linear e convolucional.

Resultados

Os modelos foram avaliados usando protocolos de sondagem linear (linear probing, backbone congelado) e ajuste fino (fine-tuning).

• Imaginação Motora (PhysioNet-MI):
  • Na configuração de sondagem linear, modelos lineares e convolucionais simples apresentaram desempenho competitivo, enquanto o modelo MOMENT mostrou um desempenho médio inferior.
  • Na configuração de ajuste fino, o modelo linear alcançou o maior desempenho médio, seguido pelo MOMENT.
• Reconhecimento de Emoção (FACED):
  • Tanto os modelos convolucionais quanto o MOMENT superaram o baseline linear sob ambos os protocolos.
  • O conjunto de dados de emoção beneficiou-se mais de uma modelagem temporal rica (convolucional e TSFM) em comparação com o conjunto de dados de imaginação motora.
• Significância Estatística: Testes de Friedman indicaram diferenças significativas entre os modelos para a maioria das configurações. No entanto, comparações post-hoc com correção de Holm-Bonferroni não revelaram diferenças pareadas significativas, levando os autores a focar em tendências consistentes de desempenho médio.

Significância e Alegações

O artigo conclui que nenhuma estratégia de extração de características temporais supera consistentemente as outras em todos os benchmarks.

• Dependência da Tarefa: Projeções lineares simples são competitivas para tarefas de imaginação motora, enquanto o reconhecimento de emoção beneficia-se de uma modelagem temporal mais rica (convolucional ou baseada em TSFM).
• Viabilidade de TSFM: Embora não seja especificamente adaptado para EEG, o TSFM pré-treinado (MOMENT) serve como um extrator de características temporais eficaz. Isso sugere que representações de séries temporais de propósito geral podem ser transferidas como extratores congelados dentro de modelos de fundação de EEG.
• Limitações: Os autores observam que a configuração de transferência congelada pode restringir a capacidade do modelo de capturar totalmente a dinâmica temporal específica dos sinais de EEG, e as conclusões amplas são limitadas pelo escopo da avaliação. Um trabalho futuro é proposto para investigar a adaptação de TSFMs durante o pré-treinamento e a avaliação deles em uma gama mais ampla de tarefas.