Test-Time Adaptation for EEG Foundation Models: A Systematic Study under Real-World Distribution Shifts

Resumo Técnico: NeuroAdapt-Bench e Adaptação em Tempo de Teste para Modelos de Fundação de EEG

1. O Problema

Os modelos de fundação para Eletroencefalografia (EEG) demonstraram grande potencial ao aprender representações generalizáveis a partir de grandes corpora de dados neurais. No entanto, sua implantação clínica enfrenta uma barreira crítica: deslocamento de distribuição (distribution shift).

• Contexto: Modelos treinados em um conjunto de dados específico frequentemente falham ao generalizar para novos hospitais, dispositivos de aquisição, protocolos de gravação ou populações de pacientes.
• Desafio Específico do EEG: Diferente de imagens naturais, onde as diferenças de domínio são muitas vezes estilísticas, os sinais de EEG exibem dinâmicas complexas e específicas do paciente, além de variabilidade significativa nos protocolos de aquisição.
• Limitação Atual: A adaptação de domínio tradicional exige acesso aos dados de origem (source data), o que é frequentemente inviável em ambientes de saúde devido a regulamentações de privacidade (ex: HIPAA, GDPR) e à escassez de dados rotulados.
• Solução Proposta: A Adaptação em Tempo de Teste (Test-Time Adaptation - TTA) permite que o modelo se adapte a dados não rotulados do domínio alvo durante a inferência, sem acesso aos dados de origem. Contudo, a eficácia das técnicas de TTA existentes (desenvolvidas para visão computacional e fala) em sinais de EEG ainda é pouco explorada e não sistemática.

2. Metodologia: NeuroAdapt-Bench

Os autores introduzem o NeuroAdapt-Bench, um benchmark unificado e sistemático para avaliar métodos de TTA em modelos de fundação de EEG sob deslocamentos de distribuição realistas.

• Pipeline do Benchmark (3 Estágios):

  1. Ajuste Fino (Fine-Tuning): Modelos de fundação pré-treinados são ajustados com um cabeçalho de classificação leve e compartilhado em dados rotulados do domínio de origem.
  2. Adaptação em Tempo de Teste: O modelo é submetido a dados não rotulados do domínio alvo. São avaliadas três abordagens representativas:
     • Tent: Minimização de entropia (baseada em gradiente, online).
     • SHOT: Transferência de hipótese de origem sem fonte (baseada em gradiente, offline).
     • T3A: Ajuste de classificador sem otimização (baseado em protótipos, online, sem gradiente).
  3. Avaliação: Métricas de desempenho são calculadas nos dados do alvo para medir a melhoria relativa em relação a uma linha de base sem adaptação (No-TTA).

• Configuração Experimental:

  • Modelos de Fundação: Avaliados em três famílias principais: CBraMod, TFM-Tokenizer e REVE (versões Base e Large).
  • Conjuntos de Dados: Cinco datasets cobrindo três cenários de deslocamento:
    1. In-Distribution: TUEV e TUAB (variabilidade ao nível do sujeito).
    2. Out-of-Distribution (Cross-Dataset): CHB-MIT (epilepsia) e SleepEDF-78 (estágio de sono), com mudanças de tarefa e protocolo.
    3. Deslocamento Extremo de Modalidade: Ear-EEG (dados de EEG de orelha), representando uma mudança drástica na configuração de canais e aquisição.
  • Métricas: Acurácia balanceada, ROC-AUC, PR-AUC, Kappa de Cohen e F1 ponderado.

3. Principais Contribuições

1. NeuroAdapt-Bench: A primeira avaliação sistemática de métodos de TTA em modelos de fundação de EEG, cobrindo múltiplos modelos, tarefas e cenários de deslocamento.
2. Insights sobre Estabilidade vs. Desempenho: Demonstração de que métodos padrão de TTA, eficazes em visão computacional, frequentemente falham ou degradam o desempenho em EEG.
3. Validação de Abordagens Sem Otimização: Evidência de que métodos que não utilizam gradiente (como T3A) são mais estáveis e confiáveis para implantação clínica do que métodos baseados em gradiente.
4. Reprodutibilidade: Liberação de um framework de código aberto para facilitar a pesquisa futura e a padronização de benchmarks na área de IA para saúde.

4. Resultados Chave

• Desempenho Inconsistente: Os métodos de TTA padrão não garantem ganhos consistentes. Em muitos casos, a adaptação resulta em degradação significativa do desempenho em comparação com a linha de base sem adaptação.
• Falha de Métodos Baseados em Gradiente: As abordagens Tent e SHOT (baseadas em gradiente) mostraram-se particularmente propensas a causar degradação pesada, especialmente em cenários de deslocamento extremo (Ear-EEG) e em datasets fora da distribuição (SleepEDF-78). Elas tendem a perturbar representações pré-treinadas bem calibradas, levando a uma transferência negativa.
• Superioridade de Métodos Sem Otimização (T3A):
  • O T3A foi o único método a apresentar ganhos médios positivos consistentes em acurácia balanceada através de todos os cenários (in-distribution, out-of-distribution e Ear-EEG).
  • Em cenários de deslocamento extremo (Ear-EEG), o T3A foi estável e melhorou o desempenho em modelos como CBraMod e REVE, enquanto métodos baseados em gradiente falharam.
  • O ganho máximo observado foi de +18,9 pontos percentuais na acurácia balanceada para o modelo REVE-Base no dataset CHB-MIT usando T3A.
• Impacto do Tamanho do Lote (Batch Size): Aumentar o tamanho do lote de adaptação não forneceu ganhos de desempenho consistentes, sugerindo que a simples escalabilidade não resolve a instabilidade do TTA em EEG.
• Influência da Representação: O tipo de representação (embeddings contínuos vs. tokenização discreta) influencia o comportamento da adaptação. Modelos com tokenização discreta (TFM-Tokenizer) mostraram maior resistência à degradação.

5. Significado e Implicações

Este estudo oferece insights críticos para a implantação de IA na saúde:

• Cuidado com a Transferência de Domínio: Técnicas que funcionam bem em visão computacional não são "plug-and-play" para sinais fisiológicos como EEG. A natureza não estacionária e a alta variabilidade do EEG exigem estratégias específicas.
• Estabilidade > Precisão Pura: Para aplicações clínicas, a robustez e a estabilidade são tão críticas quanto a precisão. Métodos simples e sem otimização (como T3A) são preferíveis para evitar a degradação catastrófica do modelo durante a inferência.
• Necessidade de Estratégias Específicas: O sucesso limitado das técnicas gerais de TTA destaca a necessidade urgente de desenvolver métodos de adaptação projetados especificamente para as características únicas dos sinais de EEG e dos modelos de fundação biomédicos.
• Direção Futura: O benchmark estabelece uma base para identificar modos de falha e guiar o desenvolvimento de sistemas de saúde mais confiáveis, focando na preservação das representações pré-treinadas em vez de atualizações agressivas de parâmetros.

Em resumo, o trabalho conclui que, embora a TTA seja uma promessa teórica para superar o deslocamento de distribuição em EEG, as abordagens atuais baseadas em gradiente são frequentemente prejudiciais. A adoção de métodos de adaptação sem otimização, como o T3A, representa um caminho mais seguro e eficaz para a implantação clínica robusta.