Pretraining on Sleep Data Improves non-Sleep Biosignal Tasks

Resumo Técnico: Pré-treinamento em Dados de Sono Melhora Tarefas de Biosinais Não Relacionados ao Sono

Declaração do Problema
Modelos de fundação para sono demonstraram recentemente desempenho robusto em tarefas de polissonografia (PSG) dentro do domínio, como estadiamento do sono e detecção de apneia. No entanto, permanece uma questão em aberto se os biosinais do sono podem servir como uma distribuição de pré-treinamento eficaz para aprender representações que se transfiram para domínios adjacentes não relacionados ao sono, registrados durante a vigília. Enquanto a PSG clínica tipicamente utiliza montagens de EEG de baixa densidade e ECG de derivação única devido a restrições de aquisição, gravações clínicas baseadas na vigília frequentemente empregam canais de maior densidade para análise de alta granularidade. O desafio central é determinar se as propriedades únicas dos dados de sono — especificamente contextos contínuos longos, formas de onda patológicas diversas e alinhamento cruzado-tight entre modalidades — podem superar as limitações de configurações de sensores esparsos para melhorar o desempenho em tarefas downstream de EEG e ECG baseadas na vigília.

Metodologia
Os autores baseiam-se na arquitetura SleepFM (Thapa et al., 2026) para pré-treinar um modelo exclusivamente em dados multimodais apenas de sono.

• Estratégia de Pré-treinamento: O modelo passa por pré-treinamento contrastivo multimodal apenas de sono usando um objetivo leave-one-out. O conjunto de dados compreende 48.093 gravações completas de PSG noturna (432.000 horas) de quatro coortes (Stanford Sleep, Bioserenity, MESA, MrOS).
• Adaptações Arquiteturais: Para acomodar tarefas de biosinais não relacionados ao sono, os autores realizaram mudanças arquiteturais mínimas para isolar o efeito da distribuição de pré-treinamento:
  • Tamanho do Patch: Reduzido de 5 segundos para patches de 1 segundo para preservar dinâmicas transitórias (por exemplo, ondas agudas, picos R) cruciais para tarefas não relacionadas ao sono.
  • Tamanho da Janela: Reduzido de 5 minutos para 2 minutos para pré-treinamento para reduzir requisitos de memória enquanto mantém contexto fisiológico de múltiplos ciclos.
  • Codificação Posicional: Uma codificação posicional de canal (PE) foi introduzida durante o ajuste fino para tarefas de EEG. Isso injeta a geometria 3D dos eletrodos (coordenadas x, y, z baseadas no sistema 10-20) nos embeddings, permitindo inferência flexível com contagens variáveis de canais.
• Avaliação Downstream: O codificador pré-treinado foi ajustado fino em oito tarefas downstream distribuídas em cinco conjuntos de dados de EEG (TUAB, TUEV, TUSL, CHB-MIT, BrainCapture) e três conjuntos de dados de ECG (PTB-XL, G12EC, CPSC). As tarefas incluíram detecção de anomalias, detecção de crises epilépticas, classificação de eventos e detecção de arritmias.
• Baselines: O desempenho foi comparado contra modelos treinados do zero (inicialização aleatória) e contra modelos de fundação state-of-the-art (SOTA) pré-treinados em EEG de vigília dentro do domínio (por exemplo, LaBraM, BIOT, CBraMod, REVE) ou grandes corpora de ECG. Notavelmente, o modelo pré-treinado em sono não teve sobreposição de domínio com os conjuntos de teste de EEG de vigília, enquanto muitas baselines SOTA foram pré-treinadas em corpora contendo os dados de teste.

Principais Contribuições

1. Validação de Transferência Cross-Domain: O artigo demonstra que biosinais do sono podem servir efetivamente como uma distribuição de pré-treinamento para tarefas de EEG e ECG baseadas na vigília, superando consistentemente o treinamento do zero.
2. Desempenho Competitivo: Apesar de ser pré-treinado apenas em dados de sono com montagens de baixa densidade, o modelo alcança desempenho competitivo ou superior a modelos de fundação SOTA especializados pré-treinados diretamente em dados de EEG de vigília.
3. Robustez de Canal: O estudo introduz uma abordagem agnóstica a canais onde o modelo mantém 95% de seu desempenho de canal completo usando apenas 16–50% dos canais de EEG disponíveis e 41–75% das derivações de ECG.
4. Rigor Metodológico: O trabalho inclui experimentos sistemáticos de ablação de canais e avalia a transferência através de conjuntos de dados e protocolos heterogêneos, distinguindo entre benchmarks de distribuição interna e transferência de validação externa.

Resultados

• Tarefas de EEG: O pré-treinamento em sono melhorou consistentemente o desempenho em todos os cinco conjuntos de dados de EEG.
  • Em TUAB (detecção de anomalias), o SleepFM1 com 3,8M de parâmetros (com PT+PE) alcançou uma precisão balanceada de 0,825, superando o LUNA-Huge (311M parâmetros, 0,816) e o LaBraM-Large (46M, 0,823), apesar de carecer da sobreposição de domínio direta deste último.
  • Em TUSL (desaceleração) e CHB-MIT (crises epilépticas), o modelo alcançou resultados SOTA, superando FEMBA, EEGFormer e BIOT.
  • Em BrainCapture, o modelo superou substancialmente o BENDR e o LaBraM.
  • Resultados de sonda linear indicaram que o codificador pré-treinado já produzia representações informativas sem ajuste fino, com o ajuste fino completo proporcionando ganhos adicionais.
• Tarefas de ECG: Em um experimento de transferência de validação externa (ajustado fino em Code-15, avaliado em PTB-XL, G12EC, CPSC), o pré-treinamento em sono melhorou consistentemente o desempenho sobre a inicialização aleatória. Embora os ganhos fossem menores do que nas tarefas de EEG, o modelo superou baselines supervisionadas como Inception Time e 1DResNet no PTB-XL.
• Eficiência de Canal: A degradação de desempenho foi mínima ao reduzir contagens de canais. Para EEG, 16–50% dos canais foram suficientes para atingir 95% do desempenho de canal completo. Para ECG, 41–75% das derivações foram suficientes.

Significado e Alegações
O artigo alega que a riqueza fisiológica dos dados de sono — caracterizada por contextos contínuos longos capturando vários estados fisiológicos, representações amplas de formas de onda anormais (por exemplo, padrões epilépticos, arritmias) e alinhamento cruzado-tight entre cérebro, coração e respiração — fornece uma estrutura auto-supervisionada rica para aprender representações transferíveis.

Os autores argumentam que essas propriedades permitem que um modelo treinado exclusivamente em PSG de sono gere representações competitivas com modelos treinados diretamente em EEG de vigília, mesmo sem sobreposição de domínio. Isso sugere que os dados de sono podem servir como um corpus de pré-treinamento escalável e denso em informações para modelos de fundação de biosinais, potencialmente reduzindo a necessidade de conjuntos de dados de vigília extensivamente rotulados, particularmente em ambientes com recursos limitados. As descobertas apoiam a viabilidade do sono como uma distribuição de pré-treinamento para modelagem geral de biosinais, com evidências particularmente fortes em EEG e evidências encorajadoras, embora mais limitadas, em configurações de transferência externa de ECG.