SPOTR: Spatio-temporal Pooling One-Token Reconstruction for Universal Physiological Signal Self-supervised Learning

Resumo Técnico: SPOTR

Declaração do Problema
Sinais fisiológicos (EEG, ECG, PPG) são críticos para o monitoramento clínico, contudo, os métodos de aprendizado autossupervisionado (SSL) para esses sinais enfrentam limitações significativas na prática. As abordagens atuais lutam para generalizar através de conjuntos de dados heterogêneos e frequentemente falham sob "linear probing", um cenário de adaptação leve que reflete cenários médicos do mundo real onde dados rotulados e computação são escassos.
Especificamente, o artigo identifica dois modos principais de falha nos paradigmas de SSL existentes:

1. Aprendizado Contrastivo (C-SSL): O desempenho é altamente sensível ao design de visualização (aumento ou regras de domínio). Pequenas mudanças na força de aumento ou nos critérios de pareamento podem desestabilizar o sinal de supervisão, tornando difícil a generalização através de diversos conjuntos de dados.
2. Reconstrução de Máscara (MR-SSL): Os modelos frequentemente aprendem "atalhos" explorando a continuidade temporal e a redundância entre canais para recuperar segmentos mascarados sem aprender representações globais compactas. Isso leva a uma perda de pré-treinamento baixa, mas com ganhos marginais no desempenho downstream.
   Além disso, os modelos baseados em Transformer existentes tipicamente processam sequências espaço-temporais achatadas de comprimento $C \times N$ (canais $\times$ tokens de tempo), incorrendo em altos custos computacionais e de memória. A maioria dos modelos também é específica para uma modalidade, carecendo de um framework unificado para EEG, ECG e PPG.

Metodologia: SPOTR
Os autores propõem o SPOTR (Spatio-temporal Pooling One-Token Reconstruction), um framework de SSL universal construído sobre um esquema de pré-treinamento de compressão–reconstrução com um gargalo de token único global. A arquitetura consiste em três componentes principais:

1. ST Compactor (S): Um módulo de compactação espaço-temporal eficiente que reduz o comprimento da sequência de entrada. Em vez de processar uma sequência achatada de $C \times N$, ele comprime a entrada em dois fluxos separados: tokens temporais e tokens espaciais. Isso reduz o comprimento da sequência de $C \times N$ para $C + N$, diminuindo significativamente o overhead computacional enquanto preserva a estrutura espaço-temporal.
2. Latent Aggregator (A): Um codificador Transformer que funde os fluxos comprimidos de tokens temporais e espaciais em um único token de classe global ($h_{cls}$). Este token serve como o único gargalo de informação, forçando o modelo a capturar estruturas globais através de tempo e canais.
3. Latent Renderer (G): Um decodificador que reconstrói o sinal fisiológico completo condicionado apenas ao único token global $h_{cls}$. O decodificador utiliza um mecanismo de atenção cruzada prioritária, onde os tokens mascarados atendem à condição global antes de interagirem entre si. Este design impede que o modelo dependa do contexto visível local ou da redundância para preencher as regiões mascaradas, promovendo assim o aprendizado de representações globais robustas.

O objetivo de pré-treinamento minimiza o erro de reconstrução entre o sinal original e o sinal reconstruído exclusivamente a partir do gargalo de token único.

Principais Contribuições

1. Framework Universal: Introdução do SPOTR, um framework de SSL agnóstico a modalidades capaz de aprender representações generalizáveis através de EEG, iEEG, ECG e PPG dentro de um único modelo.
2. Arquitetura Eficiente: Design do ST Compactor, que encurta a sequência de tokens do codificador de $C \times N$ para $C + N$, melhorando a eficiência de treinamento e inferência sem sacrificar a qualidade da representação.
3. Gargalo de Token Único: Implementação de um esquema de compressão–reconstrução que suprime o aprendizado de atalhos ao condicionar a reconstrução a um único token global, promovendo características compactas e transferíveis.
4. Validação Empírica: Demonstração de ganhos de desempenho consistentes através de diversos conjuntos de dados e modalidades downstream, estabelecendo o SPOTR como um framework de pré-treinamento universal.

Resultados
O modelo foi pré-treinado em 20 conjuntos de dados abrangendo 17 milhões de amostras de sinais de mais de 450.000 indivíduos. A avaliação foi conduzida em 17 conjuntos de dados downstream usando linear probing, classificação few-shot e fine-tuning completo.

• Linear Probing: O SPOTR superou consistentemente as bases mais fortes (incluindo modelos de séries temporais de propósito geral como o MOMENT e modelos de SSL específicos de modalidade).
  • iEEG: Melhorou a AUC média em 21,71%.
  • EEG: Melhorou a AUC média em 18,49%.
  • ECG: Melhorou a AUC média em 17,86%.
  • PPG: Melhorou a AUC média em 4,64%.
  • No geral, o SPOTR alcançou uma AUC média de 80,86% em todos os 17 conjuntos de dados, excedendo o MOMENT em 19,11%.
• Aprendizado Few-Shot: O SPOTR demonstrou melhorias estáveis e consistentes nos cenários de 1-shot a 8-shot em todas as modalidades, indicando o uso eficaz de dados rotulados limitados.
• Eficiência: Comparado ao modelo de fundação MOMENT, o SPOTR alcançou:
  • 78,1% de menor latência (p50).
  • 206,3% de maior throughput.
  • 51,8% de menor uso de memória de pico da GPU.
• Escalabilidade: O desempenho melhorou consistentemente à medida que o tamanho do modelo aumentava de Small (3,69M de parâmetros) para Base (62,47M de parâmetros), mostrando leis de escala favoráveis tanto para a perda de pré-treinamento quanto para a transferência downstream.

Significância
O artigo afirma que o SPOTR aborda as lacunas críticas de generalização e eficiência para modelos de fundação de sinais fisiológicos. Ao impor um gargalo global de token único, ele mitiga o aprendizado de atalhos prevalente na reconstrução de máscara e a sensibilidade de visualização do aprendizado contrastivo. O framework permite a adaptação leve (via linear probing) adequada para implantação clínica no mundo real, onde dados rotulados são escassos. Além disso, sua pegada computacional reduzida o torna prático para ambientes com recursos limitados, oferecendo uma solução unificada para análise de sinais fisiológicos multimodais.