Resumo Técnico: MedTS-TTT

Definição do Problema

Sinais de séries temporais médicas (MedTS), como eletroencefalografia (EEG) e eletrocardiografia (ECG), são críticos para a tomada de decisão clínica. Embora modelos de aprendizado profundo tenham alcançado um forte desempenho em classificação end-to-end, eles enfrentam um desafio fundamental: a heterogeneidade substancial ao nível do sujeito. Essa heterogeneidade induz desvios de distribuição ao nível do sujeito, fazendo com que modelos treinados com conjuntos de parâmetros fixos generalizem mal para indivíduos não vistos, mesmo utilizando o mesmo conjunto de dados e protocolos de aquisição.

Soluções existentes como Adaptação de Domínio (DA) frequentemente exigem módulos de adaptação adicionais ou dependem de estatísticas de lotes (batches) de destino, tornando-as difíceis de implementar em fluxos de trabalho clínicos do mundo real, onde os dados chegam sequencialmente e os desvios ao nível do sujeito evoluem ao longo do tempo. Além disso, embora o Treinamento em Tempo de Teste (Test-Time Training - TTT) ofereça uma alternativa promissora ao permitir a adaptação online a partir de amostras de teste não rotuladas, muitos métodos representativos de TTT dependem de otimização de loop interno iterativa. Esse processo iterativo aumenta a sobrecarga computacional no tempo de teste, tornando-os inadequados para aplicações médicas sensíveis à latência que exigem inferência eficiente por amostra.

Metodologia

Os autores propõem o MedTS-TTT, um framework de treinamento em tempo de teste end-to-end projetado para abordar desvios de distribuição ao nível do sujeito sem exigir rótulos extras ou mudanças arquiteturais. O framework consiste em dois componentes primários:

1. Tokenizador Espaçotempo

Para processar sinais médicos multicanais ($X \in \mathbb{R}^{B \times C \times T}$), o modelo primeiro os converte em uma sequência de tokens ($H \in \mathbb{R}^{B \times L \times D}$). Isso envolve:

• Codificação Temporal: Convoluções temporais por canal para extrair dinâmicas de curto prazo e estruturas espectrais.
• Fusão Espacial: Convoluções espaciais dependentes de canal para agregar informações multicanais.
• Incorporação de Patch (Patch Embedding): Particionamento do eixo temporal e projeção de patches em tokens com embeddings posicionais aprendíveis.

2. Treinamento em Tempo de Teste de Autoalinhamento de Ciclo Fechado (CLSA-TTT)

Este é o mecanismo de adaptação central integrado em cada camada do backbone. Ao contrário do TTT tradicional que utiliza otimização iterativa, o CLSA-TTT realiza uma atualização de peso rápido de passo único:

• Parametrização Rápido-Lento (Fast-Slow): O modelo mantém parâmetros "lentos" para estabilidade de representação e parâmetros "rápidos" ($W_{fast}$) atualizados por amostra.
• Objetivo de Auto-supervisão: O método constrói um alvo de auto-supervisão ao nível do token. Ele projeta a entrada em representações de Consulta (Query - $Q$), Chave (Key - $K$) e Valor (Value - $V$). Os parâmetros rápidos transformam $K$ em $Z$. O objetivo minimiza o resíduo entre a chave transformada normalizada e a diferença entre valor e chave:
  $$\mathcal{L}_{TTT} = \frac{1}{2} \| \text{LN}(Z) - (V - K) \|_2^2$$
• Atualização de Passo Único: Os parâmetros rápidos são atualizados via um único passo de Gradiente Descendente Estocástico (SGD) usando o gradiente da perda em relação a $Z$. Isso permite uma adaptação rápida e por amostra sem loops internos iterativos.

3. Backbone Convolucional com Portão (Gated Convolutional Backbone - GCB)

Para equilibrar a modelagem de dinâmica local e o controle de fluxo de informação, o framework emprega um Backbone Convolucional com Portão. Cada camada combina:

• Convolução de Curto Alcance: Uma convolução de profundidade (depthwise convolution - $F_{dw}$) para capturar variações de forma de onda de curto prazo e pistas rítmicas locais.
• Fusão por Portão (Gated Fusion): Um mecanismo de portão divide a representação latente em um ramo principal (processado por convolução e CLSA-TTT) e um ramo de portão. Os dois são fundidos via multiplicação elemento a elemento antes de serem projetados de volta para a dimensão original. Esta estrutura estabiliza a fusão de informações enquanto permite que o módulo CLSA-TTT realize o autoalinhamento de passo único.

Principais Contribuições

1. Framework MedTS-TTT: Um novo framework de treinamento em tempo de teste especificamente projetado para séries temporais médicas que mitiga desvios de distribuição ao nível do sujeito.
2. Mecanismo CLSA-TTT: Um método de autoalinhamento de ciclo fechado que constrói um alvo de auto-supervisão ao nível do token e realiza uma atualização de peso rápido de passo único. Isso elimina a necessidade de otimização de loop interno iterativa, reduzindo significativamente a sobrecarga no tempo de teste.
3. Backbone Convolucional com Portão (GCB): Uma arquitetura de modelagem de sequência que integra o CLSA-TTT com convoluções com portão para equilibrar efetivamente a modelagem de dinâmica local e o controle de fluxo de informação.
4. Validação Empírica: Avaliação abrangente em 4 conjuntos de dados públicos (2 EEG, 2 ECG) demonstrando robustez em cenários independentes de sujeito.

Resultados Experimentais

Os autores avaliaram o MedTS-TTT em quatro conjuntos de dados públicos (APAVA, ADFTD, PTB e PTB-XL) usando divisões independentes de sujeito para simular cenários do mundo real entre sujeitos.

• Desempenho: O MedTS-TTT alcançou 11 primeiros lugares (top-1 rankings) em 12 avaliações entre 9 baselines (incluindo MedFormer, MedGNN e várias variantes de Transformer) e 3 métricas (Acurácia, F1 score, AUROC).
• Médias: Através dos quatro conjuntos de dados, o MedTS-TTT atingiu uma Acurácia média de 75,18%, F1 score de 70,20% e AUROC de 86,86%. Isso representa melhorias de 0,90%, 0,65% e 0,83% sobre a baseline mais forte (MedGNN), respectivamente.
• Estudos de Ablação:
  • Remover o CLSA-TTT resultou na maior queda de desempenho (diminuição média de acurácia de 5,04%), confirmando que o treinamento em tempo de teste é a principal fonte de robustez.
  • Substituir o CLSA-TTT por uma atualização de TTT padrão (Vanilla) reduziu a acurácia média em 3,63%, validando a eficácia do autoalinhamento de passo único de ciclo fechado.
  • Remover o GCB reduziu a acurácia média em 4,93%, destacando seu papel complementar.
• Eficiência: Comparado ao Vanilla TTT, o CLSA-TTT reduziu a latência p50 e p95 em aproximadamente 50% e quase dobrou o throughput (aumento de 99,90%), tornando-o altamente adequado para aplicações sensíveis à latência.

Significância e Alegações

O artigo afirma que o MedTS-TTT fornece uma solução prática e eficiente para a classificação de séries temporais médicas em configurações do mundo real onde desvios de distribuição ao nível do sujeito são prevalentes. Ao permitir a adaptação online a partir de amostras de teste não rotuladas sem otimização iterativa, o método aborda as limitações de modelos estáticos e técnicas de adaptação computacionalmente caras.

Os autores enfatizam que sua abordagem oferece robustez consistente sob avaliação independente de sujeito, o que é crítico para o implante clínico onde os modelos devem generalizar para pacientes não vistos. A combinação de adaptação rápida de passo único e uma arquitetura de backbone especializada permite que o modelo mantenha alto desempenho enquanto adere às rigorosas restrições de latência e computação dos ambientes clínicos. Trabalhos futuros exploram regras de adaptação mais eficientes e configurações mais amplas, incluindo sequências de streaming mais longas e coortes multicêntricas maiores.