Resumo Técnico: LeNEPA – No-Augmentation Next-Latent Prediction for Time-Series Representation Learning (Predição de Próximo Latente Sem Aumento para Aprendizado de Representação de Séries Temporais)

1. Definição do Problema

O aprendizado autossupervisionado (SSL) de séries temporais avançou rapidamente, mas sua implementação prática permanece dificultada por uma forte dependência de estratégias de visualização (view) e aumento (augmentation) específicas do domínio. Embora métodos como Joint Embedding Predictive Architectures (JEPA) tenham demonstrado sucesso (ex: ECG_JEPA para PTB-XL), seu desempenho é frequentemente frágil quando a "receita" (especificamente a estratégia de aumento e mascaramento) é transferida para uma família de sinais estruturalmente diferente sem reajuste.

O artigo formula uma questão prática mais específica e estreita: Como uma receita de SSL se comporta quando sua configuração específica de método é reutilizada sem alterações após a mudança da família de sinais de pré-treinamento? Em vez de comparar contra benchmarks otimizados, os autores tratam isso como um "teste de estresse de receita fixa" para medir o custo de depender de invariâncias específicas do domínio (como a morfologia de ECG) ao aplicá-las a novos tipos de dados.

2. Metodologia: LeNEPA

Os autores introduzem o LeNEPA (Latent Euclidean Next-Embedding Prediction Architecture), uma arquitetura de SSL enxuta e sem aumento, projetada para produzir embeddings de sequência úteis e congelados sem exigir engenharia de visualização por dataset.

Arquitetura Central

• Backbone: Um Transformer causal processa uma sequência de embeddings de patches gerados por convoluções com stride (estilo ViT).
• Objetivo: Predição autoregressiva do próximo token latente. Em cada passo de tempo $t$, o modelo prediz o token latente em $t+1$ minimizando o Erro Quadrático Médio (MSE) em um espaço projetado.
• Sem Aumento (No Augmentation): Diferente das variantes de JEPA que dependem de mascaramento ou recorte (cropping), o LeNEPA opera diretamente na sequência bruta sem aumento de dados.

Mecanismos de Estabilização

O NEPA (Next-Embedding Prediction) padrão normalmente depende de uma rede professora atualizada via Média Móvel Exponencial (EMA) e stop-gradients para evitar o colapso. O LeNEPA substitui esses elementos por:

1. SIGReg (Sketched Isotropic Gaussian Regularization): Em vez de stop-gradients, o LeNEPA usa o SIGReg para regularizar a distribuição de embeddings de tokens em direção a uma Gaussiana isotrópica. Crucialmente, os autores descobriram que o SIGReg temporal (regularizando o conjunto de tokens dentro de cada amostra ao longo do eixo temporal) é o estabilizador mais eficaz, prevenindo o colapso ao longo da dimensão temporal, algo que a regularização global não consegue evitar.
2. Regularização Guillotine: A perda de predição é computada em um espaço projetado leve (usando um projetor $h_\psi$). Este projetor é descartado no momento da avaliação, garantindo que os representações aprendidas residam no backbone, e não no cabeçalho de projeção.

Função de Perda

A perda total combina a perda de predição e o termo de regularização:
$$\mathcal{L} = \lambda_{pred}\mathcal{L}_{pred} + \lambda_T \mathcal{L}_{SIG}^{time}$$
Onde $\mathcal{L}_{pred}$ é o MSE entre a predição projetada e o alvo projetado (deslocado em um passo), e $\mathcal{L}_{SIG}^{time}$ aplica a regularização isotrópica ao conjunto de tokens temporais.

3. Protocolo de Avaliação

O estudo emprega dois protocolos de avaliação distintos para separar a portabilidade da receita da transferência de checkpoint:

1. Reuso de Receita Fixa (PTB-XL vs. Diag):

   • Datasets: PTB-XL (ECG real de 12 derivações) e Diag (um corpus diagnóstico sintético gerado via Aionoscope com diversos tipos de sinais).
   • Configuração: Tanto o LeNEPA quanto um baseline JEPA são treinados independentemente em ambos os datasets.
   • Restrição: As "receitas" são fixas com base no ajuste do PTB-XL. A receita do JEPA utiliza um cronograma de mascaramento ajustado para ECG; o LeNEPA utiliza sua configuração fixa sem aumento. Nenhum deles é reajustado para o Diag.
   • Sonda (Probe): Probes lineares congelados são treinados nas camadas intermediárias do backbone (0–8) para medir a qualidade da representação.

2. Verificação de Encoder Congelado (CauKer para UCR-128):

   • Uma variante do LeNEPA pré-treinada no dataset CauKer é congelada e avaliada no arquivo completo UCR-128 usando um Random Forest, seguindo o protocolo MantisV2. Isso testa se um único encoder sem aumento pode generalizar para 128 tarefas univariadas diversas.

4. Resultados Principais

Reuso de Receita Fixa (PTB-XL vs. Diag)

• Fragilidade do JEPA: A receita do JEPA ajustada para ECG performa fortemente no PTB-XL (mesmo domínio), mas degrada significamente quando reutilizada sem alterações no dataset estruturalmente diferente Diag. Isso destaca a dependência do JEPA em relação a suposições de aumento específicas do domínio.
• Robustez do LeNEPA: O LeNEPA preserva ganhos úteis de probes congelados em ambos os datasets sem modificação. Ele supera a receita fixa do JEPA no Diag tanto em performance final quanto em dinâmica de treinamento.
• Dinâmica de Aprendizado: O LeNEPA demonstra uma aquisição de representação inicial mais rápida. Ele atinge 80% do ganho final de AUROC/AUPRC após 2–5k atualizações, comparado a 5–10k atualizações para o readout do JEPA.

Verificação de Encoder Congelado (UCR-128)

• Uma execução de semente única e melhor checkpoint do LeNEPA-CauKer alcança 77,65% de acurácia média no UCR-128 usando um Random Forest.
• Este resultado está a dentro de 1,16 pontos do Mantis (78,81%) e a dentro de 0,24 pontos do MOMENT (77,89%), apesar de o LeNEPA utilizar um backbone causal, nenhum aumento manual e nenhuma ramificação de primeira diferença (desvantagens estruturais em relação ao Mantis para este benchmark específico).

Ablações e Diagnósticos

• Sensibilidade de Camada: Diferente do JEPA, que frequentemente atinge o pico nas camadas superiores, o LeNEA e o NEPA alcançam scores de probe ótimos em camadas intermediárias (tipicamente $L_4$ ou $L_5$). A camada final frequentemente performa abaixo, sugerindo que blocos mais profundos se especializam na tarefa de predição enquanto camadas intermediárias retêm características mais gerais.
• Eixo do SIGReg: O SIGReg temporal foi o único posicionamento de regularização que proporcionou ganhos sustentados em ambos os datasets.
• Projetor: O uso de um projetor descartável (estilo Guillotine) melhora o desempenho em relação ao cálculo direto da perda no backbone, validando a separação do espaço de perda do espaço de representação.

5. Significância e Alegações

O artigo conclui que a predição de latente sem aumento é uma candidata promissora para receitas de SSL de séries temporais quando a restrição operacional é reutilizar uma receita de SSL com o mínimo de engenharia de visualização por dataset.

• Alegações Modestas: Os autores explicitamente declaram que não estão reivindicando um novo "modelo de fundação" que supere todos os baselines ajustados. Em vez disso, demonstram que remover as dependências de aumento reduz a fragilidade das receitas de SSL quando as famílias de sinais mudam.
• Impacto Prático: Os resultados sugerem que, para aplicações que exigem pré-treinamento portátil (ex: telemetria industrial, finanças, fisiologia), um objetivo sem aumento como o LeNEPA oferece uma alternativa mais robusta às variantes de JEPA que exigem uma engenharia cuidadosa de visualização específica do domínio.
• Limitações: O estudo reconhece que o tokenizador convolucional ainda requer design específico do dataset (tamanho do kernel, stride) e que o corpus sintético Diag serve como evidência controlada, não como um proxy direto para toda transferência diagnóstica real. O resultado do UCR-128 é baseado em uma única semente e no melhor checkpoint, servindo como uma prova de existência, não como uma reivindicação definitiva de liderança em rankings.

Código Fonte: Disponível em https://github.com/langotime/lenepa-milets-2026.