Contrast All the Time: Learning Time Series Representation from Temporal Consistency

Resumo Técnico: CaTT (Contrast All The Time)

Definição do Problema
O aprendizado de representação de séries temporais (TS) é crítico para tarefas de jusante (downstream), mas dados de TS não rotulados em larga escala permanecem subutilizados devido ao alto custo de anotação. Embora o aprendizado contrastivo auto-supervisionado tenha tido sucesso em visão computacional (CV) e processamento de linguagem natural (NLP), sua aplicação a séries temporais enfrenta desafios específicos. Métodos de contraste de TS existentes frequentemente dependem de aumentos de dados (data augmentations), que podem introduzir vieses indutivos, ou dependem de heurísticas de seleção de pares (por exemplo, selecionar pares positivos/negativos específicos de um lote). Essas estratégias de seleção são frequentemente ineficientes, falham em aproveitar a dimensão temporal total dos dados e lutam com a escalabilidade em ambientes de streaming dinâmicos e do mundo real. Além disso, muitas abordagens não utilizam efetivamente a consistência temporal inerente, onde passos de tempo adjacentes devem naturalmente compartilhar representações semelhantes.

Metodologia
Os autores propõem o CaTT (Contrast All The Time), um novo framework de aprendizado contrastivo não supervisionado projetado para aprender representações de séries temporais aproveitando a estrutura temporal natural dos dados sem depender de aumentos de dados ou heurísticas complexas de seleção de pares.

• Conceito Central: O CaTT afasta-se das abordagens convencionais ao contrastar todos os passos de tempo em paralelo. Em vez de selecionar um único par positivo por âncora, ele utiliza a dimensão temporal completa, tratando passos de tempo adjacentes como pares positivos implícitos e todos os outros passos não adjacentes como negativos.
• Perda MP-Xent: O framework introduz uma perda de Entropia Cruzada de Múltiplos Positivos (MP-Xent). Esta é uma adaptação da clássica perda N-pair (Sohn, 2020) e da perda NT-Xent (SimCLR).
  • Para um lote de $N$ sequências com comprimento $T$, o CaTT forma uma perda NT-tuple.
  • Para um passo de tempo de referência $z_{i,t}$, os passos adjacentes ($z_{i,t-1}$ e $z_{i,t+1}$) servem como múltiplos pares positivos.
  • Todos os outros passos na sequência (excluindo a referência e seus vizinhos imediatos) servem como pares negativos.
  • A função de perda é formulada para maximizar a similaridade do âncora com seus múltiplos positivos enquanto minimiza a similaridade com todos os negativos, tudo computado eficientemente via operações de matriz para evitar a alta complexidade computacional de fatiamento (slicing) ingênuo.
• Arquitetura: O método emprega uma Rede Neural Convolucional (CNN) 1D simples como backbone do codificador. A entrada é uma sequência de série temporal $x$ de comprimento $T$, que é projetada em um espaço de representação $z$. O treinamento é de ponta a ponta, não exigindo etapa separada de identificação de pares positivos.
• Pré-processamento: Para conjuntos de dados específicos (ex: sinais médicos), os autores aplicam a Transformada de Fourier de Curto Prazo (STFT) a subjanelas para gerar instâncias temporalmente dependentes, garantindo que a premissa de que instâncias consecutivas compartilham características semelhantes seja verdadeira.

Principais Contribuições

1. Framework CaTT: Um novo framework de aprendizado contrastivo não supervisionado para séries temporais que integra a seleção de pares positivos diretamente no processo de aprendizado usando uma formulação de NT-pair, eliminando a necessidade de heurísticas externas de seleção de pares.
2. Perda MP-Xent: A adaptação da perda N-pair para introduzir múltiplos pares positivos (passos de tempo adjacentes) no objetivo de entropia cruzada com escala de temperatura normalizada. Esta modificação acelera o aprendizado ao considerar mais pares por atualização e melhora a convergência.
3. Avaliação Abrangente: Os autores conduziram experimentos em 16 conjuntos de dados públicos através de quatro tarefas distintas de jusante:
   • Ajuste fino linear para classificação (backbone congelado).
   • Classificação semi-supervisionada.
   • Previsão de séries temporais (curto e longo prazo).
   • Detecção de anomalias.

Resultados
O artigo relata que o CaTT produz embeddings superiores em comparação com baselines de estado da arte (incluindo TS2Vec, InfoTS, CoST, SimMTM e MF-CLR) em todas as tarefas avaliadas:

• Classificação: Nos conjuntos de dados HARTH, SLEEPEEG e ECG, o CaTT alcançou a maior acurácia, pontuação F1, precisão e recall. Notavelmente, alcançou esses resultados com tempos de treinamento significativamente menores (ex: 6,12s vs. 2322,75s para o MF-CLR no HARTH).
• Aprendizado Semi-Supervisionado: O CaTT demonstrou robustez com dados rotulados limitados (5%, 10%, 20%), superando consistentemente os baselines em acurácia.
• Previsão (Forecasting): Nos conjuntos de dados ETT e Weather, o CaTT entregou resultados competitivos de Erro Quadrático Médio (MSE) e Erro Absoluto Médio (MAE), muitas vezes superando ou igualando modelos especializados de previsão como MF-CLR e CoST, mantendo uma eficiência de pré-treinamento superior.
• Detecção de Anomalias: No benchmark TSB-AD, o CaTT mostrou desempenho competitivo em métricas de detecção (VUS-PR) e foi o método mais rápido entre os testados.
• Eficiência: Um achado principal é que o CaTT é significativamente mais rápido para treinar do que as abordagens contrastivas existentes, tornando-o adequado para aplicações de larga escala.

Significância e Alegações
O artigo afirma que o CaTT representa uma mudança na forma como a consistência temporal é utilizada no aprendizado contrastivo. Ao se afastar do aumento de dados e da amostragem seletiva de pares em direção a uma abordagem de "contrastar o tempo todo", o método aprende diretamente da estrutura natural dos dados temporais. Os autores afirmam que:

• O uso de múltiplos pares positivos (passos de tempo adjacentes) dentro de uma perda NT-tuple é crucial para aprender representações semanticamente significativas e garantir a estabilidade do treinamento (abordagens de par único resultaram frequentemente em perdas NaN).
• A abordagem é altamente eficiente, oferecendo um equilíbrio de alto desempenho e baixo custo computacional que é particularmente bem adequado para aplicações de séries temporais dinâmicas do mundo real, onde a velocidade de inferência e a escalabilidade são críticas.
• O método é versátil, performando efetivamente em tarefas de classificação, previsão e detecção de anomalias sem exigir mudanças arquiteturais específicas para a tarefa.

O código fonte do método está disponível publicamente, facilitando a reprodutibilidade e pesquisas futuras.