Resumo Técnico: Mantis: Modelo de Fundação Leve para Classificação de Séries Temporais

Declaração do Problema

Embora os modelos de fundação tenham revolucionado os domínios de visão e linguagem, sua aplicação à classificação de séries temporais (TSC) permanece subexplorada. A literatura existente foca predominantemente em previsão de séries temporais, frequentemente utilizando paradigmas de pré-treinamento (ex: reconstrução mascarada ou modelagem autorregressiva) que são inerentemente mais adequados para imputação ou predição do que para tarefas discriminativas. Embora a classificação de séries temporais seja um problema fundamental em diversos domínios, como reconhecimento de atividade humana, saúde, finanças e neurociência, há uma escassez de modelos de fundação especificamente projetados para esta tarefa. Além disso, as abordagens existentes frequentemente dependem de ajuste fino (fine-tuning), enquanto há uma necessidade de capacidades robustas de extração de características zero-shot que possam generalizar sem a necessidade de dados rotulados extensos ou atualizações de parâmetros.

Metodologia

Os autores apresentam o Mantis, um modelo de fundação leve, baseado em Transformer, pré-treinado exclusivamente em dados sintéticos via aprendizado contrastivo autossupervisionado. A metodologia é construída sobre três pilares técnicos centrais:

1. Tokenizador de Múltiplas Visões de Séries Temporais

Para adaptar efetivamente a arquitetura Transformer às séries temporais, o Mantis emprega uma Unidade Geradora de Tokens dedicada que mapeia sequências brutas para um número fixo de tokens (32) para controlar os custos de atenção. Esta unidade processa a entrada através de três ramos paralelos:

• Ramo de Sinal: Aplica normalização de instância, seguida de convolução e mean pooling para extrair características em nível de patch.
• Ramo Diferencial: Aplica o mesmo procedimento de patching à diferença temporal de primeira ordem do sinal para incentivar a estacionariedade e reduzir a influência de tendências de longo prazo.
• Ramo Estatístico: Divide o sinal bruto (não normalizado) em patches não sobrepostos e codifica a média e o desvio padrão de cada patch usando um Codificador Escalar de Múltiplas Escalas.
  Estas características são concatenadas e projetadas linearmente em embeddings de tokens.

2. Pré-treinamento Contrastivo Sintético

Ao contrário de muitos modelos de fundação pré-treinados em conjuntos de dados do mundo real (que podem sobrepor-se aos benchmarks de avaliação), o Mantis é pré-treinado exclusivamente em dados sintéticos gerados pelo CauKer.

• Objetivo: O modelo é treinado usando uma perda contrastiva InfoNCE autossupervisionada. O objetivo é aprender representações onde aumentos do mesmo tempo série estão próximos (pares positivos) enquanto representações de séries diferentes estão distantes (pares negativos).
• Aumento (Augmentation): A principal estratégia de aumento é o Random Crop Resize (RCR), que corta aleatoriamente um segmento da série temporal e o redimensiona de volta ao comprimento original. Isso incentiva a invariância ao estiramento e compressão temporal, o que é crucial para classificação, mas menos adequado para previsão.
• Razão: Dados sintéticos proporcionam alta diversidade e eficiência de amostragem, garantindo que o modelo aprenda representações generalizáveis sem vazamento de dados (data leakage) de benchmarks padrão como UCR ou UEA.

3. Metodologia Aprimorada de Tempo de Teste

Para reduzir a lacuna de desempenho entre modelos de fundação e abordagens especializadas, os autores propõem um pipeline de inferência que utiliza o codificador congelado:

• Representações por Camada: Em vez de depender apenas da camada final do Transformer, o modelo utiliza representações de camadas intermediárias. Experimentos mostram que camadas intermediárias frequentemente codificam características mais discriminativas para tarefas de classificação, particularmente conforme os dados de pré-treinamento escalam.
• Agregação de Tokens de Saída: Os autores propõem concatenar o token [CLS] com a média dos tokens não-classificadores, capturando informações complementares que são frequentemente descartadas em Transformers discriminativos padrão.
• Auto-Ensemble (SE): A série temporal de entrada (e sua diferença de primeira ordem) é interpolada para múltiplos comprimentos de sequência. Como o número de tokens é fixo, variar o comprimento da interpolação altera o campo receptivo e a sobreposição entre tokens, gerando embeddings complementares que são concatenados.
• Fusão de Embeddings entre Modelos: Os embeddings do Mantis são combinados com aqueles de outros modelos de fundação (ex: modelos baseados em visão como TiViT-H ou TiConvNext) para aproveitar aspectos complementares dos dados de séries temporais.

Principais Contribuições

1. Arquitetura Mantis: Um modelo de fundação baseado em Transformer, leve e especificamente adaptado para classificação de séries temporais, apresentando uma estratégia de tokenização de múltiplas visões inovadora.
2. Pré-treinamento Sintético: Demonstração de que o pré-treinamento exclusivamente em dados sintéticos via aprendizado contrastivo produz uma forte generalização zero-shot, superando modelos pré-treinados em dados do mundo real de tamanho similar.
3. Otimização de Tempo de Teste: Introdução de um conjunto de técnicas de tempo de inferência (seleção de camada intermediária, agregação de tokens, auto-ensemble e fusão entre modelos) que aumentam significativamente o desempenho zero-shot sem exigir ajuste fino.
4. Desempenho de Estado da Arte: Estabelecimento de novos resultados de estado da arte em múltiplos benchmarks (UCR, UEA, HAR, EEG) no regime de codificador congelado.

Resultados Experimentais

Experimentos extensivos foram conduzidos em quatro coleções diversas de conjuntos de dados:

• UCR Archive (128 conjuntos de dados univariados): O Mantis e suas variações (SE-Mantis, modelos fundidos) superaram consistentemente modelos de fundação existentes (ex: MOMENT, Chronos2, TiRex) e baselines especializados (ex: TS2Vec, Catch22+). O Mantis alcançou uma precisão média de 0,8195 no benchmark completo UCR, superando o próximo melhor modelo de fundação.
• UEA Archive (27 conjuntos de dados multivariados): O Mantis superou significativamente outros modelos em mais de 2%, atingindo 0,7420 de precisão.
• Reconhecimento de Atividade Humana (HAR) & EEG: O Mantis demonstrou forte desempenho em benchmarks de domínios específicos, incluindo dados de sensores inerciais e sinais de interface cérebro-computador, frequentemente superando adaptações baseadas em visão e outros TSFMs.
• Eficiência: O Mantis é altamente eficiente, possuindo apenas 2,2 milhões de parâmetros (após poda) e tempos de inferência comparáveis a baselines estatísticos como Catch22+, tornando-o adequado para ambientes com recursos computacionais limitados.

Significância e Alegações

O artigo afirma que o Mantis estabelece um novo estado da arte para a classificação de séries temporais zero-shot, demonstrando que:

• O Pré-treinamento Específico para a Tarefa Importa: Modelos pré-treinados com objetivos alinhados à classificação (perda contrastiva) e arquiteturas adaptadas para TSC superam modelos de previsão de propósito geral.
• Dados Sintéticos são Viáveis: O pré-treinamento em dados sintéticos é uma estratégia altamente eficiente em termos de amostragem que evita o vazamento de dados e impõe uma generalização robusta fora da distribuição (out-of-distribution).
• Camadas Intermediárias são Críticas: As "leis de escala" do pré-treinamento na classificação de séries temporais são desbloqueadas no tempo de teste ao utilizar representações de camadas intermediárias em vez de apenas a última camada.
• Implantação Leve: Alto desempenho pode ser alcançado com modelos leves que não requerem ajustes finos pesados, facilitando a implantação em ambientes de recursos restritos.

Os autores enfatizam que seu trabalho preenche a lacuna entre o sucesso dos modelos de fundação em outras modalidades e as necessidades específicas da classificação de séries temporais, fornecendo uma solução robusta, leve e generalizável para diversos domínios de aplicação.