Resumo Técnico: Dividir e Contrastar (Di-COT)

Declaração do Problema

A aprendizagem auto-supervisionada (SSL) para representação de séries temporais visa reduzir a dependência de dados rotulados, mantendo um desempenho robusto em tarefas subsequentes. No entanto, as abordagens existentes de aprendizagem contrastiva enfrentam limitações significativas:

1. Ineficiência Computacional: Muitos métodos exigem múltiplas passagens pelo codificador (para âncoras, positivos e negativos) ou dependem de operações custosas, como a Distância de Warping Dinâmico (DTW), para o cálculo de similaridade.
2. Viés de Aumento de Dados: Abordagens que dependem fortemente de aumento de dados (por exemplo, mascaramento, transformações no domínio do tempo/frequência) podem introduzir vieses indutivos que distorcem os embeddings de características aprendidos, prejudicando a generalização.
3. Falhas nas Suposições Temporais: Métodos eficientes recentes (por exemplo, CaTT) que contrastam instantes de tempo temporalmente adjacentes assumem que a proximidade temporal implica similaridade semântica. Essa suposição frequentemente falha em conjuntos de dados com transições rápidas de eventos (comuns nos benchmarks UCR e UEA), levando a "falsos positivos" onde instantes de tempo semanticamente distintos, mas temporalmente próximos, são incorretamente tratados como pares positivos.
4. Problemas de Escalabilidade: Os cálculos de perda em alguns métodos escalam quadraticamente com o tamanho do lote e o comprimento da sequência, tornando-os proibitivos para janelas de séries temporais longas.

Metodologia: Dividir e Contrastar (Di-COT)

O Di-COT é um framework não supervisionado projetado para aprender características temporais robustas sem aumento de dados ou múltiplas passagens pelo codificador. Ele reformula a aprendizagem contrastiva temporal como uma tarefa de classificação densa dentro do espaço de representação.

Mecanismo Central

1. Particionamento Estocástico de Sub-blocos: Em vez de processar a sequência inteira ou instantes de tempo individuais, o Di-COT particiona estocasticamente cada janela de série temporal em $k$ sub-blocos sobrepostos por iteração. O número de sub-blocos $k$ é amostrado de uma distribuição uniforme $U\{k_{min}, \dots, k_{max}\}$.

   • Os sub-blocos têm comprimento $L$ e passo $s$, controlados por uma taxa de sobreposição $\rho \in (0, 1)$.
   • Essa estocasticidade expõe o codificador a múltiplas granularidades temporais, incentivando implicitamente a robustez em contextos de curto e longo alcance sem designs hierárquicos explícitos.

2. Codificação de Sub-blocos: Cada sub-bloco é passado através de um codificador temporal compartilhado $f_\theta$ e agrupado ao longo da dimensão temporal para produzir um único vetor de embedding.

3. Objetivo Contrastivo (Predição do Próximo Sub-bloco):

   • Pares Positivos: Sub-blocos temporalmente adjacentes dentro da mesma instância são tratados como pares positivos. Especificamente, para um sub-bloco $j$, o sub-bloco precedente $j-1$ é o alvo.
   • Pares Negativos: Todos os outros sub-blocos na mesma sequência servem como negativos.
   • Formulação: A tarefa é formulada como um problema de classificação multiclasse. Para cada sub-bloco $j$, o modelo prevê o índice de seu vizinho precedente. A perda é uma perda de entropia cruzada escalada por temperatura (semelhante à InfoNCE, mas aplicada aos índices de sub-blocos):
     $$\mathcal{L}_{CE} = -\frac{1}{Bk} \sum_{i=1}^{B} \sum_{j=0}^{k-1} \log \frac{\exp(S^{(i)}_{j, p^*(j)} / \tau)}{\sum_{p=0}^{k-1} \exp(S^{(i)}_{j, p} / \tau)}$$
     onde $S^{(i)}_{j,p}$ é a similaridade entre o sub-bloco $j$ e $p$, e $p^*(j)$ é o índice alvo ($j-1$ para $j>0$, e $0$ para o primeiro sub-bloco).

Eficiência e Escalabilidade

• Complexidade: O cálculo da perda depende do tamanho do lote $B$ e do número de sub-blocos $k$, e não do comprimento da sequência $T$. Como $k \ll T$ por design, a complexidade temporal é $O(Bk^2d)$ e a complexidade de memória é $O(Bk^2)$. Isso torna o método independente do comprimento da sequência, permitindo treinamento eficiente em sequências muito longas.
• Sem Aumento/Múltiplas Passagens: Ao contrastar subestruturas internas, o Di-COT evita a necessidade de aumento de dados e elimina a necessidade de múltiplas passagens pelo codificador exigidas por métodos que tratam diferentes visões aumentadas como positivos.

Contribuições Principais

1. Framework sem Aumento de Dados: O Di-COT elimina a necessidade de aumento de dados, mascaramento de instantes de tempo e múltiplas passagens pelo codificador, reduzindo a sobrecarga computacional e prevenindo a distorção da representação.
2. Contraste Dinâmico de Sub-blocos: O método introduz o contraste dentro de instâncias individuais usando sub-blocos estocásticos. Isso previne a discriminação trivial ao nível de instantes de tempo (que falha durante transições rápidas) e promove representações diversas e semanticamente significativas.
3. Reformulação como Classificação: A aprendizagem contrastiva temporal é reformulada como uma tarefa de classificação por entropia cruzada. Isso fornece supervisão densa (utilizando cada sub-bloco como sinal) enquanto retém as propriedades da InfoNCE escalada por temperatura.
4. Desempenho de Estado da Arte: O framework alcança resultados de estado da arte em tarefas de classificação, agrupamento, kNN e transferência entre conjuntos de dados, reduzindo substancialmente o tempo de treinamento.

Resultados Experimentais

Os autores avaliaram o Di-COT em seis conjuntos de dados reais de grande escala (PAMAP2, WISDM2, HARTH, SLEEP, ECG, SKODA) e nos benchmarks UCR/UEA.

• Avaliação Linear: O Di-COT alcançou a maior precisão média entre os métodos SSL nos conjuntos de dados de grande escala, superando baselines como TS2Vec, TF-C e CaTT. Ele igualou o desempenho de modelos supervisionados completos treinados de ponta a ponta em vários conjuntos de dados, exigindo significativamente menos tempo de treinamento.
• Regime de Poucos Rótulos: Em uma configuração de 1% de dados rotulados, o Di-COT superou todos os outros métodos SSL e a baseline totalmente supervisionada treinada de ponta a ponta nos mesmos dados limitados, demonstrando eficiência superior de rótulos.
• kNN Não Paramétrico: O Di-COT apresentou o melhor desempenho na classificação por 1-vizinho mais próximo, indicando que os embeddings aprendidos possuem uma vizinhança local bem estruturada, onde amostras semanticamente similares são mapeadas próximas.
• Agrupamento: O Di-COT alcançou a maior Informação Mútua Normalizada (NMI) e Índice Rand Ajustado (ARI), sugerindo que ele aprende clusters globalmente coerentes que se alinham com as classes verdadeiras.
• Transferência entre Conjuntos de Dados: Em experimentos de aprendizado por transferência (por exemplo, HARTH $\to$ PAMAP2), o Di-COT demonstrou maior generalização de domínio em comparação com as baselines, indicando robustez a mudanças de distribuição.
• Eficiência: O Di-COT consistentemente exigiu o menor tempo de treinamento entre as abordagens baseadas em aprendizado profundo. Por exemplo, em conjuntos de dados de grande escala, ele treinou em aproximadamente 2,88 horas, comparado a 3,47–11,48 horas para outros métodos.

Significado e Alegações

O artigo afirma que o Di-COT aborda o compromisso fundamental nos métodos existentes de aprendizagem contrastiva de séries temporais: a tensão entre explorar a proximidade temporal para eficiência e manter a consistência semântica para generalização.

• Robustez a Dinâmicas Temporais: Ao contrastar subestruturas informativas em vez de instantes de tempo individuais, o Di-COT evita o problema de "falso positivo" inerente a métodos que assumem que todos os instantes de tempo adjacentes são semanticamente similares. Isso torna-o particularmente eficaz para conjuntos de dados com mudanças frequentes de eventos.
• Escalabilidade: A independência do cálculo da perda em relação ao comprimento da sequência permite que o Di-COT escale eficientemente para séries temporais longas, uma limitação para métodos como o CaTT, onde os custos de memória e computação escalam quadraticamente com o comprimento da sequência.
• Aplicabilidade Prática: O framework é apresentado como uma solução prática para cenários com anotações escassas, oferecendo um compromisso favorável entre precisão e computação. Os autores observam que, embora o método se destaque em classificação, agrupamento e recuperação, sua natureza contrastiva (focada em estrutura discriminativa) pode ser ortogonal a tarefas de previsão que exigem predição temporal de alta granularidade, o que é identificado como uma limitação e uma direção para trabalhos futuros.

Os autores enfatizam que o Di-COT aprende representações que são localmente consistentes, globalmente bem organizadas e transferíveis entre domínios, estabelecendo um novo estado da arte para a aprendizagem de representação de séries temporais não supervisionada.