🤖 machine learning

OATS: Online Data Augmentation for Time Series Foundation Models

O artigo propõe o OATS, um framework de aumento de dados online fundamentado que gera dinamicamente dados de séries temporais sintéticos de alta qualidade adaptados a estágios de treinamento específicos usando modelos de difusão e um mecanismo de exploração-explotação, superando significativamente os baselines de aumento estático no aprimoramento de Modelos de Fundação de Séries Temporais.

Autores originais: Junwei Deng, Chang Xu, Jiaqi W. Ma, Ming Jin, Chenghao Liu, Xu Zhang, Li Zhao, Jiang Bian

Publicado 2026-08-11

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Junwei Deng, Chang Xu, Jiaqi W. Ma, Ming Jin, Chenghao Liu, Xu Zhang, Li Zhao, Jiang Bian

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô superinteligente a prever o futuro, como adivinhar o tempo de amanhã ou o consumo de eletricidade do próximo mês. Para fazer isso, o robô precisa estudar quantidades massivas de história, mas os dados do mundo real são bagunçados. Eles têm buracos, são inconsistentes e, às vezes, simplesmente não há o suficiente. No mundo da ciência da computação, isso é chamado de "Série Temporal" (Time Series), e os robôs que construímos para entendê-la são chamados de "Modelos de Fundação" (Foundation Models). Para ajudar esses robôs a aprenderem melhor, os cientistas costumam usar um truque chamado "Aumento de Dados" (Data Augmentation). Pense nisso como uma aula de culinária onde o professor não entrega apenas a receita original; eles também lhe entregam um monte de ingredientes falsos, inventados, que parecem e têm o gosto exatamente como os reais, para que você possa praticar mais.

Por muito tempo, a maneira como os cientistas criavam esses ingredientes falsos era um pouco como usar um cortador de biscoitos. Eles pegavam um pedaço real de dado e aplicavam uma regra simples e estática a ele — como sacudi-lo um pouco (adicionando ruído) ou misturá-lo com outro pedaço (mistura/blending). Era uma abordagem de "tamanho único": o mesmo cortador de biscoitos era usado para cada etapa do treinamento do robô, não importava o quanto o robô já tivesse aprendido. Mas e se o robô precisar de diferentes tipos de prática em momentos diferentes? E se os "melhores" dados falsos mudarem conforme o robô fica mais esperto? Este artigo faz uma grande pergunta: Podemos parar de usar o cortador de biscoitos e começar a assar dados de prática novos e personalizados para cada momento do treinamento do robô?

Os autores deste artigo dizem "sim" e introduzem um novo método chamado OATS (Online Data Augmentation for Time Series Foundation Models). Em vez de usar uma regra estática, o OATS atua como um treinador altamente atento que observa o robô aprender em tempo real. Veja como funciona:

Primeiro, o treinador precisa saber quais problemas de prática são realmente úteis. O OATS usa um sistema de pontuação inteligente chamado "Pontuações de Influência de Séries Temporais" (Time-Series Influence Scores). Imagine que o robô está fazendo uma prova. O treinador olha para cada problema de prática individual e pergunta: "Se eu fizer o robô resolver este problema específico agora, ele ficará melhor no exame final?". Se um problema ajuda o robô a melhorar, ele recebe uma pontuação alta. Esses problemas de alta pontuação tornam-se os "sinais orientadores".

Em seguida, o treinador usa esses sinais para assar novos dados sintéticos. Em vez de apenas copiar e colar, o OATS usa uma ferramenta sofisticada chamada modelo de difusão (diffusion model). Pense nisso como um artista mágico. O treinador entrega ao artista os "melhores" problemas de prática (os sinais orientadores) e diz: "Crie algo novo que pareça exatamente com estes, mas que seja único". O artista então gera novos dados de séries temporais realistas que se encaixam perfeitamente no que o robô precisa aprender naquele exato momento.

No entanto, verificar cada um dos problemas de prática para ver se é útil leva muito tempo e energia. Para resolver isso, o OATS usa uma estratégia chamada Explore-Exploit (Explorar-Explorar/Aproveitar):

Explore (Explorar): Às vezes, o treinador para e verifica um novo lote de problemas para ver se há novas joias escondidas que ele perdeu. Isso é minucioso, mas lento.
Exploit (Aproveitar): Outras vezes, o treinador se lembra dos problemas de alta pontuação que encontrou anteriormente e os usa para gerar novos dados imediatamente. Isso é rápido e eficiente.
O OATS alterna inteligentemente entre esses dois modos, equilibrando a necessidade de encontrar novas informações com a necessidade de economizar tempo.

O artigo testou essa ideia em seis conjuntos de dados do mundo real, incluindo uso de eletricidade e padrões climáticos, usando dois tipos diferentes de arquiteturas de robôs. Os resultados mostraram que o OATS desempenhou consistentemente melhor do que tanto o método de treinamento padrão (sem dados extras) quanto os antigos métodos de "cortador de biscoitos" (como TSMixup ou Jitter). Na verdade, o OATS ajudou os robôs a aprenderem mais rápido e a fazerem previsões mais precisas. Os autores descobriram que, embora verificar cada um dos problemas (sempre "explorando") fosse o mais minucioso, não era sempre o melhor; misturar as etapas de "exploit" (usando pontuações em cache) economizou uma enorme quantidade de poder computacional sem prejudicar os resultados.

Em resumo, o OATS sugere que a melhor maneira de treinar esses poderosos robôs de séries temporais não é jogar dados falsos aleatórios neles, mas sim curar e gerar cuidadosamente dados de prática de alta qualidade e personalizados que evoluem junto com a jornada de aprendizado do robô. Ele transforma o processo de treinamento de um exercício estático em uma conversa dinâmica e responsiva entre os dados e o modelo.

Resumo Técnico: OATS (Aumento de Dados Online para Modelos de Fundação de Séries Temporais)

Declaração do Problema

Os Modelos de Fundação de Séries Temporais (TSFMs) avançaram o campo ao permitir o aprendizado cross-domain e a generalização zero-shot através de conjuntos de dados de larga escala. No entanto, sua eficácia é limitada por problemas de qualidade de dados prevalentes em séries temporais, como valores ausentes, taxas de amostragem heterogêneas, distribuições de domínio desbalanceadas e duplicação de dados. Embora o aumento de dados sintéticos seja uma estratégia amplamente adotada para mitigar a escassez de dados e aumentar a robustez, os métodos existentes sofrem de duas limitações primárias:

Dependência de Heurísticas: As abordagens atuais dependem de padrões projetados manualmente (ex: ondas senoidais, séries decompostas) ou transformações estáticas (ex: jittering, TSMixup). Essas heurísticas são frequentemente agnósticas à tarefa e podem falhar em generalizar para diferentes tarefas de séries temporais.
Paradigma Estático: As estratégias de aumento existentes geram dados sintéticos uma única vez e os incorporam uniformemente ao longo de todo o processo de treinamento. Isso ignora a natureza dinâmica do treinamento de modelos, onde o valor e a utilidade de amostras de dados específicas variam através de diferentes estágios de treinamento.

Metodologia: OATS

Os autores propõem o OATS (Online Data Augmentation for Time Series Foundation Models), uma estratégia fundamentada que gera dinamicamente dados sintéticos adaptados a etapas específicas de treinamento. O OATS opera através de três módulos principais:

1. Pontuações de Influência de Séries Temporais (TSIS)

Para abordar a falta de métricas de qualidade fundamentadas para dados sintéticos, o OATS utiliza a atribuição de dados para quantificar a influência de amostras individuais de treinamento no desempenho do modelo.

Mecanismo: Para um determinado passo de treinamento $t$ com parâmetros de modelo $w_t$ , a função TSIS $F_{D_{ref}}$ estima a pontuação de atribuição de dados de uma amostra $z_i$ em relação a um conjunto de dados de referência $D_{ref}$ .
Formulação: A pontuação é derivada de uma aproximação de Taylor de primeira ordem da mudança na perda de referência. Ela combina a pontuação de influência (alinhamento de gradiente entre a amostra e o conjunto de referência) com indicadores de qualidade específicos de séries temporais, especificamente um limiar de Relação Sinal-Ruído (SNR).
Saída: Amostras com altas pontuações TSIS são identificadas como "valiosas" e servem como sinais orientadores para a geração.

2. Geração de Dados Guiada por Alta Qualidade

Em vez de simplesmente realizar o sobreamostragem de instâncias de alta pontuação, o OATS as utiliza como sinais de condicionamento para gerar dados sintéticos diversos e realistas.

Arquitetura: Um modelo baseado em difusão é empregado, condicionado às amostras de alta qualidade selecionadas ( $H_t$ ).
Condicionamento: O modelo incorpora um módulo de Protótipo Semântico de Série Temporal e orientação condicional de classe baseada em metadados de subconjuntos (ex: domínio ou fonte). O processo de geração modela a distribuição condicional $p(\hat{z}|H_t)$ , sintetizando novas amostras que capturam padrões temporais diversos enquanto aderem às características dos guias de alta qualidade.

3. Mecanismo Explore-Exploit (Explorar-Explorar)

Calcular o TSIS para todo o conjunto de dados em cada passo é computacionalmente proibitivo. O OATS introduz um mecanismo Explore-Exploit para equilibrar eficiência computacional com qualidade de dados.

Passos de Exploração (Explore): O sistema amostra estocasticamente novos lotes para calcular novos valores de TSIS, atualizando um cache dinâmico ( $\Phi_{D_l}$ ) para cada subconjunto de dados via média móvel exponencial. Isso permite que o sistema se adapte às mudanças na dinâmica do modelo.
Passos de Explotação (Exploit): O sistema aproveita os valores de TSIS armazenados em cache para amostrar lotes de alta qualidade diretamente, evitando a recalculação dispendiosa das pontuações de influência.
Controle: Uma estratégia $\epsilon$ -greedy determina se um passo é de "exploração" ou "explotação", equilibrando a descoberta de novos dados de alto valor com a eficiência do uso de dados de alto valor conhecidos.

Principais Contribuições

Paradigma de Aumento de Dados Online: O artigo propõe uma mudança do aumento estático para o online, onde os dados sintéticos são gerados dinamicamente com base no estado atual do processo de treinamento.
Estratégia Fundamentada (OATS): Um novo framework que integra atribuição de dados (TSIS) com geração baseada em difusão. Ele utiliza amostras de alta influência como sinais orientadores para produzir dados sintéticos que são simultaneamente de alta qualidade e diversos.
Mecanismo de Eficiência: A introdução de um mecanismo explore-exploit que reduz significativamente o overhead computacional enquanto mantém a capacidade de se adaptar às dinâmicas de treinamento.
Validação Empírica: Avaliação abrangente em seis conjuntos de dados (ETTm1, ETTm2, ETTh1, ETTh2, Weather, Electricity) e duas arquiteturas de TSFM (Transformers apenas Encoder e apenas Decoder).

Resultados Experimentais

Os autores avaliaram o OATS contra o treinamento regular e dois métodos de aumento de dados de base: TSMixup (soma ponderada de amostras existentes) e Jitter (adição de ruído Gaussiano).

Desempenho: O OATS superou consistentemente tanto o treinamento regular quanto os métodos de aumento de base em quase todos os conjuntos de dados e métricas (Erro Percentual Absoluto Médio Normalizado - MAPE, e Log-Verossimilhança Negativa - NLL).
Robustez: O OATS alcançou os melhores resultados em cinco dos seis conjuntos de dados (ETTm1, ETTm2, ETTh2, Weather, Electricity) para ambas as arquiteturas de modelo.
Convergência: As curvas de perda de teste indicaram que o OATS alcançou uma redução mais rápida de NLL em comparação com os baselines.
Sensibilidade a Hiperparâmetros: Experimentos variando a razão explore-exploit ( $\epsilon$ ) mostraram que uma configuração de $\epsilon=1$ (exploração pura) nem sempre era ideal, sugerindo que o aproveitamento dos scores em cache (explotação) é crucial para a eficiência. No entanto, o OATS superou o treinamento regular independentemente da configuração de $\epsilon$ .

Significância e Alegações

O artigo afirma que o OATS oferece uma abordagem fundamentada para o aumento de dados dinâmico, indo além das limitações dos métodos estáticos baseados em heurísticas. Ao quantificar a qualidade dos dados através de pontuações de influência e adaptar a geração ao estágio de treinamento, o OATS aborda o desafio crítico da escassez e qualidade de dados em TSFMs. Os autores afirmam que este método não apenas melhora o desempenho do modelo, mas também fornece um framework escalável para o treinamento de modelos de fundação em séries temporais complexas e do mundo real. O código é disponibilizado para facilitar pesquisas futuras neste domínio.