Resumo Técnico: UPLOTS – Um Modelo de Linguagem Pré-treinado Unificado para Geração de Séries Temporais com Restrições

1. Declaração do Problema

Os métodos atuais de geração de séries temporais (TSG) sofrem de uma fragmentação significativa. As abordagens existentes, incluindo Variational Autoencoders (VAEs), Redes Adversárias Generativas (GANs) e modelos de Difusão, tipicamente aderem a um paradigma de "um modelo por conjunto de dados". Isso exige o treinamento, ajuste e implantação de modelos distintos para cada conjunto de dados ou tarefa específica. Essa fragmentação leva a:

• Escalabilidade Pobre: Aumentos lineares ou superlineares no esforço computacional e humano à medida que o número de conjuntos de dados diversos cresce.
• Generalização Limitada: Os modelos falham em aproveitar estruturas temporais compartilhadas entre diferentes domínios.
• Assimilação de Conhecimento Ineficiente: A incapacidade de internalizar conhecimento extensivo de variados conjuntos de dados restringe o desempenho em tarefas de geração com restrições.

Embora estudos recentes tenham explorado transferências baseadas em prompts ou protótipos, eles frequentemente dependem de backbones específicos de domínio ou séries exemplares. Permanece uma lacuna para um gerador único capaz de síntese consciente de restrições em domínios não vistos sem retreinamento.

2. Metodologia: O Framework UPLOTS

Os autores propõem o UPLOTS (Unified Pretrained Language Model for constrained Time-Series Generation), um framework que substitui modelos específicos de tarefa por um único backbone de Modelo de Linguagem Grande (LLM) pré-treinado, guiado por prompts de restrição aprendidos.

2.1 Arquitetura Central

O UPLOTS integra um LLM pré-treinado (especificamente GPT-2 ou LLaMA 3.2-1B) com um pipeline de geração de séries temporais. O framework consiste em três componentes primários:

1. Módulo de Embedding de Prompt de Série Temporal (TPEM):

   • Função: Este módulo serve como a ponte entre restrições de linguagem natural e dados de séries temporais. Ele codifica restrições específicas do conjunto de dados (ex: "Padrões de Pico Matinal") como prompts de linguagem natural leves.
   • Mecanismo: Entradas de séries temporais são projetadas na dimensão oculta do modelo via um MLP Convolucional. Simultaneamente, os prompts textuais são tokenizados e incorporados usando a camada de embedding de palavras congelada do LLM.
   • Fusão: Os embeddings do prompt e os embeddings da série temporal são concatenados ao longo da dimensão temporal e alimentados em uma arquitetura Transformer pré-treinada truncada. A saída é mapeada de volta para o espaço de características original via camadas de LayerNorm (LN) e projeção linear.
   • Adaptabilidade: Apenas o LayerNorm e os embeddings posicionais são treináveis; os parâmetros principais do LLM permanecem congelados, garantindo eficiência de parâmetros.

2. Estratégia de Treinamento de Pesagem Dinâmica (DWTS):
   Para permitir o aprendizado conjunto eficaz entre conjuntos de dados heterogêneos, o UPLOTS emprega uma estratégia de duas frentes:

   • Modulador de Perda Consciente de Currículo (CALM): Durante a fase de aquecimento (warm-up), este mecanismo reduz o peso de conjuntos de dados "mais difíceis" (aqueles com perda recente mais alta) para evitar instabilidade no início do treinamento. Ele calcula médias móveis de perdas para cada conjunto de dados e atribui pesos de currículo estáticos de acordo.
   • Amostragem Dinâmica Baseada em Perda Móvel (RLDS): Este componente ajusta dinamicamente as probabilidades de amostragem de lotes (batches) com base na perda recente de cada conjunto de dados. Lotes de conjuntos de dados com desempenho inferior (perda mais alta) são extraídos com maior frequência, garantindo que o modelo foque em domínios difíceis durante o treinamento.

3. Backbone de Geração:
   O framework utiliza um modelo Diffusion-TS como o motor generativo subjacente. A saída do LLM aprimorado pelo TPEM serve como entrada para o processo de difusão, que procede via passos de ruído progressivo (forward noising) e de denoise inverso (reverse denoising). O objetivo de treinamento minimiza uma perda conjunta de tempo/frequência para preservar tanto a precisão pontual quanto o conteúdo espectral.

2.2 Fluxo de Trabalho

• Treinamento: Conjuntos de dados de séries temporais heterogêneas são treinados conjuntamente dentro do único LLM. Restrições específicas do conjunto de dados são codificadas como prompts, permitindo que o modelo aprenda padrões invariantes de domínio e dinâmicas específicas de conjuntos de dados simultaneamente.
• Inferência: Nenhum retreinamento é necessário. Para gerar uma sequência alvo específica (ex: "Pico Noturno" para um conjunto de dados de Energia), o usuário simplesmente fornece o prompt de linguagem natural correspondente. O modelo condiciona-se a este prompt para sintetizar o segmento de série temporal desejado sob demanda.

3. Principais Contribuições

O artigo descreve três contribuições primárias:

1. Framework de LLM Unificado: Uma arquitetura inovadora que quebra o paradigma tradicional de um-para-um, permitindo que um único modelo pré-treinado treine em todos os conjuntos de dados e realize inferência em conjuntos de teste com objetivos diversos.
2. Geração Sob Demanda Baseada em Prompt: O framework utiliza o aprendizado de prompt para permitir a geração específica de tarefas sem retreinamento. Por exemplo, o modelo pode gerar segmentos de pico matinal para um conjunto de dados de Energia usando prompts textuais, reutilizando diversos prompts para gerar diferentes alvos.
3. Superioridade Empírica e Generalizabilidade: O framework demonstra vantagens significativas sobre os baselines de estado da arte (SOTA) e variantes básicas de modelos através de quatro conjuntos de dados do mundo real e 14 configurações de prompt abrangendo quatro famílias de restrições (picos temporais, calendário, nível de carga e volatilidade).

4. Resultados Experimentais

Os autores avaliaram o UPLOTS em quatro benchmarks do mundo real: ETTh (Temperatura do Transformador de Eletricidade), Energy, PEMS04 e PEMS08.

4.1 Métricas de Avaliação

O desempenho foi medido via:

• Context-FID (C-FID): Avalia a fidelidade distributiva e as dependências de características temporais.
• Pontuação Discriminativa (Discriminative Score): Avalia a capacidade de um classificador de distinguir dados reais de gerados.
• Pontuação Preditiva (Predictive Score): Mede a utilidade downstream via paradigma Treinar-no-Sintético, Testar-no-Real (TSTR).

4.2 Principais Achados

• Desempenho vs. Baselines: As variantes do UPLOTS (usando GPT-2 e LLaMA 3.2) superaram significativamente os modelos de conjunto de dados único (TimeGAN, TimeVAE, DiffWave, DiffTime) e os baselines de múltiplos conjuntos de dados (TimeDP).
  • Nos conjuntos de dados ETTh e Energy, o UPLOTS melhorou o Context-FID em uma média de 12,3× e a Pontuação Discriminativa em 9,3× em comparação com um baseline "Vazio" livre de prompts.
  • O modelo completo UPLOTS alcançou os melhores resultados em quase todas as métricas e conjuntos de dados, com o backbone LLaMA 3.2 apresentando o desempenho mais alto.
• Conformidade de Restrição: O modelo generalizou com sucesso além das configurações específicas de "pico matinal/noturno" usadas no treinamento inicial. Ele manteve alta fidelidade em 14 configurações de prompt diferentes, incluindo restrições de calendário (dia da semana/fim de semana), níveis de carga (alta/baixa) e padrões de volatilidade.
• Estudos de Ablação:
  • A remoção do módulo TPEM causou uma queda drástica no desempenho (ex: C-FID aumentou de 0,0243 para 0,1682 em ETTh_MP), confirmando a necessidade do mecanismo de embedding de prompt.
  • A remoção do CALM e do RLDS resultou em diminuições modestas, mas consistentes, no desempenho, validando seu papel no equilíbrio do treinamento de múltiplos conjuntos de dados.
• Utilidade Downstream: Em experimentos de aumento de dados para tarefas de previsão (usando PhaseFormer e SparseTSF), os dados gerados pelo UPLOTS consistentemente melhoraram a precisão da previsão, particularmente em regimes de baixos dados (razões de 1% a 10% de dados reais).

4.3 Sensibilidade de Hiperparâmetros

• Dimensão Oculta: O desempenho atingiu o pico com uma dimensão oculta de 64; dimensões menores (16) levaram ao subajuste (underfitting), enquanto dimensões maiores não ofereceram benefícios adicionais.
• Comprimento do Prompt: O modelo foi amplamente insensível ao comprimento do prompt (variando de caracteres únicos a frases completas), embora a riqueza semântica tenha se mostrado mais crítica do que o comprimento.

5. Significância e Alegações

O artigo posiciona o UPLOTS como uma solução escalável e adaptável para aplicações de séries temporais do mundo real. Sua significância reside em:

• Mudança de Paradigma: Movendo-se de modelos fragmentados e específicos de conjuntos de dados para um backbone pré-treinado unificado.
• Eficiência: Alcançando generalização cross-domain e controle preciso de restrições sem o overhead computacional de treinar modelos separados ou a alta latência de pipelines de difusão pura.
• Flexibilidade: Permitindo a geração "sob demanda" de segmentos de séries temporais customizados via prompts de linguagem natural, tornando o sistema altamente adaptável a mudanças de requisitos.

Os autores concluem que o UPLOTS consegue internalizar diversas estruturas temporais e oferece um framework robusto para a geração de séries temporais com restrições, com trabalhos futuros planejados para explorar domínios temporais mais amplos e mudanças de distribuição zero-shot.