Resumo Técnico: TempoWave – Embeddings Numéricos de Multi-Wavelet para Previsão de Séries Temporais

1. Definição do Problema

A integração de Grandes Modelos de Linguagem (LLMs) na previsão de séries temporais enfrenta um descompasso arquitetural fundamental. Os LLMs são otimizados para a predição de tokens discretos, enquanto a previsão de séries temporais exige a modelagem precisa de valores numéricos contínuos. Métodos de tokenização padrão orientados à linguagem (por exemplo, decompor "2026" em "20" e "26") fragmentam números em sub-tokens que não estão vinculados à sua magnitude. Essa fragmentação quebra as relações ordinais, obscurece a continuidade intrínseca aos processos temporais e introduz semelhanças espúrias entre valores numericamente distantes. Consequentemente, a camada de tradução entre sequências de valores reais e tokens discretos torna-se um gargalo principal, levando frequentemente a comportamentos numéricos não confiáveis, mesmo quando o modelo captura padrões temporais de alto nível.

Tentativas existentes para preencher essa lacuna — como modelos de fundação especializados, sistemas agênticos que acoplam LLMs a ferramentas, ou adaptações de entrada como patching e quantização — muitas vezes abdicam da fidelidade numérica, obscurecem variações finas ou dependem de componentes externos que reduzem a diferenciabilidade de ponta a ponta (end-to-end). Permanece uma lacuna persistente na representação de valores numéricos contínuos dentro do espaço de entrada padrão do transformer de uma maneira principada e preservadora de informação.

2. Metodologia: TempoWave

Os autores propõem o TempoWave (Multi-Wavelet Number Embedding), uma interface de dígitos de wavelet temporal plug-and-play projetada para mapear observações escalares em embeddings de vetores densos construídos a partir de coeficientes de multi-wavelet e multi-escala.

Mecanismo Central

• Tokenização ao Nível do Dígito: Em vez de tokenizar números inteiros, os valores da série temporal de entrada são renderizados em strings de precisão fixa (ex: $V.FFFF$). Cada dígito ($d \in \{0, \dots, 9\}$) é tratado como um token individual.
• Construção de Embedding Baseada em Wavelets:
  • Representação de Sinal: Cada dígito $d$ é normalizado para $\tilde{d} \in [0, 1]$ e representado como um impulso discreto (delta de Kronecker) em uma grade fixa.
  • Coeficientes de Multi-Wavelet: O sinal do dígito é projetado em uma família predefinida de wavelets $\Psi$ (ex: Haar, db4, Morlet) através de múltiplas escalas $S$. O coeficiente de wavelet para um dígito $d$ na wavelet $\psi_i$ e escala $s_j$ é computado como o produto interno do sinal do dígito e da wavelet amostrada: $W_{\psi_i, s_j}(d) = \langle f_d, \psi_{i, s_j} \rangle$.
  • Geração de Embedding: Esses coeficientes são concatenados em um vetor de características $\phi(d)$ e mapeados para a dimensão de embedding $D$ do LLM via uma função de alinhamento fixa $g(\cdot)$. Isso produz um embedding de dígito $E(d) \in \mathbb{R}^D$.
• Integração: Os embeddings de tokens padrão para as posições dos dígitos na sequência de entrada são substituídos por esses vetores $E(d)$ computados, enquanto os tokens de texto e contexto mantêm os embeddings padrão. O backbone do LLM permanece inalterado e é treinado via Ajuste Fino Supervisionado (SFT) para prever futuros tokens numéricos.

Princípios de Design

• Fidelidade Estrutural: Ao codificar dígitos através de padrões multi-escala estruturados em vez de magnitudes escalares brutas, o TempoWave garante que a identidade numérica seja determinada por padrões relativos. Isso torna os embeddings robustos às camadas de normalização (ex: LayerNorm, RMSNorm) comumente usadas em transformers, que tipicamente reescalonam e recentralizam os embeddings.
• Consistência de Vizinhança Monotônica: A construção multi-wavelet induz um código de dígitos com separabilidade melhorada. A análise teórica sugere que a concatenação de coeficientes através de pares de escala-wavelet aumenta as distâncias entre pares de embeddings de dígitos, garantindo uma recuperação de vizinho mais próximo robusta e preservando a ordenação numérica.

3. Principais Contribuições

1. Uma Interface Numérica Baseada em Wavelets: O TempoWave permite o uso direto de backbones de LLM padrão para previsão numérica sem depender da tokenização de linguagem para números, preenchendo efetivamente a lacuna de modalidade.
2. Representações Fiéis e Estáveis: O método estabelece propriedades relacionadas à fidelidade numérica e estabilidade, incluindo melhor separabilidade entre valores e robustez a operações de normalização comuns.
3. Avaliação Abrangente com Diagnósticos: Os autores fornecem experimentos extensos em diversos benchmarks e introduzem análises diagnósticas (ex: sondagem da consistência de vizinhança monotônica) para explicar como a interface de embedding remodela as vizinhanças numéricas dentro do modelo.

4. Resultados Experimentais

Os autores avaliaram o TempoWave em cinco benchmarks de previsão enriquecidos com contexto:

• Datasets: AUL (eletricidade da Austrália), BIT (Bitcoin), MSPG (energia solar de Melbourne), PTF (fluxo de tráfego de Paris) e LEU (uso de eletricidade de Londres). Esses conjuntos de dados pareiam séries temporais históricas com contexto textual ou baseado em eventos (ex: notícias, clima, datas).
• Baselines: Comparações incluíram tokenização padrão de LLM, interfaces de embedding alternativas (ex: interface baseada em Fourier, FoNE), modelos especializados de séries temporais (DLinear, Autoformer, TimesNet) e modelos de fundação de séries temporais (Chronos, Moirai).
• Desempenho:
  • O TempoWave alcançou um novo estado da arte (SOTA) em 7 de 10 métricas reportadas (RMSE e MAE) nos cinco datasets.
  • Classificou-se entre os dois melhores em todas as métricas.
  • Em relação ao melhor método anterior, o TempoWave gerou uma melhoria relativa média de 7,0% no MAE, com ganhos significativos no LEU (14,4%) e AUL (11,2%).
  • Demonstrou robustez superior em datasets não estacionários e impulsionados por eventos (ex: Bitcoin) comparado a interfaces baseadas em Fourier.
• Estudos de Ablação:
  • Contexto: A incorporação de informações contextuais ricas (características Catch22, contexto situacional) melhorou consistentemente o desempenho, com a configuração de contexto total apresentando os melhores resultados.
  • Alinhamento de Embedding: A análise das distribuições de diferença de ID de token mostrou que o TempoWave produz uma distribuição unimodal suave centrada em zero, indicando forte proximidade local e alinhamento com a dinâmica subjacente das séries temporais. Em contraste, os baselines exibiram distribuições mais planas ou picos anômalos, sugerindo alinhamento ou overfitting mais fraco.

5. Significância e Alegações

O artigo postula que a interface numérica é um gargalo chave na previsão de séries temporais baseada em LLM. Ao introduzir o TempoWave, os autores demonstram que embeddings de multi-resolução principados podem acoplar melhor a capacidade de raciocínio contextual de um LLM com a previsão numérica precisa.

A significância deste trabalho reside em:

• Preservação da Estrutura Numérica: Oferece um método para representar valores contínuos que respeita relações ordinais e estruturas temporais de multi-escala (flutuações locais e tendências globais) dentro da arquitetura discreta do transformer.
• Robustez: Aborda a fragilidade do raciocínio numérico em LLMs sob normalização e mudanças de distribuição.
• Generalização: Mostra que backbones de LLM padrão, quando equipados com uma interface numericamente fundamentada, podem superar modelos especializados de séries temporais, particularmente em cenários que exigem a integração de sinais textuais heterogêneos (previsão consciente de contexto).

Os autores concluem que, embora desafios permaneçam, o TempoWave fornece um caminho para uma previsão baseada em LLM mais fiel e confiável, sugerindo que trabalhos futuros possam explorar sua aplicabilidade em pipelines não-contextuais que dependem de discretização.