Resumo Técnico: Acelerando Modelos de Fundação de Séries Temporais com Decodificação Especulativa

Declaração do Problema

Os modelos de fundação de séries temporais (TSFMs) emergiram como soluções de estado da arte para tarefas de previsão operacional (ex: carga de eletricidade, controle de tráfego) devido à sua capacidade de prever séries não vistas zero-shot com alta precisão. No entanto, sua implantação é dificultada pela latência de inferência. Os TSFMs operam tipicamente via decodificação auto-regressiva de patches, onde o modelo gera uma sequência de patches de $P$ passos um por um. Para prever um horizonte de $H$ passos, o modelo deve realizar $\lceil H/P \rceil$ passagens de ida (forward passes) estritamente sequenciais. Essa dependência sequencial cria um gargalo onde a latência escala linearmente com o horizonte de previsão, contradizendo a necessidade de decisões operacionais de baixa latência.

Embora a decodificação especulativa (SD) tenha acelerado com sucesso os Grandes Modelos de Linguagem (LLMs) usando um modelo "rascunho" (draft) barato para propor tokens que um modelo "alvo" (target) maior verifica em paralelo, a transferência direta para séries temporais não é trivial. A SD padrão depende de vocabulários discretos e probabilidades de tokens. Os TSFMs, contudo, produzem patches contínuos em $\mathbb{R}^d$, frequentemente com cabeças heterogêneas (ponto, quantil, flow-matching) que não expõem densidades de probabilidade explícitas. Além disso, os mecanismos de correção da SD padrão (reamostragem de uma distribuição residual) são computacionalmente proibitivos em espaços contínuos, especialmente quando o rascunho e o alvo concordam frequentemente.

Metodologia

Os autores propõem um framework de Decodificação Especulativa Gaussiana adaptado para a auto-regressão de patches contínuos. O método substitui os ingredientes discretos da SD por análogos contínuos sem modificar os pesos do modelo alvo ou exigir retreinamento.

1. Cabeças de Substituição Gaussianas

Para lidar com cabeças de TSFM heterogêneas, o framework equipa tanto o modelo alvo ($p$) quanto o de rascunho ($q$) com substitutos gaussianos isotrópicos para seus condicionais de próximo patch:
$$p(x | h) = \mathcal{N}(\mu_p(h), \sigma^2 I_d), \quad q(x | h) = \mathcal{N}(\mu_q(h), \sigma^2 I_d)$$
Aqui, $\mu_p$ e $\mu_q$ são as previsões de ponto (saídas brutas, medianas ou médias de flow-matching) dos respectivos modelos. A variância $\sigma^2$ é uma "temperatura de aceitação" fornecida e fixa, não uma saída de modelo aprendida.

2. Regra de Aceitação

Em vez de comparar probabilidades de tokens, o método utiliza um teste de razão de verossimilhança gaussiana no domínio logarítmico. Para uma proposta de rascunho $x_i$ na posição $i$, a estatística de aceitação $\ell_i$ é definida como:
$$\ell_i = -\frac{\|x_i - \mu_p^{(i)}\|_d^2}{2\sigma^2} + \frac{\|x_i - \mu_q^{(i)}\|_d^2}{2\sigma^2} + \frac{1}{2}\log\frac{\sigma_q^2}{\sigma_p^2}$$
onde $\|u\|_d^2 = \frac{1}{d}\|u\|_2^2$ é a energia por dimensão. A proposta é aceita com probabilidade $\alpha_i = \min\{1, e^{\ell_i}\}$.

• Tempero (Tempering): A escala $1/d$ evita que a razão logarítmica degrade em um portão rígido 0/1 conforme a dimensionalidade aumenta, permitindo que $\sigma$ atue como uma temperatura de aceitação ajustável entre diferentes famílias de modelos.
• Propagação de Média: O rascunho propõe sua própria média ($x_i = \mu_q^{(i)}$). Isso evita a injeção de ruído de amostragem, que é prejudicial sob avaliação de erro quadrático.

3. Correção e Fallback

Ao contrário da SD discreta, que reamostra de uma distribuição residual após a rejeição (um processo que diverge em custo quando a aceitação é alta), este método assume a própria previsão do alvo ($\mu_p^{(i)}$) imediatamente após a rejeição.

• Justificativa Teórica: Os autores provam que esta estratégia de "fallback" mantém o patch comprometido dentro de um raio de erro quadrático limitado em relação à previsão apenas do alvo. A reamostragem é evitada porque o custo de uma correção exata em espaços contínuos de alta dimensão supera os benefícios da especulação no regime de alta aceitação.
• Patch Bônus: Se todos os $K$ rascunhos forem aceitos, a $(K+1)$-ésima previsão do alvo (gerada na mesma passagem de verificação) também é comprometida, fornecendo um patch "gratuito".

4. Verificação de Passagem Única

O modelo alvo realiza uma única passagem causal de ida sobre o histórico concatenado e os $K$ patches de rascunho $[h, x_1, \dots, x_K]$. Esta única passagem gera previsões para todos os $K+1$ limites de prefixo, verificando todo o bloco em paralelo.

Principais Contribuições

1. Framework para Patches Contínuos: O artigo introduz o primeiro framework de decodificação especulativa que opera nativamente em densidades de patches contínuos, removendo o gargalo sequencial dos TSFMs sem modificar o modelo alvo.
2. Garantias Teóricas:
   • Lei de Throughput: Deriva uma lei geométrica limitada para o throughput, mostrando que a aceleração depende das taxas de aceitação e da razão de custo alvo-rascunho. Fornece um critério computável para selecionar o tamanho de bloco $K$ ideal.
   • Limite de Fidelidade: Prova que a saída acelerada permanece dentro de um raio de erro quadrático da decodificação apenas do alvo, determinado pela temperatura de aceitação $\sigma$.
   • Previsibilidade: Demonstra que ganhos de velocidade e condições de falha (ex: quando o rascunho é muito caro ou a aceitação é muito baixa) podem ser previstos antes da implantação usando dados de teste (held-out data).
3. Validação Empírica: Instancia o framework em cinco diversas famílias de TSFM (Timer-XL, TimesFM 2.5, Sundial, Time-MoE, TiRex) usando rascunhos que não requerem pré-treinamento específico (exceto por uma variante destilada do Timer-XL).

Resultados Experimentais

O método foi avaliado em benchmarks padrão de previsão de longo horizonte (ETT, Weather, ECL, Traffic, Solar, PEMS).

• Aceleração (Speedup): O framework alcança até 3.0× de aceleração de inferência através das cinco famílias de modelos.
• Acurácia: As previsões aceleradas mantêm a precisão entre o rascunho e o alvo. Em vários casos (ex: Time-MoE no ETTm1), a decodificação especulativa foi mais precisa do que a linha de base apenas do alvo, atribuído à redução do acúmulo de erro via ancoragem periódica à previsão de passo único do alvo.
• Pontos de Operação: Existe uma fronteira monótona entre acurácia e velocidade controlada por $\sigma$. Taxas de aceitação altas (até 97%) foram observadas para modelos com grandes razões de custo alvo-rascunho (ex: Time-MoE).
• Análise de Falha: O artigo identifica modos de falha previsíveis:
  • Portão de Acurácia: Se o rascunho iguala a acurácia do alvo, a especulação não oferece benefício.
  • Estrutura de Custo: Se o rascunho for muito caro em relação ao alvo, ou se o custo de verificação escalar mal com o tamanho do bloco (como visto no TiRex em certos datasets), a aceleração é perdida.

Significância e Alegações

O artigo afirma que a decodificação especulativa não está mais restrita a vocabulários discretos. Ao reconstruir os mecanismos de aceitação, correção e verificação para saídas contínuas, os autores transformam o gargalo sequencial de longo horizonte dos TSFMs em uma oportunidade de paralelismo.

• Livre de Treinamento (Training-Free): A abordagem é amplamente livre de treinamento, reutilizando checkpoints existentes para o alvo e o rascunho.
• Componível: Ela se compõe com otimizações de nível de kernel (ex: FlashAttention) e não requer mudanças arquiteturais nos modelos de fundação.
• Previsível: O método fornece uma base teórica para prever se a especulação valerá a pena para um par de modelos e dataset específico antes da implantação, evitando o método de tentativa e erro em produção.

O trabalho estabelece que, para previsão de séries temporais, onde as saídas são contínuas e a avaliação é tipicamente baseada em erro quadrático, uma abordagem de propagação de média e desvio limitado é superior à reamostragem de resíduo exata, oferecendo um caminho prático para acelerar modelos de fundação para a tomada de decisão operacional em tempo real.