Resumen Técnico: Aceleración de Modelos Fundacionales de Series Temporales mediante Decodificación Especulativa

Planteamiento del Problema

Los modelos fundacionales de series temporales (TSFM, por sus siglas en inglés) han emergido como soluciones de vanguardia para tareas de pronóstico operativo (por ejemplo, carga de electricidad, control de tráfico) debido a su capacidad para pronosticar series no vistas zero-shot con alta precisión. Sin embargo, su despliegue se ve obstaculizado por la latencia de inferencia. Los TSFM operan típicamente mediante decodificación auto-regresiva por parches (patch-autoregressive decoding), donde un modelo genera una secuencia de parches de $P$ pasos uno por uno. Para pronosticar un horizonte de $H$ pasos, el modelo debe realizar $\lceil H/P \rceil$ pasadas hacia adelante estrictamente secuenciales. Esta dependencia secuencial crea un cuello de botella donde la latencia escala linealmente con el horizonte de pronóstico, contradiciendo la necesidad de decisiones operativas de baja latencia.

Si bien la decodificación especulativa (SD) ha acelerado con éxito los Modelos de Lenguaje Extensos (LLM) utilizando un modelo "borrador" (draft) económico para proponer tokens que un modelo "objetivo" (target) más grande verifica en paralelo, la transferencia directa a las series temporales no es trivial. La SD estándar depende de vocabularios discretos y probabilidades de tokens. Los TSFM, sin embargo, producen parches continuos en $\mathbb{R}^d$, a menudo con cabezales heterogéneos (punto, cuantiles, flow-matching) que no exponen densidades de probabilidad explícitas. Además, los mecanismos de corrección de la SD estándar (remuestreo de una distribución residual) son computacionalmente prohibitivos en espacios continuos, especialmente cuando el borrador y el objetivo coinciden frecuentemente.

Metodología

Los autores proponen un marco de Decodificación Especulativa Gaussiana adaptado para la auto-regresión de parches continuos. El método reemplaza los ingredientes discretos de la SD con análogos continuos sin modificar los pesos del modelo objetivo ni requerir reentrenamiento.

1. Cabezales de Sustitución Gaussianos

Para manejar los cabezales heterogéneos de los TSFM, el marco equipa tanto al modelo objetivo ($p$) como al borrador ($q$) con sustitutos gaussianos isotrópicos para sus condicionales del siguiente parche:
$$p(x | h) = \mathcal{N}(\mu_p(h), \sigma^2 I_d), \quad q(x | h) = \mathcal{N}(\mu_q(h), \sigma^2 I_d)$$
Aquí, $\mu_p$ y $\mu_q$ son las predicciones puntuales (salidas puras, medianas o medias de flow-matching) de los respectivos modelos. La varianza $\sigma^2$ es una "temperatura de aceptación" suministrada y fija, no una salida del modelo aprendida.

2. Regla de Aceptación

En lugar de comparar probabilidades de tokens, el método utiliza una prueba de razón de verosimilitud gaussiana en el dominio logarítmico. Para una propuesta de borrador $x_i$ en la posición $i$, el estadístico de aceptación $\ell_i$ se define como:
$$\ell_i = -\frac{\|x_i - \mu_p^{(i)}\|_d^2}{2\sigma^2} + \frac{\|x_i - \mu_q^{(i)}\|_d^2}{2\sigma^2} + \frac{1}{2}\log\frac{\sigma_q^2}{\sigma_p^2}$$
donde $\|u\|_d^2 = \frac{1}{d}\|u\|_2^2$ es la energía por dimensión. La propuesta se acepta con una probabilidad $\alpha_i = \min\{1, e^{\ell_i}\}$.

• Templado (Tempering): El escalado $1/d$ evita que la razón logarítmica se degrade en una compuerta rígida 0/1 a medida que aumenta la dimensionalidad, permitiendo que $\sigma$ actúe como una temperatura de aceptación ajustable a través de diferentes familias de modelos.
• Propagación de la Media: El borrador propone su media ($x_i = \mu_q^{(i)}$). Esto evita la inyección de ruido de muestreo, lo cual es perjudicial bajo una evaluación de error cuadrático.

3. Corrección y Retroceso (Fallback)

A diferencia de la SD discreta, que remuestrea desde una distribución residual tras un rechazo (un proceso cuyo costo diverge cuando la aceptación es alta), este método compromete la propia predicción del objetivo ($\mu_p^{(i)}$) inmediatamente tras un rechazo.

• Justificación Teórica: Los autores demuestran que esta estrategia de "retroceso" mantiene el parche comprometido dentro de un radio de error cuadrático acotado respecto al pronóstico de solo el objetivo. Se evita el remuestreo porque el costo de la corrección exacta en espacios continuos de alta dimensión supera los beneficios de la especulación en el régimen de alta aceptación.
• Parche de Bonificación: Si todas las $K$ propuestas son aceptadas, la predicción $(K+1)$ del objetivo (generada en la misma pasada de verificación) también se compromete, proporcionando un parche "gratuito".

4. Verificación de Pasada Única

El modelo objetivo realiza una única pasada causal hacia adelante sobre el historial concatenado y los $K$ parches del borrador $[h, x_1, \dots, x_K]$. Esta única pasada genera predicciones para todos los límites de prefijo $K+1$, verificando todo el bloque en paralelo.

Contribuciones Clave

1. Marco para Parches Continuos: El artículo introduce el primer marco de decodificación especulativa que opera nativamente sobre densidades de parches continuos, eliminando el cuello de botella secuencial de los TSFM sin modificar el modelo objetivo.
2. Garantías Teóricas:
   • Ley de Rendimiento (Throughput Law): Deriva una ley geométrica acotada para el rendimiento, mostrando que la aceleración depende de las tasas de aceptación y la relación de costo entre el borrador y el objetivo. Proporciona un criterio computable para seleccionar el tamaño de bloque óptimo $K$.
   • Límite de Fidelidad: Demuestra que el pronóstico acelerado se mantiene dentro de un radio de error cuadrático del decodificación de solo el objetivo, determinado por la temperatura de aceptación $\sigma$.
   • Predictibilidad: Demuestra que las aceleraciones y las condiciones de fallo (por ejemplo, cuando el borrador es demasiado costoso o la aceptación es demasiado baja) pueden predecirse antes del despliegue utilizando datos de validación.
3. Validación Empírica: Instancia el marco en cinco familias diversas de TSFM (Timer-XL, TimesFM 2.5, Sundial, Time-MoE, TiRex) utilizando borradores que no requieren un preentrenamiento específico (excepto por una variante destilada de Timer-XL).

Resultados Experimentales

El método fue evaluado en diversos bancos de pruebas de pronóstico de largo horizonte (ETT, Weather, ECL, Traffic, Solar, PEMS).

• Aceleración (Speedup): El marco logra hasta un 3.0× de aceleración de inferencia a través de las cinco familias de modelos.
• Precisión: Los pronósticos acelerados mantienen la precisión entre el borrador y el objetivo. En varios casos (por ejemplo, Time-MoE en ETTm1), la decodificación especulativa fue más precisa que la línea base de solo el objetivo, atribuido a la reducción de la acumulación de error mediante el reanclaje periódico a la predicción de un solo paso del objetivo.
• Puntos de Operación: Existe una frontera monótona entre la precisión y la velocidad controlada por $\sigma$. Se observaron altas tasas de aceptación (hasta el 97%) para modelos con grandes relaciones de costo objetivo-borrador (por ejemplo, Time-MoE).
• Análisis de Fallos: El artículo identifica modos de fallo predecibles:
  • Puerta de Precisión: Si el borrador iguala la precisión del objetivo, la especulación no ofrece beneficio.
  • Estructura de Costos: Si el borrador es demasiado costoso en relación con el objetivo, o si el costo de verificación escala mal con el tamaño del bloque (como se observa en TiRex en ciertos conjuntos de datos), se pierde la aceleración.

Significado y Reivindicaciones

El artículo sostiene que la decodificación especulativa ya no está restringida a vocabularios discretos. Al reconstruir los mecanismos de aceptación, corrección y verificación para salidas continuas, los autores transforman el cuello de botella secuencial de largo horizonte de los TSFM en una oportunidad de paralelismo.

• Libre de Entrenamiento (Training-Free): El enfoque es mayormente libre de entrenamiento, reutilizando los checkpoints existentes para el objetivo y el borrador.
• Componibilidad: Se compone con optimizaciones a nivel de kernel (por ejemplo, FlashAttention) y no requiere cambios arquitectónicos en los modelos fundacionales.
• Predictibilidad: El método proporciona una base teórica para predecir si la especulación valdrá la pena para un par de modelos y un conjunto de datos determinado antes del despliegue, evitando el ensayo y error en producción.

Este trabajo establece que para el pronóstico de series temporales, donde las salidas son continuas y la evaluación se basa típicamente en el error cuadrático, un enfoque de propagación de la media y desviación acotada es superior al remuestreo de residuo exacto, ofreciendo un camino práctico para acelerar los modelos fundacionales para la toma de decisiones operativas en tiempo real.