CoGenCast: A Coupled Autoregressive-Flow Generative Framework for Time Series Forecasting

Resumen Técnico: CoGenCast

Definición del Problema
El pronóstico de series temporales es fundamentalmente un problema generativo que requiere dos capacidades distintas: una comprensión semántica profunda de las condiciones contextuales (p. ej., patrones históricos, conocimiento del dominio, instrucciones de la tarea) y un modelado estocástico de la dinámica temporal continua para capturar la incertidumbre. Los enfoques existentes suelen clasificarse en dos categorías, cada una con limitaciones. Los métodos basados en Grandes Modelos de Lenguaje (LLM) sobresalen en el contexto semántico, pero a menudo dependen de mapeos de regresión simples o carecen de un modelado probabilístico robusto de la dinámica continua. Por el contrario, los modelos de tipo difusión capturan eficazmente la evolución estocástica en espacios continuos, pero suelen tener dificultades con el complejo condicionamiento semántico requerido para diversos escenarios de pronóstico. Ninguno de los dos enfoques por sí solo modela adecuadamente ambos aspectos simultáneamente.

Metodología: CoGenCast
Los autores proponen CoGenCast, un marco generativo híbrido que acopla LLMs preentrenados con un mecanismo de coincidencia de flujo (flow-matching) para abordar estos requisitos duales. El marco opera a través de tres componentes principales:

1. Esqueleto de Codificador-Decodificador Reconfigurado:
   En lugar de entrenar LLMs desde cero, CoGenCast reconfigura LLMs preentrenados de solo decodificador (específicamente la familia Qwen) en un esqueleto nativo de codificador-decodificador para pronósticos mediante la modificación únicamente de la topología de atención.

   • Codificador: Reemplaza la autoatención causal por autoatención bidireccional. Esto permite al modelo comprender exhaustivamente las condiciones contextuales fusionando las ventanas de observación (look-back windows) con características de contexto basadas en texto (conocimiento del dominio, instrucciones de la tarea, estadísticas).
   • Decodificador: Mantiene la autoatención causal para asegurar la causalidad temporal durante la generación autorregresiva. Introduce un mecanismo de atención cruzada que consulta los estados ocultos del codificador, permitiendo que la generación de representaciones futuras esté condicionada por el rico contexto semántico.

2. Mecanismo de Coincidencia de Flujo Acoplado:
   Para modelar la dinámica estocástica continua condicionada por las representaciones generadas de forma autorregresiva, CoGenCast integra un mecanismo de coincidencia de flujo continuo.

   • Velocidad Promedio Condicionada por Intervalo: A diferencia de los modelos estándar de coincidencia de flujo o difusión que estiman la velocidad instantánea en un único punto temporal, CoGenCast modela explícitamente la velocidad promedio sobre un intervalo de tiempo finito $[t, r]$. Esto se logra definiendo una trayectoria de probabilidad lineal entre el ruido gaussiano y los parches futuros limpios.
   • Optimización: El modelo emplea un objetivo corregido por Producto de Jacobiano-Vector (JVP) para guiar el aprendizaje de esta velocidad promedio, reduciendo los errores asociados con la estimación instantánea local y la integración numérica gruesa.

3. Inferencia de un Solo Paso:
   Una ventaja arquitectónica clave es la capacidad de realizar una generación de un solo paso. Al aprender una velocidad promedio condicionada por el intervalo, el proceso de transporte desde el ruido hacia la predicción limpia puede aproximarse dentro de una única evaluación de función (paso Euler). Esto elimina la necesidad de un muestreo iterativo, reduciendo significativamente la latencia de inferencia mientras mantiene una alta precisión. Durante la inferencia, los parches futuros se generan de forma autorregresiva, utilizando cada paso el mecanismo de coincencia de flujo de un solo paso.

Contribuciones Clave

• Reconfiguración Arquitectónica: El artículo demuestra que los LLM preentrenados de solo decodificador pueden ser reasignados eficazmente como codificadores-decodificadores de pronóstico únicamente mediante modificaciones en la topología de atención, permitiendo tanto la codificación de contexto bidireccional como la generación de representaciones causales.
• Marco Híbrido: CoGenCast acopla con éxito las capacidades de razonamiento semántico de los LLM con el modelado probabilístico continuo de la coincidencia de flujo, abordando la brecha entre la comprensión semántica y la dinámica estocástica.
• Generación Eficiente: El marco introduce un objetivo novedoso para la velocidad promedio condicionada por el intervalo, permitiendo una generación de un solo paso de alta calidad y baja latencia sin necesidad de muestreo iterativo.
• Soporte Multimodal y Transdominio: El marco soporta naturalmente el pronóstico multimodal (series temporales numéricas + contexto textual) y demuestra efectividad en entornos de entrenamiento unificado transdominio.

Resultados Experimentales
Se realizaron experimentos extensos en diez conjuntos de datos diversos que cubren los dominios de energía, medio ambiente, finanzas, salud y electricidad.

• Desempeño: CoGenCast logró un desempeño competitivo, superando consistentemente a métodos representativos basados en LLM (p. ej., TokenCast, Time-LLM), basados en generación (p. ej., FlowTS, CDPM) y basados en aprendizaje profundo (p. ej., PatchTST, iTransformer). En promedio, mostró una reducción de aproximadamente un 10% en MSE comparado con enfoques basados en LLM y casi un 19% comparado con enfoques basados en generación.
• Estudios de Ablación: Los resultados confirmaron que la arquitectura completa de codificador-decodificador es superior a las variantes de solo codificador o solo decodificador. Además, eliminar tanto el mecanismo autorregresivo (AR) como el componente de coincencia de flujo provocó una degradación significativa en el desempeño, validando la necesidad de acoplar tanto la comprensión semántica como el modelado de la dinámica estocástica continua.
• Eficiencia: A pesar de utilizar un esqueleto de LLM, CoGenCast demostró una menor latencia de inferencia que otros métodos basados en LLM debido a su mecanismo de generación de un solo paso. Logró un desempeño comparable al de los métodos de muestreo de múltiples pasos con una sola evaluación de función.
• Escalabilidad: El modelo mostró un desempeño mejorado con ventanas de observación extendidas y mantuvo la estabilidad en escenarios de pronóstico a largo plazo, superando a los modelos de referencia en horizontes extendidos.

Significancia y Reivindicaciones
El artículo afirma que CoGenCast cierra la brecha crítica entre la comprensión semántica y el modelado estocástico continuo en el pronóstico de series temporales. Al linealizar la dinámica generativa mediante la velocidad promedio condicionada por el intervalo, el marco establece una trayectoria temporal directa y estable que es resoluble con una única evaluación de función. Los autores posicionan a CoGenCast no meramente como una mejora incremental, sino como un cambio estructural que aprovecha la sinergia entre los LLM preentrenados y la coincidencia de flujo para lograr un pronóstico de alta precisión y baja latencia. El trabajo sugiere que un pronóstico eficaz se beneficia de la captura simultánea de dependencias estructurales (vía LLMs) y dinámicas temporales (vía coincidencia de flujo), ofreciendo una perspectiva valiosa para la investigación futura en este dominio. Los autores enfatizan que, si bien el método muestra un fuerte potencial, debe utilizarse con la validación adecuada de expertos en el dominio y la evaluación de la incertidumbre en despliegues del mundo real.