Resumen Técnico: ¿Ayuda la Datos Sintética? Evidencia Empírica de Modelos de Pronóstico de Series Temporales con Aprendizaje Profundo

Declaración del Problema

Si bien los datos sintéticos han revolucionado el entrenamiento de Modelos de Lenguaje Grandes (LLM) y sistemas de visión por computadora, su eficacia en el pronóstico de series temporales sigue siendo poco comprendida. A diferencia de los datos de texto, que pueden extraerse a gran escala, los datos de series temporales a menudo están bloqueados detrás de muros de pago o residen en servidores privados, creando un cuello de botella para el entrenamiento de modelos fundamentales. Aunque los principales modelos de pronóstico (por ejemplo, Chronos, TimesFM, MOIRAI) han comenzado a incorporar datos sintéticos, no existe un consenso sobre cómo utilizarlos de manera efectiva. Específicamente, no está claro qué tipos de generadores se transfieren bien, qué cantidades son beneficiosas, si la programación del currículo importa, y si la augmentación sintética ayuda cuando los datos reales son abundantes versus cuando son escasos. Este artículo aborda la brecha entre la promesa teórica de los datos sintéticos y la realidad empírica de su impacto en diversas arquitecturas de aprendizaje profundo.

Metodología

Los autores realizaron un estudio empírico a gran escala que comprendió 4.218 ejecuciones experimentales organizadas en nueve grupos experimentales distintos. El estudio evaluó cinco arquitecturas de última generación en siete conjuntos de datos reales de pronóstico a largo plazo (incluyendo ETTh1/2, ETTm1/2, Weather, Electricity y Traffic).

1. Generador de Datos Sintéticos

El núcleo de la metodología es un generador de series temporales sintéticas controlable y condicionado por la dificultad, con tres componentes principales:

• Sistema de Paquetes: Define el arquetipo temporal de los canales univariados. Se crearon cuatro paquetes para representar los patrones principales del mundo real:
  • Estacional-Tendencia (ST): Combina estacionalidad de Fourier, tendencias deterministas y residuos autorregresivos.
  • Régimen No Estacionario (NR): Procesos AR con cambio de Markov con rupturas estructurales.
  • Memoria Larga (LM): Autocorrelaciones de decaimiento lento mediante ARFIMA o movimiento browniano fraccional.
  • Eventos de Volatilidad (VE): Dinámicas financieras modeladas mediante procesos GARCH y Hawkes.
• Condicionamiento de Dificultad: Un escalar $d \in [0, 1]$ modula la complejidad (por ejemplo, número de armónicos, fuerza de la tendencia, niveles de ruido).
• Correlación entre Canales: Un envoltorio de factor latente ($p_{latent}$) transforma los canales generados independientemente para introducir correlaciones intervariables, imitando estructuras multivariadas reales.
• Asignación de Varianza: Los componentes se mezclan utilizando pesos distribuidos Dirichlet para garantizar contribuciones controladas a la varianza total de salida.

2. Diseño Experimental

El estudio varió sistemáticamente cinco factores en los nueve grupos:

• Escasez de Datos: Simulada reteniendo solo una fracción ($s \in \{0.10, 0.25, 0.50\}$) de las ventanas de entrenamiento reales.
• Ratio de Augmentación: El volumen de datos sintéticos añadidos en relación con el tamaño del conjunto de datos original ($r_{synth} \in \{0.25, 0.50, 1.0, 2.0\}$).
• Programación del Currículo: Se probaron programas de recocido "duros" (interruptor binario) frente a "graduales" (interpolación lineal), incluidas las direcciones sintético-a-real y real-a-sintético.
• Selección de Paquetes: Se aisló el impacto de tipos de paquetes específicos (ST, NR, LM, VE).
• Correlación Latente: Se varió la probabilidad de aplicar correlación entre canales.

3. Modelos y Métricas

Se probaron cinco arquitecturas: DLinear y PatchTST (independientes de canales), SegRNN (basado en RNN), y TimesNet e iTransformer (mezcla de canales). El rendimiento se midió utilizando el Error Cuadrático Medio (MSE) en conjuntos de prueba reales retenidos para horizontes $H=96$ y $H=336$.

Contribuciones Clave

1. Un Generador Controlable: Un nuevo generador de series temporales sintéticas con cuatro tipos de paquetes condicionados por la dificultad y asignación de varianza Dirichlet, capaz de simular estacionalidad, cambios de régimen, memoria larga y volatilidad.
2. Evidencia Empírica a Gran Escala: Un estudio exhaustivo de 4.218 ejecuciones en nueve grupos experimentales, cinco arquitecturas y siete conjuntos de datos, proporcionando el primer análisis sistemático de datos sintéticos en el pronóstico de series temporales.
3. Hallazgos Condicionales a la Arquitectura: La identificación de la arquitectura del modelo como el determinante principal del éxito o fracaso, ofreciendo directrices concretas para la selección de paquetes, programación y despliegue.

Resultados

1. La Arquitectura es el Factor Decisivo

El efecto de los datos sintéticos es agudamente condicional a la arquitectura del modelo:

• Modelos de Mezcla de Canales (Beneficiosos): TimesNet e iTransformer mejoraron consistentemente con la augmentación sintética. TimesNet mejoró en el 67% de los ensayos, e iTransformer en el 71%. Estos modelos se benefician de las características espectrales diversas y la diversidad intercanal proporcionadas por los lotes sintéticos.
• Modelos Independientes de Canales (Perjudiciales): DLinear, PatchTST y SegRNN fueron degradados consistentemente por los datos sintéticos. DLinear, por ejemplo, vio una degradación media del MSE del 19.2%. Estos modelos procesan los canales de forma aislada, lo que lleva a desajustes de distribución sin compensación estructural.
• Impacto Agregado: En todas las arquitecturas y configuraciones, la augmentación sintética perjudicó el rendimiento en el 67% de los ensayos.

2. Configuraciones de Bajo Recurso

En escenarios con datos reales escasos ($s \le 0.25$), la augmentación sintética puede producir ganancias notables para arquitecturas receptivas:

• Superando las Líneas Base de Datos Completas: TimesNet entrenado con solo el 10% del conjunto de datos Weather con augmentación sintética logró un MSE menor (0.2841) que la línea base real solo con datos completos (0.2850).
• Recuperación: Para iTransformer, la augmentación al 10% de escasez recuperó el 42.8% de la brecha de rendimiento entre los modelos con datos escasos y los de datos completos.

3. Perspectivas de Ablación

• Tipo de Paquete: El paquete Estacional-Tendencia (ST) fue el menos dañino (y más beneficioso) en los benchmarks, alineándose con la dinámica estacional-tendencia dominante de los conjuntos de datos de prueba. Los paquetes NR, LM y VE causaron una mayor degradación debido al desajuste de distribución (por ejemplo, introducir volatilidad o cambios de régimen no presentes en los datos objetivo).
• Programación del Currículo: El recocido gradual (sintético $\to$ real) funcionó de manera similar a la mezcla estática. Sin embargo, los programas de interruptor duro (cambiar abruptamente de datos sintéticos a reales a mitad del entrenamiento) fueron catastróficos, aumentando el MSE en un 23.6% en comparación con la mezcla estática.
• Condicionamiento de Dificultad: Los niveles de dificultad tuvieron un impacto menor; la dificultad uniforme funcionó marginalmente mejor que las distribuciones duras.
• Correlación Latente: Introducir correlación entre canales ($p_{latent}$) redujo monótonamente la degradación, particularmente para conjuntos de datos de alta dimensión. Se sugiere un valor de $p_{latent} = 0.5$ como configuración predeterminada segura.
• Eficiencia de Caché: Se encontró que pregenerar una caché fija de 500 muestras es prácticamente equivalente a la generación sobre la marcha en términos de rendimiento, mientras reduce la sobrecarga computacional.

Significado y Afirmaciones

El artículo afirma proporcionar directrices concretas y accionables para integrar datos sintéticos en pipelines de pronóstico de series temporales, superando la suposición de que "más datos es siempre mejor".

• Selección de Arquitectura: Los autores afirman que la arquitectura es el predictor más fuerte del resultado. La augmentación sintética debe priorizarse para arquitecturas de mezcla de canales (CNN, atención multivariada) y evitarse para modelos independientes de canales.
• Despliegue Estratégico: El estudio concluye que los datos sintéticos son más efectivos en configuraciones de bajo recurso para arquitecturas receptivas, donde pueden igualar o incluso superar el rendimiento con datos completos.
• Mejores Prácticas Operativas: El artículo aconseja explícitamente en contra de los programas de currículo de interruptor duro y recomienda el paquete Estacional-Tendencia como una configuración predeterminada segura para tareas de pronóstico a largo plazo.
• Contextualización de Modelos Fundamentales: Los autores concilian sus hallazgos con modelos como Chronos2, señalando que el éxito de los datos sintéticos en el preentrenamiento (donde los modelos ven millones de series diversas) difiere del ajuste fino (donde los modelos tienen pocos épocas para conciliar desajustes de distribución). Sus resultados sugieren que los datos sintéticos ayudan específicamente cuando la arquitectura del modelo está diseñada para aprender de interacciones conjuntas de canales, una condición cumplida por los transformadores fundamentales modernos pero no por modelos lineales más simples o independientes de canales.

El estudio enfatiza que, si bien los datos sintéticos no son una panacea universal, son una herramienta poderosa cuando se aplican con conciencia arquitectónica y programación adecuada.