Investigating simple target-covariate relationships for Chronos-2 and TabPFN-TS

Resumen Técnico: Investigación de Relaciones Simples entre Objetivo y Covariables para Chronos-2 y TabPFN-TS

Enunciado del Problema
Los Modelos Fundacionales de Series Temporales (TSFMs) han demostrado recientemente un rendimiento de vanguardia en la predicción univariada sin entrenamiento previo (zero-shot), superando a menudo las líneas base de aprendizaje profundo supervisado. Sin embargo, las aplicaciones del mundo real requieren frecuentemente aprovechar covariables dinámicas (por ejemplo, en los dominios de energía o retail). Aunque arquitecturas recientes como Chronos-2 y TabPFN-TS buscan integrar covariables, las actuales líneas base de gran escala (por ejemplo, fev-bench) ofrecen una visión limitada sobre la eficacia con la que estos modelos capturan dependencias específicas entre objetivo y covariable. Este artículo aborda la brecha en la comprensión de si el fuerte rendimiento en líneas base de estos modelos se traduce en la modelización precisa de relaciones simples y controladas entre objetivos y covariables.

Metodología
Los autores diseñan una serie de experimentos controlados utilizando tareas mínimas específicamente ingenieradas para aislar las dependencias entre objetivo y covariable. El estudio compara dos TSFMs líderes:

1. Chronos-2: Un modelo que utiliza capas de atención temporal y por grupo, preentrenado en datos multivariados sintéticos.
2. TabPFN-TS: Una adaptación del modelo fundacional tabular TabPFN, preentrenado en millones de tareas de regresión sintéticas y adaptado para series temporales mediante características cuidadosamente diseñadas.

La configuración experimental involucra cuatro escenarios distintos a través de conjuntos de datos del mundo real (Electricidad, Solar, Tráfico) y conjuntos de datos sintéticos (Caminata Aleatoria, KernelSynth):

• Identidad: La covariable es idéntica al objetivo.
• Suma: El objetivo es la suma de dos series temporales sintéticas ($Z = X + Y$).
• Agregación: El objetivo es una agregación compleja de series del mundo real ($Z = \sqrt{X} + Y - Z^2$).
• Cuarática: El objetivo sigue una relación cuadrática con entradas sintéticas ($Z = a + bX + cY^2$).
• Extensión Autoregresiva: Un experimento adicional introduce un término de dependencia temporal ($\phi Z_{t-1}$) en la tarea cuadrática para observar el cambio en el rendimiento del modelo a medida que aumenta la dependencia temporal en relación con la dependencia de la covariable.

El rendimiento se evalúa utilizando el Error Cuadrático Medio Normalizado (NMSE) a través de ventanas variables de retroceso ($L$) y horizonte ($H$).

Resultados Clave
Los experimentos arrojan varios hallazgos críticos sobre la capacidad de los modelos para utilizar la información de las covariables:

• Superioridad de TabPFN-TS en Relaciones Simples: En los experimentos de Identidad, Suma y Cuadrática, TabPFN-TS supera consistentemente a Chronos-2, particularmente para horizontes de predicción cortos. En el experimento de Identidad, donde el objetivo se proporciona como una covariable, TabPFN-TS logra errores significativamente menores que Chronos-2, aunque Chronos-2 es un predictor univariado más fuerte de forma aislada.
• Ventaja en Horizontes Cortos: TabPFN-TS demuestra una ventaja marcada en configuraciones de horizontes cortos. Los autores hipotetizan que esto se debe a que las características de entrada y salida en horizontes cortos están distribuidas de manera más similar, asemejándose a los problemas de regresión independientes e idénticamente distribuidos (i.i.d.) encontrados durante el preentrenamiento de TabPFN.
• Robustez de las Características de Covariable: En el experimento de Agregación, eliminar las incrustaciones temporales de TabPFN-TS y depender únicamente de las características de las covariables (TabPFN(cov)) no degradó el rendimiento; de hecho, se convirtió en el modelo más eficiente para configuraciones de corto alcance.
• Cambio en el Rendimiento con Dependencia Temporal: En la extensión autoregresiva, a medida que aumenta el coeficiente $\phi$ (que representa la dependencia temporal), la brecha de rendimiento se estrecha y finalmente se invierte. Chronos-2 comienza a superar a TabPFN-TS a medida que la tarea cambia de un problema de regresión no lineal puro a uno dominado por la estructura temporal. Esto sugiere que la eficacia del modelo depende de la importancia relativa de las relaciones tiempo-a-objetivo frente a las relaciones covariable-a-objetivo.

Significado y Afirmaciones
El artículo afirma que, aunque Chronos-2 domina las líneas base de predicción basadas en covariables a gran escala, este dominio no implica automáticamente una modelización óptima de dependencias simples entre covariable y objetivo. Los resultados indican que TabPFN-TS, aprovechando su preentrenamiento en priores expresivos y extensas tareas de regresión sintéticas, captura estas relaciones específicas de manera más fiable.

Los autores concluyen que existe un potencial significativo para diseñar futuros TSFMs que combinen la modelización explícita de dependencias temporales encontrada en Chronos-2 con las capacidades de regresión en contexto inspiradas por TabPFN-TS. Este enfoque híbrido se presenta como una dirección prometedora para el desarrollo de modelos fundacionales de series temporales más efectivos y conscientes de las covariables.