Factorize to Generalize: Retrieval-Guided Invariant-Dynamic Decomposition for Time Series Forecasting

Resumen Técnico: Factorizar para Generalizar (RIDDE)

Enunciado del Problema
Los Modelos Fundacionales de Series Temporales (TSFMs) han demostrado capacidades sólidas de pronóstico sin entrenamiento previo (zero-shot) mediante el preentrenamiento a gran escala y la predicción aumentada por recuperación. Sin embargo, los autores identifican una limitación no trivial en los enfoques basados en recuperación existentes: la recuperación tiende a inducir predicciones más oscilatorias. Si bien esto mejora el rendimiento en series altamente fluctuantes, degrada la precisión en series más suaves, dominadas por tendencias. El análisis empírico revela que la recuperación reduce los errores en los componentes de alta frecuencia (estacionales) pero aumenta los errores en los componentes de baja frecuencia (tendencia). Esto sugiere que la información recuperada se fusiona en la predicción sin distinguir explícitamente entre estructuras temporales estables (invariantes a través de entornos) y variaciones específicas de la instancia (dinámicas). En consecuencia, los modelos estándar aprenden representaciones entrelazadas que reducen la robustez bajo cambios de distribución.

Metodología: Marco RIDDE
Los autores proponen RIDDE (Descomposición Invariante-Dinámica Guiada por Recuperación), un marco que cambia el papel de la recuperación de un contexto predictivo directo a una señal estructural para la descomposición de representaciones. La intuición central es que las secuencias recuperadas actúan como muestras implícitas de entornos relacionados; si bien comparten mecanismos subyacentes con la consulta, sus variaciones dinámicas difieren.

El marco opera a través de las siguientes etapas:

1. Aprendizaje de Representación Guiado por Recuperación:

   • La secuencia de consulta de entrada se divide en parches y se codifica.
   • Las $K$ secuencias más similares se recuperan de una base de conocimientos basándose en la similitud coseno en el espacio latente.
   • En lugar de reutilizar directamente los contextos recuperados, los horizontes futuros de estas muestras recuperadas se proyectan en un espacio latente compartido y se agregan mediante un mecanismo de atención. Esto produce una representación de consenso ($h_{ret}$) que enfatiza patrones consistentemente alineados con la consulta, reduciendo efectivamente la varianza de las fluctuaciones específicas de la muestra.
   • Un mecanismo de puerta aprendible fusiona la representación intrínseca de la consulta ($q$) con el consenso de recuperación ($h_{ret}$) para formar una representación fusionada ($h$).

2. Descomposición Invariante-Dinámica:

   • Un mecanismo de enrutamiento guiado por recuperación descompone la representación fusionada $h$ en dos componentes:
     • Componente Invariante ($z_{inv}$): Se alienta a preservar estructuras estables respaldadas en las muestras recuperadas.
     • Componente Dinámico ($z_{dyn}$): Se alienta a capturar desviaciones específicas de la consulta y variaciones residuales.
   • Esta descomposición se guía mediante una puerta de enrutamiento condicionada tanto a la representación fusionada como al consenso de recuperación, sesgando la división hacia la información estructural proporcionada por la recuperación.

3. Pronóstico Consciente del Mecanismo:

   • Los componentes invariante y dinámico son procesados por predictores separados ($f_{inv}$ y $f_{dyn}$).
   • La predicción final se obtiene fusionando las salidas de estas vías separadas, permitiendo que el modelo equilibre patrones transferibles con la adaptabilidad a dinámicas evolutivas.

4. Objetivos de Entrenamiento:

   • El modelo se entrena utilizando una pérdida de predicción ($L_{pred}$) para minimizar el error de pronóstico.
   • Se introduce un regularizador de desentrelazado basado en ortogonalidad ($L_{dis}$) para reducir la superposición entre los factores invariantes y dinámicos, actuando como una restricción geométrica débil para fomentar una descomposición estructurada.

Perspectiva Teórica
El artículo proporciona una perspectiva teórica basada en la reducción de varianza. Al agregar múltiples muestras recuperadas, la representación de consenso aproxima la estructura latente compartida ($\mu$) mientras reduce la varianza del ruido específico de la muestra ($\epsilon_k$). Esta agregación sirve como un ancla de baja varianza, motivando su uso como guía estructural para separar factores invariantes y dinámicos sin requerir supervisión explícita del entorno.

Contribuciones Clave

• Identificación de Limitación: Los autores identifican que el pronóstico aumentado por recuperación introduce un sesgo estructural hacia fluctuaciones de alta frecuencia, debilitando el modelado de tendencias estables.
• Marco RIDDE: Propone un marco novedoso que utiliza la recuperación como una señal estructural para la descomposición de representaciones en lugar de meramente como contexto predictivo auxiliar.
• Mecanismo de Enrutamiento: Desarrolla un mecanismo basado en enrutamiento que descompone las representaciones conscientes de la recuperación en componentes invariantes y dinámicos, respaldado por un regularizador para fomentar la separación de ramas.
• Validación Empírica: Demuestra mejoras consistentes en la robustez y el rendimiento de pronóstico sin entrenamiento previo bajo cambios de distribución en diversos puntos de referencia.

Resultados Experimentales
Se realizaron experimentos extensos en siete conjuntos de datos de referencia (ETTh1, ETTh2, ETTm1, ETTm2, Weather, Electricity, Exchange) utilizando un escenario sin entrenamiento previo.

• Rendimiento: RIDDE logró el MSE y MAE promedio más bajos en todos los conjuntos de datos, superando a siete TSFMs existentes (incluyendo Chronos, MOMENT, TimesFM) y tres baselines basados en RAG (RAF, TS-RAG, Cross-RAG).
• Estudios de Ablación: Eliminar la Descomposición Invariante-Dinámica (IDD) o la pérdida de desentrelazado ($L_{dis}$) resultó en una degradación significativa del rendimiento, confirmando la necesidad de ambos componentes.
• Eficiencia: RIDDE demostró tiempos promedio por paso y tiempo de entrenamiento por época más bajos en comparación con las baselines basadas en RAG, con un uso de memoria de GPU pico comparable, atribuido a su diseño ligero de puertas y descomposición.
• Sensibilidad: El modelo mostró un rendimiento robusto en un rango de hiperparámetros, particularmente en lo que respecta al número de secuencias recuperadas ($K$) y el parámetro de escala ($\rho$).

Significado
El artículo argumenta que la efectividad de la recuperación en el pronóstico de series temporales no es uniforme; puede sesgar inadvertidamente los modelos hacia patrones oscilatorios. Al replantear la recuperación como una herramienta para la descomposición de representaciones, RIDDE permite a los modelos preservar estructuras temporales transferibles mientras permanecen adaptables a dinámicas específicas. Este enfoque ofrece una alternativa estructurada a los métodos de fusión estándar, mejorando la robustez bajo cambios de distribución sin necesidad de ajuste fino específico de la tarea. El trabajo sugiere que desentrelazar factores estables y dinámicos es crucial para la generalización en entornos no estacionarios.