Retrieval Mechanisms Surpass Long-Context Scaling in Time Series Forecasting

Resumen Técnico: Los Mecanismos de Recuperación Superan a la Escalación de Contexto Largo en la Predicción de Series Temporales

Planteamiento del Problema
El artículo desafía la "hipótesis de escalado" predominante en los Modelos Fundacionales de Series Temporales (TSFMs), la cual postula que alimentar ventanas de contexto histórico más largas en los modelos (tomadas de la Procesación del Lenguaje Natural) mejora monótonamente la calidad de la predicción. Los autores argumentan que esta premisa falla en dominios estocásticos. A diferencia de los tokens de lenguaje, que retienen valor semántico independientemente de su posición, los valores distantes en series temporales estocásticas a menudo constituyen ruido de alta frecuencia en lugar de señal. El artículo hipotetiza que la expansión indiscriminada de la ventana de contexto conduce a un modo de fallo denominado Acumulación de Ruido Estocástico, donde la volatilidad histórica irrelevante inunda los mecanismos de atención, diluyendo la capacidad del modelo para ponderar patrones recientes e informativos.

Metodología y Marco Experimental
Para validar empíricamente esta hipótesis, el estudio utiliza el punto de referencia ETTh1 (Temperatura del Transformador de Electricidad), elegido por su alta volatilidad estocástica de alta frecuencia que dificulta la separación de la señal. El diseño experimental compara tres arquitecturas de modelos a través de longitudes de ventanas de retroceso variables ($L \in \{720, 1440, 3000\}$) con un horizonte de predicción fijo ($H=96$):

1. Transformer Puro: Una arquitectura estándar codificador-decodificador ($d_{model}=512$, $n_{heads}=8$) para observar el comportamiento de atención de referencia.
2. PatchTST: El estado actual del arte (SOTA) que utiliza parches independientes por canal ($P=16, S=8$) para manejar secuencias largas de manera eficiente.
3. Predicción Aumentada por Recuperación (RAFT): Una línea base que mantiene una ventana fija corta ($L=720$) pero inyecta segmentos históricos relevantes mediante recuperación de similitud coseno top-$k$, tratándolos como variables exógenas dinámicas.

El estudio también evalúa modelos fundacionales de cero disparos (Chronos y Moirai) en el mismo conjunto de datos para determinar si el preentrenamiento en corpus masivos puede superar las limitaciones de la escalación de contexto largo. Las métricas de evaluación incluyen el Error Cuadrático Medio (MSE) y el Error Absoluto Medio (MAE).

Hallazgos Clave: La Ley de Escalado Inverso
Los experimentos revelan una Ley de Escalado Inverso para series temporales estocásticas, contradiciendo directamente las leyes de escalado de PLN:

• Fallo del Contexto Largo: A medida que se expande la ventana de contexto, el error de predicción aumenta. Para PatchTST, aumentar la ventana de 720 a 3.000 pasos causa una caída del 68% en el rendimiento (el MSE aumenta de 0.385 a 0.647). El Transformer Puro sufre aún más severamente, con un aumento del MSE de aproximadamente el 200%.
• Inflación de la Entropía de Atención: El análisis del mecanismo muestra que a medida que crece la longitud del contexto, la entropía de atención normalizada aumenta de 0.952 ($L=336$) a 0.989 ($L=3000$), acercándose a una distribución uniforme. Esto indica que el mecanismo de atención degenera en un promedio sobre cientos de posiciones irrelevantes, perdiendo efectivamente la capacidad de distinguir la señal del ruido.
• Validación Transversal: La degradación no es específica de ETTh1. En el conjunto de datos de Tipos de Cambio, el rendimiento de PatchTST de contexto largo se degrada en un 276.8%, confirmando que la acumulación de ruido es un problema estructural para procesos estocásticos con alta volatilidad.

Resultados: La Superioridad de la Recuperación Selectiva
El modelo RAFT supera a todas las configuraciones de contexto largo y a los modelos fundacionales de cero disparos:

• Rendimiento: RAFT logra un MSE de 0.379 con una ventana fija de 720 pasos y recuperación selectiva. Esto supera a PatchTST en 720 pasos (MSE 0.385) y supera significativamente a PatchTST en 3.000 pasos (MSE 0.647).
• Comparación de Cero Disparos: Incluso los grandes modelos fundacionales preentrenados no logran igualar a RAFT. Chronos-T5-Small (MSE 0.483) y Moirai-1.1-R-Small (MSE 0.553) desempeñan sustancialmente peor que RAFT, demostrando que la escala del preentrenamiento no compensa la falta de recuperación de contexto dirigida en entornos estocásticos.
• Eficiencia: RAFT es significativamente más eficiente computacionalmente, entrenando en 2.13 minutos en comparación con 83.47 minutos para el Transformer Puro de 3.000 pasos, mientras ofrece una precisión superior.

Significado y Afirmaciones
El artículo afirma que la lógica de "Contexto Largo" de los Modelos de Lenguaje Grandes no puede transplantarse directamente al mundo estocástico de las series temporales. La contribución principal es la identificación de la Acumulación de Ruido Estocástico como un modo de fallo crítico donde el aumento del volumen de contexto conduce a una disminución de la precisión.

Los autores argumentan que la Calidad del Contexto, y no el Volumen del Contexto, es el determinante de la precisión de la predicción. Mediante el uso de recuperación selectiva, RAFT inyecta un "sesgo inductivo informado por el contexto" que filtra el ruido antes de que opere el mecanismo de atención. El artículo concluye que los futuros modelos fundacionales deben cambiar arquitectónicamente hacia mecanismos de recuperación selectiva en lugar de la expansión ciega de ventanas para lograr una predicción robusta, eficiente y precisa en dominios estocásticos. El trabajo sugiere que integrar la recuperación directamente en el preentrenamiento (por ejemplo, cabezas de recuperación dinámicas) representa la próxima frontera para los TSFMs.