Retrieval-Augmented Large-Language-Model-Based Time-Series Forecasting for Cross-Market Equity Analysis

Resumen Técnico: Pronóstico de Series Temporales Basado en Modelos de Lenguaje de Gran Escala con Recuperación Aumentada para el Análisis de Renta Variable Trans-Mercado

Planteamiento del Problema
El artículo aborda el desafío de pronosticar los rendimientos de renta variable en mercados financieros ruidosos y parcialmente no estacionarios. Si bien los modelos fundacionales de series temporales como Lag-Llama ofrecen esqueletos probabilísticos de pronóstico reutilizables y capaces de generalización zero-shot, no está claro si la recuperación explícita de ventanas históricas análogas puede reducir consistentemente los errores de pronóstico a través de diferentes regímenes de mercado, activos y horizontes. La literatura existente suele centrarse en modelos específicos para tareas o estudios de caso de un solo mercado, dejando un vacío en la comprensión de cómo los mecanismos de recuperación aumentada funcionan como correcciones de memoria externa para los modelos fundacionales preentrenados en entornos de renta variable trans-mercado.

Metodología
El estudio introduce el Cross-Market Retrieval-Augmented Lag-Llama (CM-RAF-Lag-Llama), un marco controlado que aumenta un pronosticador probabilístico Lag-Llama fijo mediante una capa de recuperación sin reentrenar el esqueleto (backbone).

• Datos y Paneles: La evaluación utiliza tres paneles equilibrados de siete activos de mercados emergentes y desarrollados: IDX7 (Indonesia), US7 (Estados Unidos) y JP7 (Japón). Los datos consisten en precios de cierre diarios de Yahoo Finance (2019–2025), preprocesados con relleno hacia adelante (forward-filling), medias móviles de 5 días y transformación de rendimiento porcentual.
• Flujo de Trabajo Híbrido:
  1. Pronóstico Base: Lag-Llama genera un pronóstico probabilístico basado en una ventana de contexto.
  2. Recuperación: Las ventanas de entrenamiento históricas se codifican utilizando descriptores estadísticos (media, desviación estándar, extremos, cuantiles, resúmenes de la ventana reciente) y se indexan mediante FAISS.
  3. Búsqueda de Similitud: El contexto actual se consulta contra el banco de memoria utilizando la distancia euclidiana para recuperar las continuaciones de los vecinos más cercanos.
  4. Fusión: La señal de continuación recuperada se fusiona con el pronóstico base mediante un promedio ponderado: $\hat{y}_H = (1 - \alpha)\hat{y}_{LL} + \alpha\hat{y}_R$.
• Diseño Experimental:
  • Cuadrícula Trans-Mercado: Una evaluación de cuadrícula completa a través de 48 configuraciones (3 paneles × 4 longitudes de contexto [32, 64, 128, 256] × 4 horizontes de predicción [30, 60, 90, 120 días]).
  • Variantes de Recuperación: El estudio compara "Lag-Llama-only" contra "RAF-raw" (fusión fija) contra "RAF-sel." (fusión seleccionada por validación, donde la clave de recuperación óptima y la escala de fusión se eligen según las ventanas de validación).
  • Extensión de Características de Acciones: Un experimento secundario evalúa objetivos derivados de OHLCV (log-precio, log-volumen, rango-volatilidad, volatilidad realizada de 20 días) para probar si representaciones de renta variable más ricas mejoran la eficacia de la recuperación.
  • Ablación a Nivel de Mecanismo: Evaluaciones detalladas de zero-shot y basadas en programadores (scheduler-based, tasa de aprendizaje 0.0005) sobre una sola serie (BBCA.JK) para aislar las sensibilidades de horizonte y longitud de contexto.
• Métricas: El desempeño se mide utilizando el Error Cuadrático Medio (MSE) para la precisión del pronóstico puntual y el Puntaje de Probabilidad Clasificada Continua (CRPS) para la calidad probabilística.

Resultos Clave

• Validación Trans-Mercado: En el experimento de solo rendimientos, al menos una variante de recuperación redujo el MSE en todas las 48 configuraciones. Las reducciones agregadas de MSE fueron del 28.85% (IDX7), 27.27% (US7) y 33.60% (JP7) en relación con Lag-Llama-only. La variante de recuperación seleccionada por validación superó consistentemente a la recuperación bruta en 41 de 48 configuraciones.
• Extensión de Características de Acciones: Para los objetivos derivados de OHLCV, la reducción de MSE mediante RAF-sel. respecto a Lag-Llama-only ocurrió en 68 de 72 configuraciones. Logró el MSE más bajo entre todos los sistemas comparados (incluyendo baselines externos como Random Forest, KNN y PatchTST) en 22 configuraciones, dominando notablemente en los objetivos de volatilidad y volumen de US7 (17 de 18 configuraciones no relacionadas con log-precios).
• Perspectivas a Nivel de Mecanismo:
  • Sensibilidad al Horizonte: La recuperación fue más efectiva en horizontes de medio a largo plazo (60–120 días). En entornos zero-shot, los pronósticos de 30 días a menudo experimentaron incrementos de error, lo que sugiere que la recuperación introduce ruido cuando las la dinámicas locales predominan.
  • Longitud de Contexto: Las longitudes de contexto moderadas (32 y 64) arrojaron los mejores resultados. La longitud de contexto 256 degradó el desempeño, particularmente para el CRPS, lo que implica que las ventanas excesivamente largas diluyen las representaciones de consulta con regímenes de mercado heterogéneos.
  • Adaptación: El ajuste basado en programadores (scheduler-based) estabilizó el desempeño, reduciendo el MSE en 14 de 16 configuraciones frente a 12 de 16 en el entorno zero-shot, aunque el zero-shot mostró reducciones promedio ligeramente superiores cuando la recuperación se alineaba bien.
  • MSE vs. CRPS: La recuperación mejoró consistentemente la precisión del pronóstico puntual (MSE) de manera más confiable que la calibración probabilística (CRPS), indicando que el mecanismo corrige principalmente la media del pronóstico en lugar de remodelar la distribución de incertidumbre completa.

Significancia y Reivindicaciones
El artículo afirma proporcionar evidencia controlada de que la recuperación aumentada sirve como una corrección de memoria externa efectiva para el pronóstico de modelos fundacionales en mercados de renta variable. Sus contribuciones primarias son:

1. Validación de la Recuperación como Capa de Corrección: Demostrar que la recuperación histórica explícita puede reducir los errores para un esqueleto Lag-Llama fijo y preentrenado sin requerir un reentrenamiento completo o cambios arquitectónicos.
2. Generalización Trans-Mercado: Establecer que estas reducciones de error no son artefactos de un solo mercado, sino que persisten a través de paneles de renta variable tanto emergentes (IDX) como desarrollados (US, JP).
3. Utilidad Dependiente de la Configuración: Clarificar que la recuperación no es universalmente beneficiosa; su valor depende del horizonte de pronóstico (más útil para 60+ días) y la longitud de contexto (óptima entre 32–64 pasos).
4. Eficacia Específica del Objetivo: Mostrar que el sistema híbrido es particularmente competitivo cuando se pronostican objetivos con estructuras de volatilidad o volumen reutilizables (por ejemplo, volatilidad realizada) en lugar de niveles de precios brutos.

Los autores posicionan este trabajo como una alternativa transparente y ligera al reentrenamiento de grandes modelos, adecuada para escenarios donde los recursos computacionales son limitados o donde se prefieren correcciones de inferencia interpretables sobre actualizaciones de modelos opacas. Expresan explícitamente que una mejora en el error de pronóstico no garantiza estrategias de trading rentables debido a costos de transacción e impacto de mercado no modelados, enmarcando la utilidad principalmente como una herramienta de apoyo a la decisión para el análisis de escenarios y la planificación de riesgos.