Leakage-Aware Benchmarking of LLM Forecasting: Real-Time Nowcasts as the Decision-Time Input for Macro Factor Ranking

Resumen Técnico: Evaluación de Benchmarking con Conciencia de Fuga de Información para la Previsión de LLM

Planteamiento del Problema

Los benchmarks actuales para la Generación Aumentada por Recuperación (RAG) en la previsión financiera sufren frecuentemente de fuga de información (information leakage). En contextos financieros impulsados por factores macroeconómicos, los datos etiquetados con un timestamp específico (por ejemplo, el Índice de Precios al Consumidor para el mes $t$) a menudo no son observables en el momento de la decisión del sistema (típicamente a fin de mes), ya que las publicaciones oficiales tienen un retraso de días o semanas. Los backtests estándar de avance progresivo (walk-forward) que ingieren estos valores etiquetados con el futuro consumen inadvertidamente información de "mirada hacia adelante" (look-ahead), inflando las métricas de rendimiento. Este problema es particularmente agudo en los pipelines de Modelos de Lenguaje de Gran Escala (LLM), donde los agentes ingieren narrativas macroeconómicas y resúmenes de eventos que pueden no respetar las restricciones de observabilidad histórica.

Metodología

Los autores construyen un benchmark de avance progresivo mensual controlado por fuga de información para clasificar siete factores de estilo de renta variable estadounidense (SMB, HML, RMW, CMA, UMD, BAB, QMJ) durante un periodo de 36 meses (abril de 2023 – marzo de 2026).

1. Restricciones de Información al Momento de la Decisión:
Para garantizar una observabilidad estricta, el sistema recibe únicamente los datos disponibles en la fecha de decisión $t$:

• Variables Macroeconómicas con Desplazamiento de Retraso: Las variables de FRED (CPI, desempleo) se desplazan un mes calendario.
• Nowcasts en Tiempo Real: La inflación del mes actual aún no publicada se sustituye por el nowcast diario archivado del CPI de la Reserva Federal de Cleveland, consultado en la fecha $t$.
• Resúmenes de Eventos: Se incluyen resúmenes recientes de las decisiones de la FOMC y del CPI.
• Recuperación de Análogos Históricos: Un módulo de recuperación selecciona estados históricos de un conjunto restringido al menos 12 meses antes de $t$ (un embargo estricto) para evitar la contaminación de datos.

2. Arquitectura del Modelo (Actor-Crítico RAG):
El pipeline utiliza un LLM de código abierto de 7 mil millones de parámetros (Qwen2.5-7B-Instruct, cuantizado a 4 bits) en una configuración actor-crítico de dos etapas:

• Recuperación (Retrieval): Un módulo de análogos macroeconómicos recupera los 4 meses históricos más similares al estado actual (basado en un vector macro de 4 dimensiones con puntuación z: pulso de crecimiento, pulso de inflación, diferencial de tipos de interés, pulso de VIX).
• Crítico (Critic): Un LLM "crítico" lee los análogos recuperados y el estado macro actual para sintetizar una regla táctica (por ejemplo, "Aumentar HML en 0.15").
• Actor: Un LLM "actor" mapea el estado actual en tiempo real, los resúmenes de eventos recientes y un búfer rodante de las últimas 6 reglas tácticas en puntuaciones para los siete factores de renta variable.

3. Baselines (Líneas de Base):
El pipeline de LLM se compara con baselines no basados en LLM utilizando exactamente el mismo conjunto de información del momento de la decisión:

• kNN de Análogos Macroeconómicos: Recupera los mismos 4 análogos pero predice los retornos de los factores del mes siguiente basándose en la media de sus retornos realizados (sin LLM).
• Regresión Ridge: Modelos lineales utilizando vectores de macro completo o solo de nowcast.

Resultados Clave

1. Métricas de Rendimiento:

• El pipeline completo de LLM logra una mediana de la clasificación de rango de Spearman (IC) mensual de +0.154 y una media de IC de +0.131.
• La señal es direccionalmente positiva a través de tres subventanas de 12 meses no superpuestas (+0.111, +0.165, +0.117).
• Sin embargo, la media de IC es estadísticamente débil: el intervalo de confianza del 95% mediante bootstrap incluye el cero $[-0.02, +0.28]$, y el valor $p$ de permutación es 0.11.

2. Ablación y Atribución:

• El Rol de los Nowcasts: El salto más significativo en la mediana de IC (de +0.009 a +0.154) ocurrió cuando se añadió el nowcast de la Reserva Federal de Cleveland, lo que indica que la información de inflación en tiempo real es un motor primario de la señal.
• LLM vs. kNN: El baseline de análogos macroeconómicos kNN (no LLM) logró una mediana de IC comparable (+0.161) a la del pipeline completo de LLM (+0.154). Esto sugiere que el "núcleo de la señal mediana" es impulsado por la recuperación de estados macroeconómicamente similares y la inclusión de nowcasts en tiempo real, más que por la arquitectura del LLM en sí.
• Contribución Marginal del LLM: El pipeline de LLM superó al baseline de kNN en la media de IC (+0.131 frente a +0.070) y en una comprobación de coherencia económica (cartera Long-Top-2/Short-Bottom-2). El ratio de Sharpe del LLM fue de +0.71 en comparación con el +0.29 de kNN. Los autores interpretan esto como que el LLM proporciona beneficios marginales específicamente en las clasificaciones extremas (factores superiores e inferiores), que impulsan la formación de carteras de largo-corto, en lugar de en la tendencia central.

Significancia y Reivindicaciones

El documento no pretende ser un gran avance en poder predictivo o una estrategia de trading desplegable. Su significancia radica en su rigor diagnóstico:

1. Control de Fuga de Información: Demuestra que los benchmarks estándar a menudo confunden la capacidad del modelo con la fuga de información. Al imponer restricciones estrictas del momento de la decisión (específicamente reemplazando el CPI con etiquetas de futuro por nowcasts), los autores aíslan el verdadero conjunto de información disponible para un tomador de decisiones.
2. Desentrañar las Fuentes de la Señal: El estudio revela que, en esta tarea macro condicionada, los nowcasts de inflación en tiempo real y la recuperación de análogos macroeconómicos explican la mayor parte de la señal predictiva mediana. La contribución del LLM parece concentrarse en refinar las clasificaciones extremas en lugar de descubrir nuevas señales de novo.
3. Reproducibilidad: Los autores liberan el pipeline completo, incluyendo el archivo de entrada "congelado" del momento de la decisión (nowcasts de la Reserva Federal de Cleveland), las plantillas de prompts y las 36 reglas críticas reproducibles, lo que permite una auditoría rigurosa del comportamiento de los LLM en la previsión financiera sin fuga de datos.

Los autores concluyen que, si bien el LLM con recuperación aumentada de 7B produce una señal positiva, la evidencia sigue siendo estadísticamente modesta ($n=36$), y el valor marginal de la arquitectura del LLM probablemente se limite al manejo de interacciones no lineales en condiciones de mercado extremas, más que a la predicción general de factores.