Detecting Lookahead Bias in LLM Forecasts

Resumen Técnico: Detección del Sesgo de Anticipación (Lookahead Bias) en Pronósticos de LLM

Planteamiento del Problema
Los modelos de lenguaje de gran tamaño (LLM) se utilizan cada vez más en la economía empírica y las finanzas para generar pronósticos a nivel de empresa a partir de texto no estructurado, como titulares de noticias y transcripciones de llamadas de resultados. Estos modelos suelen demostrar un poder predictivo para los resultados realizados (por ejemplo, rendimientos de acciones, gastos de capital) comparable o superior a los puntos de referencia econométricos tradicionales. Sin embargo, una preocupación crítica es que esta capacidad predictiva puede no derivar de un razonamiento económico genuino sobre el texto de entrada, sino de la "memoria" del modelo sobre los resultados realizados ingeridos durante el preentrenamiento. Cuando un modelo es evaluado en fechas dentro de su corpus de entrenamiento, el resultado realizado para un par firma-fecha específico puede haber sido absorbido junto con narrativas retrospectivas, creando un "sesgo de anticipación" (lookahead bias) donde el modelo, efectivamente, recuerda la respuesta en lugar de razonar a través del prompt. Las estrategias de mitigación existentes, como el enmascaramiento de entidades o la restricción de la evaluación a datos posteriores al punto de corte (cutoff), son parciales (dejando intactos canales sutiles de memorización) o estadísticamente limitantes (debido a ventanas fuera de la muestra muy cortas). Existe una falta de una herramienta de diagnóstico portátil para determinar si el pronóstico de un LLM depende de la memorización o del razonamiento para una tarea específica.

Metodología
Los autores proponen un procedimiento estadístico centrado en una métrica denominada Propensión de Anticipación (LAP), denotada como $LAP^{(known)}_{i,t+1}$.

1. Construcción de LAP:

   • El método utiliza una "consulta de recuperación de solo fecha" que contiene únicamente el nombre de la empresa, el ticker y la fecha objetivo (o trimestre), sin información contemporánea (sin titulares, transcripciones o fundamentos).
   • Se le pide al modelo que prediga la dirección del resultado (por ejemplo, "sube" o "baja") o que se abstenga ("desconocido").
   • $LAP^{(known)}$ se calcula como la suma de las probabilidades del primer token asignadas a las etiquetas direccionales: $P_{up} + P_{down}$.
   • Un valor cercano a 1 indica que el modelo "conoce" el resultado (alta memorización), mientras que un valor cercano a 0 indica abstención (falácea de recuperación).

2. Marco Econométrico:

   • Los autores modelan el pronóstico del LLM ($\hat{\mu}_t$) como la suma de una verdadera esperanza condicional y un término de contaminación: $\hat{\mu}_t = \mu(X_t) + \gamma L_t \epsilon_{t+1}$.
   • Aquí, $L_t$ representa la fuerza de memorización de la firma-periodo (representada por $LAP^{(known)}$), y $\gamma$ representa la propensión del modelo a filtrar contenido memorizado en los pronósticos condicionados por texto.
   • La prueba de detección implica una regresión de precisión del resultado realizado ($Y_{t+1}$) sobre el pronóstico del LLM ($\hat{\mu}_t$), la medida LAP y su interacción:
     $$Y_{t+1} = \beta_1 \hat{\mu}_t + \beta_2 LAP_t + \beta_3 (\hat{\mu}_t \times LAP_t) + \epsilon_{t+1}$$
   • Proposición 1: Bajo condiciones moderadas, un coeficiente de interacción positivo y significativo ($\beta_3 > 0$) sirve como un diagnóstico unilateral para $\gamma > 0$, indicando que el poder predictivo del modelo es amplificado por el contenido memorizado.

3. Validación y Placebo:

   • Validación: El componente direccional de la consulta de recuperación ($(U-D) = P_{up} - P_{down}$) se prueba contra los resultados realizados. El poder predictivo aquí confirma la existencia de memorización ($L_t > 0$).
   • Placebo: La prueba se aplica a una muestra posterior al punto de corte de entrenamiento (fechas estrictamente posteriores al cutoff de conocimiento del modelo). En esta ventana, $LAP^{(known)}$ debería colapsar a cero, y el término de interacción debería volverse insignificante, confirmando que la amplificación dentro de la muestra fue impulsada por la exposición durante el tiempo de entrenamiento.

Resultados Empíricos Clave
Los autores aplican este marco a dos tareas de pronóstico utilizando Llama-3.3-70B (punto de corte de entrenamiento: diciembre de 2023):

1. Noticias de Acciones Prediciendo Rendimientos:

   • Utilizando titulares de Bloomberg para predecir los rendimientos de las acciones al día siguiente (dentro de la muestra: 2012–2023).
   • La señal base del LLM predice los rendimientos ($t=12.18$).
   • El término de interacción ($LLM \times LAP$) es positivo y altamente significativo ($t=3.64$). Un aumento de una desviación estándar en $LAP^{(known)}$ eleva el efecto marginal de la señal del LLM en aproximadamente un 32%.
   • La consulta de recuperación por sí sola (sin titulares) predice los rendimientos con un estadístico $t$ de 3.53, pero solo para los días de la firma con un $LAP^{(known)}$ alto.
   • Fuera de la Muestra (2024): La media de $LAP^{(known)}$ colapsa a casi cero, y el término de interacción se vuelve estadísticamente insignificante ($t=1.06$), validando la hipótesis del sesgo de anticipación.

2. Llamadas de Resultados Prediciendo Gastos de Capital:

   • Utilizando transcripciones para predecir los gastos de capital dos trimestres por delante (dentro de la muestra: 2006–2020).
   • La señal base del LLM predice el gasto de capital futuro ($t=16.69$).
   • El término de interacción es positivo y significativo ($t=2.01$). Un aumento de una desviación estándar en $LAP^{(known)}$ eleva el efecto marginal en aproximadamente un 12%.
   • Fuera de la Muestra (2023Q3–2024Q1): El término de interacción pierde significancia ($t=1.35$), y el efecto de amplificación desaparece a medida que las fechas de recuperación caen estrictamente después del punto de corte de entrenamiento.

3. Comparación con la Confianza Interna:

   • Los autores prueban la medida $LAP$ contra la "Confianza Interna" (la probabilidad del modelo para su respuesta elegida en el prompt principal).
   • Ambos términos de interacción ($LLM \times LAP$ y $LLM \times Inner Confidence$) permanecen significativos cuando se incluyen conjuntamente, lo que indica que capturan componentes distintos del desempeño de pronóstico: $LAP$ captura la memorización, mientras que la confianza interna captura la certeza del modelo en su razonamiento.

Significancia y Reivindicaciones
El artículo afirma proporcionar un diagnóstico portátil, rentable y a nivel de modelo para evaluar la validez de los pronósticos generados por LLM.

• Utilidad Diagnóstica: Permite a los investigadores cuantificar cuánto del aparente poder predictivo de un LLM es impulsado por la memorización frente al razonamiento sin requerir el reentrenamiento, acceso a datos de entrenamiento propietarios o la construcción de modelos libres de filtraciones.
• Naturaleza Específica de la Tarea: Los autores enfatizan que el sesgo de anticipación no es un fallo universal de los LLM, sino que es específico de la tarea, dependiendo del dominio de entrada, la variable objetivo, el modelo y el prompt.
• Aplicación Práctica: La prueba requiere solo la capacidad de consultar un modelo y leer sus probabilidades de etiqueta del primer token. Permite a los investigadores "depurar" los efectos de memorización para determinar el verdadero contenido económico de un pronóstico.
• Limitaciones: La prueba identifica el signo de la carga de contaminación ($\gamma > 0$) en lugar de su magnitud precisa. No sugiere descartar los pronósticos de los LLM, sino que proporciona una herramienta para interpretar su fiabilidad en contextos específicos.

El artículo concluye que una parte no trivial del contenido predictivo en los pronósticos financieros basados en LLM refleja la memorización durante el tiempo de entrenamiento, y que la prueba $LAP^{(known)}$ propuesta ofrece un método riguroso para detectar y contabilizar este sesgo.