Resumen Técnico: HINDCAST – Recreando Mercados de Predicción para Evaluar Pronosticadores de LLM

1. Planteamiento del Problema

Los métodos de evaluación actuales para los pronosticadores basados en Modelos de Lenguaje de Gran Escala (LLM) dependen de la verificación retrospectiva (backtesting) de preguntas resueltas, donde se califica a los modelos según la probabilidad que asignan a resultados conocidos. Los autores identifican dos "fugas" críticas en este paradigma que permiten a los modelos hacer trampa al acceder a información que no habría estado disponible en el momento del pronóstico:

1. Fuga de Recuperación (Retrieval Leakage): Los modelos equipados con sistemas de recuperación pueden extraer informes, artículos o discusiones escritos después de que ocurriera el evento, convirtiendo efectivamente el pronóstico en una tarea de búsqueda de información.
2. Fuga de Datos de Entrenamiento (Training Data Leakage): A medida que los modelos son reentrenados con datos más cercanos al presente, las preguntas que eran futuras para versiones anteriores del modelo se convierten en parte de los datos de entrenamiento para las versiones más nuevas.

En consecuencia, las evaluaciones estándar suelen medir la capacidad de recuperación (recall) de un resultado en lugar de su previsión (la probabilidad contrafactual que habrían asignado en un tiempo pasado $t_0$). Si bien los benchmarks en vivo evitan esto mediante el planteamiento de preguntas abiertas, carecen de la verdad fundamental inmediata y de la línea base humana (precio de mercado) que proporcionan las preguntas resueltas.

2. Metodología: HINDCAST

Los autores introducen HINDCAST, un protocolo de evaluación diseñado para cerrar estas fugas mediante la simulación de un pronóstico realizado en una fecha pasada específica $t_0$, antes de que se conociera el resultado y antes de que existiera cualquier información post-evento en el corpus de recuperación.

Componentes Principales

• Entorno de Información Congelado: El sistema utiliza un archivo de Reddit público anclado temporalmente (derivado de instantáneas mensuales de Pushshift). Este archivo es inmutable; una vez capturada una instantánea, nunca cambia. Esto asegura que la recuperación en cualquier tiempo simulado $t_0$ solo devuelva contenido creado estrictamente antes de $t_0$.
• Verdad Fundamental de Mercado de Predicción: La evaluación utiliza mercados binarios de Polymarket ya resueltos. Para cada mercado, el sistema registra:
  • El resultado resuelto ($y$).
  • La probabilidad implícita del mercado en el tiempo $t_0$ ($q_{t_0}$), que sirve como línea base de pronóstico humano derivada de la misma información previa a $t_0$.
• Cumplimiento del Corte (Cutoff Enforcement): Para evitar errores de enrutamiento, el backend de recuperación impone un predicado estricto de created_at < t_0 a nivel de SQL para todas las operaciones de búsqueda y consulta.

Pipelines de Evaluación

El estudio compara dos familias de predictores contra la misma interfaz:

1. Línea Base Zero-shot: El LLM realiza el pronóstico utilizando solo su memoria paramétrica, con la instrucción de basarse únicamente en el conocimiento disponible en $t_0$.
2. Agente de Recuperación (Retrieval Agent): El LLM opera en un bucle de investigación delimitado, consultando el archivo congelado en $t_0$, leyendo evidencia y refinando su pronóstico.

Métricas

Los pronósticos se califican frente a dos objetivos:

• Recuperación del Resultado: Precisión y puntuación de Brier contra el resultado binario resuelto ($y$).
• Mejora del Mercado: La diferencia absoluta entre el pronóstico del modelo y el precio del mercado en $t_0$ ($|\hat{p}_{t_0} - q_{t_0}|$).

3. Contribuciones Clave

1. Protocolo HINDCAST: Un marco de evaluación que mide el pronóstico de un modelo en un tiempo pasado $t_0$ sobre preguntas resueltas mientras mantiene fija la información recuperable, permitiendo que la prueba se ejecute de nuevo en nuevos mercados a medida que los modelos mejoran sin volverse obsoletos.
2. Archivo Inmutable: Un backend de recuperación libre de fugas construido a partir de 25 meses de instantáneas públicas de Reddit (enero 2024–enero 2026), indexado para búsqueda semántica densa y búsqueda por ID, con filtrado temporal estricto.
3. Predictores de Referencia Duales: Una interfaz unificada que soporta una línea base zero-shot y un agente basado en recuperación, aislando la contribución de la recuperación de evidencia.
4. Análisis Empírico: Un estudio que identifica dominios específicos donde la recuperación mejora el pronóstico y donde degrada el rendimiento debido al ruido especulativo.

4. Resultados Experimentales

Los autores evaluaron 9 LLM de pesos abiertos (incluyendo las familias Qwen3, Llama 3, Gemma 3 y Ministral) en un conjunto equilibrado de 216 mercados de Polymarket resueltos.

• Rendimiento General: La recuperación redujo la puntuación de Brier para 8 de los 9 modelos. La mejora más significativa se observó en Qwen3-32B, que redujo su puntuación de Brier de 0.234 a 0.179 (una caída del 23%).
• Varianza Dependiente del Tema: El beneficio de la recuperación no es uniforme; depende fuertemente de la naturaleza de la discusión en el corpus previo a $t_0$:
  • La Recuperación Ayuda: En Deportes, Premios y Trading/Materias Primas, la recuperación mejoró significamente la precisión. En estos dominios, las discusiones en Reddit contenían señales concretas y ancladas a hechos (ej. rendimiento de equipos, tendencias de precios) que los modelos podían aprovechar.
  • La Recuperación Perjudica: En Entretenimiento, Elecciones/Política y Tecnología/IA, la recuperación a menudo degradó el rendimiento. En estos dominios, el corpus previo al evento estaba dominado por el hype especulativo y la opinión (ej. el entusiasmo de los fans por una canción que nunca llegó a las listas). El agente de recuperación sobre-indexó este parloteo "más ruidoso" pero menos predictivo, llevando a pronósticos confiados pero incorrectos.
• Calibración vs. Precisión: En algunos casos (ej. Llama-3.1-8B), la recuperación redujo la precisión (más decisiones erróneas) pero mejoró la calibración (las probabilidades se acercaron a 0.5 en lugar de valores extremos erróneos), reduciendo la puntuación de Brier.
• Sensibilidad del Retroceso (Lookback Sensitivity): Variar el corte $t_0$ (desde el 25% hasta el 100% de la vida útil del mercado) mostró que las ganancias de recuperación se saturan mucho antes del retroceso total disponible, lo que sugiere que los beneficios son impulsados por la señal temprana en lugar de noticias de última hora.

5. Significancia y Reivindicaciones

El artículo argumenta que el razonamiento basado en recuperación no es universalmente beneficioso; su eficacia está estrictamente limitada por la calidad de la evidencia disponible en el entorno de información previo al evento.

• Cerrar la Fuga: HINDCAST proporciona una forma rigurosa de evaluar la previsión asegurando que el modelo no pueda "ver el futuro" a través de sus datos de entrenamiento o herramientas de recuperación.
• Señal vs. Ruido: El estudio demuestra que la recuperación ayuda solo cuando el archivo contiene señal previa al evento (hechos, datos, análisis concretos). Cuando el archivo contiene solo especulación, la recuperación puede dañar activamente el pronóstico al amplificar el ruido.
• Evaluación Dinámica: A diferencia de los benchmarks estáticos que decaen a medida que los modelos son reentrenados, HINDCAST permite una evaluación continua. Los nuevos modelos pueden ser probados contra el mismo archivo histórico congelado, asegurando que la prueba siga siendo una medida de previsión y no de memoria.

Los autores concluyen que, si bien la recuperación mejora el pronóstico en dominios con mucha carga de hechos, requiere una calibración cuidadosa en dominios especulativos para evitar el sobreajuste al hype previo al evento. Presentan HINDCAST como un banco de pruebas de investigación en lugar de una herramienta de trading lista para desplegar, advirtiendo que los agentes de recuperación no calibrados pueden otorgar una falsa autoridad a las decisiones automatizadas.