Resumen Técnico: ForecastBench-Sim

Declaración del Problema

Los benchmarks de pronóstico de IA de propósito general, como el existente ForecastBench, enfrentan limitaciones estructurales inherentes al mundo real. Estas incluyen tiempos de resolución lentos para los resultados, la escasez de eventos de "cola" (tail events) poco comunes y la incapacidad de calificar preguntas contrafácticas, ya que solo se realiza una trayectoria histórica. Estas restricciones introducen fallos metodológicos, como la dificultad de evaluar el razonamiento probabilístico bajo incertidumbre cuando la verdad fundamental (ground truth) está retrasada o es singular. Si bien el "pastcasting" (reutilizar eventos pasados no vistos) ofrece una solución parcial, carece del control sobre las intervenciones y el tiempo de resolución que proporciona un entorno simulado.

Metodología

Los autores presentan ForecastBench-Sim, un benchmark construido sobre Freeciv (un juego de estrategia por turnos basado en la serie Civilization) y la infraestructura CivRealm. El sistema opera de la siguiente manera:

• Generación de Mundo y Reporte: El benchmark utiliza ejecuciones (rollouts) de juegos de Freeciv. Se genera un "reporte mundial" fijo en el Turno 60, que resume el estado de las civilizaciones (ciudades, tecnología, territorio, tesorería, diplomacia y conflictos) en texto estructurado, tablas y mapas. Este reporte sirve como la entrada para los pronosticadores (tanto LLMs como humanos), ocultando todos los turnos futuros.
• Tareas de Pronóstico: Basándose en el reporte del Turno 60, el benchmark genera dos tipos de preguntas a través de múltiples horizontes (H1–H7, correspondientes a incrementos de 30 turnos hasta el Turno 270):
  • Preguntas Binarias: Preguntan si eventos o relaciones específicas se mantendrán (por ejemplo, "¿Será la Tesorería > X?").
  • Preguntas Continuas: Preguntan por valores específicos de variables del mundo futuro (por ejemplo, el conteo exacto de la tesorería), solicitando cinco cuantiles (p10, p25, p50, p75, p90).
  • Verificaciones de Comprensión (H0): Preguntas sobre la instantánea (snapshot) del Turno 60 para verificar las capacidades de lectura del reporte.
• Protocolos de Calificación:
  • Pronósticos Binarios: Evaluados mediante la puntuación de Brier (Brier score).
  • Pronósticos Continuos: Evaluados mediante la Puntuación de Probabilidad Clasificada Continua (CRPS) calculada a partir de los cuantiles elicitados. Las puntuaciones se normalizan por rangos de valores fijos por familia (por ejemplo, 2000 para la tesorería) para permitir el promedio entre diferentes tipos de variables.
• Regímenes de Evaluación: El benchmark soporta tres regímenes de condicionamiento distintos:
  1. Incondicional: Pronóstico estándar desde un reporte fijo ($P(Y)$).
  2. Condicional Observacional: Apuntando a $P(Y|X)$ mediante el muestreo de variaciones naturales a través de un corpus de mundos simulados.
  3. Intervencionista: Apuntando a $P(Y|do(X))$ mediante la mutación del estado de la partida guardada (por ejemplo, cambiando el tipo de gobierno o añadiendo oro) antes de ejecutar la simulación. Esto permite preguntas causales de "división y resolución" (fork-and-resolve) donde se generan verdades fundamentales separadas para cada rama.

Contribuciones Clave

1. Substrato de Mundo Simulado: La creación de un benchmark que preserva las estructuras centrales de pronóstico (información parcial, dependencia de la trayectoria, agentes interactuantes) mientras otorga a los evaluadores control total sobre la resolución y las intervenciones.
2. Calificación Intervencionista: La capacidad de calificar preguntas contrafácticas y causales mediante la generación de mundos de intervención emparejados, una capacidad imposible en los benchmarks del mundo real donde solo existe una historia.
3. Evaluación de Riesgo de Cola: La capacidad de muestrear densamente resultados disruptivos o poco comunes (por ejemplo, colapsos económicos) en lugar de esperar a que ocurran naturalmente, facilitando el estudio del pronóstico de riesgos de cola.
4. Liberación Integral de Artefactos: La liberación incluye el pipeline del benchmark, familias de preguntas, protocolos de calificación y segmentos de validación de evaluaciones de modelos y un piloto humano anonimizado.

Resultados

El artículo reporta resultados de validación de un subconjunto curado de ejecuciones de modelos existentes (cubriendo 9 modelos) y un pequeño piloto humano:

• Desempeño de los Modelos:
  • Binario (H1–H7): La media de las puntuaciones de Brier osciló entre 0.220 (GPT-5.1) y 0.313 (Gemini 2.5 Flash).
  • Continuo (H1–H7): La media de los CRPS normalizados osciló entre 0.283 (o3) y 0.590 (Gemini 2.5 Pro).
  • Correlación: Los rankings de ForecastBench-Sim mostraron una correlación positiva moderada con el conjunto de datos de ForecastBench del mundo real (Spearman $\rho = +0.43$) y el Índice de Capacidades de Época ($|\rho| = 0.48$), lo que sugiere que el benchmark captura la capacidad general de pronóstico.
• Dependencia del Horizonte: El desempeño degradó a medida que el horizonte de pronóstico se extendía. Las puntuaciones de Brier medias aumentaron de 0.205 (H1) a 0.264 (H7), y el CRPS aumentó monótonamente por un factor de 4.8, indicando que las tareas contienen una señal pronosticable que disminuye con el tiempo.
• Comprensión: Todos los modelos curados lograron puntuaciones casi perfectas en los controles H0 (Brier < 0.032), confirmando que los errores en las tareas de prospección no se debieron a una incapacidad para leer los reportes del Turno 60.
• Ganancias Intervencionistas: En las intervenciones piloto (por ejemplo, cambiar a un gobierno de República o añadir 500 de oro), los modelos mostraron ganancias de intervención medias positivas. Un control placebo (redacción nula-condicional) mostró cambios insignificantes, sugiriendo que los modelos estaban respondiendo a la intervención real y no solo al fraseo condicional.
• Piloto Humano: Diez participantes humanos respondieron preguntas continuas, arrojando resultados cercanos a una línea base de bins uniformes, lo que sirve como una verificación de factibilidad para futuros baselines humanos a mayor escala.

Significado y Reivindicaciones

Los autores posicionan a ForecastBench-Sim no como un ranking empírico final de pronosticadores, sino como una herramienta complementaria a los benchmarks del mundo real. Su principal significancia radica en proporcionar un entorno controlado y de resolución inmediata para estudiar:

• Razonamiento probabilístico bajo estados de mundo dinámicos.
• Calibración y consistencia en el pronóstico de modelos de lenguaje.
• Actualización causal y razonamiento contrafáctico (vía el régimen intervencionista).
• Comportamiento de riesgo de cola a través del muestreo denso de resultados disruptivos.

El artículo reconoce limitaciones, señalando que los mundos de Freeciv son simplificados y estilizados, y que el estudio humano actual es meramente un piloto. Los autores enfatizan que el benchmark está destinado a ser un sustrato de evaluación reutilizable para afirmaciones más estrechas sobre comportos de pronóstico específicos, más que un leaderboard definitivo para capacidades generales de la IA.