Resumen Técnico: Agentic Time Machine como Infraestructura para la Predicción de Eventos Futuros

1. Planteamiento del Problema

La predicción de eventos futuros en el mundo real (por ejemplo, resultados electorales, decisiones de política monetaria, movimientos de los mercados financieros) presenta un desafío único para los agentes de Modelos de Lenguaje Extensos (LLM). A diferencia de las tareas estándar de recuperación de información, la respuesta "correcta" no existe en ninguna fuente en línea en el momento de la predicción. Los agentes deben sintetizar evidencia ruidosa, considerar la incertidumbre y razonar sobre posibles resultados sin acceso a la verdad de referencia (ground truth) ya resuelta.

Los paradigmas de evaluación actuales enfrentan un compromiso fundamental entre eficiencia y fidelidad del entorno:

• Benchmarks en Vivo: Sistemas como FutureX, Prophet Arena y ForecastBench ofrecen acceso dinámico a la web y uso de herramientas abierto. Sin embargo, sufren de ciclos de retroalimentación inherentemente lentos, lo que requiere que los investigadores esperen días o semanas a que los eventos del mundo real se resuelvan antes de poder calificar las predicciones.
• Benchmarks Retrospectivos/Congelados: Para acelerar el desarrollo, algunos enfoques replican preguntas históricas utilizando bases de datos estáticas o pre-congeladas o mediante inferencia de libro cerrado (closed-book). Si bien estos proporcionan una retroalimentación rápida, sacrifican el realismo ambiental al restringir a los agentes a fuentes de datos limitadas y no dinámicas, fallando en la simulación de las interacciones de la web abierta requeridas en despliegues reales. Además, la evaluación retrospectiva ingenua es vulnerable a la filtración de respuestas (answer leakage), donde fragmentos de la web o páginas actualizadas revelan inadvertidamente el resultado resuelto.

2. Metodología

El artículo propone dos componentes principales para abordar estos desafíos: una nueva infraestructura de evaluación y un marco de trabajo de múltiples agentes para la predicción.

2.1. Agentic Time Machine (TM)

El Agentic Time Machine es una infraestructura de evaluación basada en LLM diseñada para permitir la reproducción local rápida y reproducible de tareas de predicción, evitando al mismo tiempo la filtración de respuestas.

• Mecanismo: El TM se sitúa entre el agente de predicción y las herramientas web en vivo (búsqueda y obtención de páginas). Emplea un filtro de filtración basado en LLM ($\phi$) que procesa las salidas de las herramientas antes de que lleguen al agente.
• Lógica de Filtrado: El filtro evalúa cada elemento recuperado (fragmento o contenido de página) frente a dos criterios:
  1. Filtración de Respuesta Directa: ¿El contenido establece explíc forma o implica fuertemente la respuesta de verdad de referencia ($a^\star$)?
  2. Filtración de Información Post-Fecha: ¿Contiene el contenido señales temporales (fechas de publicación, marcas de tiempo de actualización, fechas de eventos) posteriores al tiempo de corte de la pregunta ($t$)?
• Justificación del Filtrado por LLM: El filtrado simple basado en reglas de fecha es insuficiente porque el contenido web evoluciona en URLs estables (por ejemplo, páginas de precios históricos de acciones donde la fecha de la URL es antigua, pero la tabla de datos se actualiza diariamente). El filtro de LLM inspecciona el contenido real para distinguir entre información de trasfondo previa al corte y revelaciones posteriores al corte.
• Resultado: El TM aproxima el estado de la web tal como existía en el tiempo $t$, permitiendo que los agentes interactúen con un entorno web dinámico y abierto sin acceso a la respuesta resuelta.

2.2. Marco de Trabajo Multi-Agente: Planner-Solver-Aggregator

Para mejorar el rendimiento de la predicción, los autores proponen un sistema multi-agente que descompone el proceso de razonamiento sin requerir entrenamiento adicional ni herramientas más allá de un baseline de un solo agente.

• Planner (Planificador): Analiza la pregunta de predicción, realiza búsquedas exploratorias y descompone el problema en 2 a 4 ángulos analíticos distintos (por ejemplo, tasas base históricas, impulsores causales, riesgo de mercado, fuerza de campaña). Genera un plan en formato JSON que define el rol y el enfoque de búsqueda para cada solver.
• Solvers (Resolutores): Múltiples agentes solvers se ejecutan en paralelo, cada uno asignado a un ángulo específico por el planner. Utilizan activamente herramientas web para recopilar evidencia a lo largo de sus rutas designadas y producen reportes estructurados en JSON fundamentados en evidencia en lugar de en priors.
• Aggregator (Agregador): Recibe el plan del planner y todos los reportes de los solvers. Identifica puntos de acuerdo y conflicto, realiza búsquedas adicionales dirigidas si es necesario y sintetiza una predicción final fundamentada.
• Filosofía de Diseño: Este enfoque diversifica el proceso de recolección de evidencia en sí mismo, en lugar de solo diversificar las respuestas finales (como en la autocoherencia). Permite que el sistema cubra más segmentos de evidencia relevantes sin obligar a un solo agente a perseguir todas las líneas de razonamiento posibles.

3. Contribuciones Clave

1. Infraestructura Agentic Time Machine: Un nuevo sistema de evaluación que simula la web abierta en un punto histórico específico. Permite la reproducción local rápida y libre de filtraciones de tareas de predicción, bloqueando eficazmente el contenido posterior al corte y la información que revela la respuesta, cerrando efectivamente la breancia entre el realismo en vivo y la eficiencia offline.
2. Marco de Trabajo Planner-Solver-Aggregator: Una arquitectura multi-agente de disparo cero (zero-shot) que descompone tareas de predicción en diversos ángulos analíticos. Utiliza la recolección de evidencia en paralelo y un paso de reconciliación para producir una única predicción, superando los baselines de autocoherencia estándar.
3. Validación Empírica: Evidencia exhaustiva que demuestra que:
   • El TM reduce eficazmente la filtración de información, disminuyendo significativamente las puntuaciones en tareas donde los agentes anteriormente dependían de la recuperación directa de respuestas.
   • Las puntuaciones offline logradas bajo TM se correlacionan fuertemente ($r=0.92$) con el rendimiento en el leaderboard en vivo, validando al TM como un proxy confiable para el testing en el mundo real.
   • El marco de trabajo multi-agente propuesto alcanza un rendimiento de vanguardia tanto en datasets offline como en el leaderboard en vivo de FutureX.

4. Resultados Experimentales

4.1. Validación de Agentic Time Machine

• Reducción de Filtración: Al aplicarse a cinco diferentes backbones de LLM (incluyendo GPT-5.4, GLM-5 y Kimi-K2.5) en un subconjunto de 61 preguntas (FutureX-Past), la habilitación de TM redujo las puntuaciones entre 25 y 37 puntos. Esta caída confirma que las puntuaciones altas previas estaban infladas por la filtración de respuestas de la web en vivo.
• Sensibilidad a la Dificultad: La caída de la puntuación fue más pronunciada en preguntas de Nivel 4 (cuantitativas/abiertas), donde la recuperación directa es imposible sin filtración. Las preguntas de Nivel 1 (pocas opciones) mostraron una caída menor, ya que los modelos aún podían apoyarse en baselines históricos y estrategias de eliminación.
• Correlación con el Rendimiento en Vivo: Las puntuaciones offline bajo TM mostraron una fuerte correlación de Pearson ($r=0.92$) con las puntuaciones de FutureX en vivo, confirmando que el TM proporciona una simulación fiel de las restricciones de predicción del mundo real.

4.2. Rendimiento del Marco de Trabajo Multi-Agente

• Benchmarks Offline (FutureX-Past & Polymarket):
  • En FutureX-Past, el marco alcanzó una puntuación ponderada de 39.51, superando al mejor baseline de autocoherencia (SC@5, 36.81) y al baseline más fuerte de un solo agente aumentado con herramientas (35.02).
  • En Polymarket (80 preguntas de múltiples opciones), el marco obtuvo una puntuación de 64.99, superando a SC@5 (62.26) y al mejor baseline de un solo agente (59.24).
• Leaderboard en Vivo (FutureX):
  • El sistema (listado como FutureGPTv1) participó en cuatro rondas semanales consecutivas (semana 3 de abril a semana 2 de mayo, 2026).
  • Alcanzó los puestos #4, #2, #1 y #6, resultando en el mejor rango promedio (3.25) entre los sistemas públicos comparados (MiroFlow y H2O AI Super Agent).
  • Al 17 de junio de 2026, ocupaba el 1er lugar en el leaderboard general oficial de ocho semanas de FutureX con un rating de Bradley-Terry de 4.61.
• Eficiencia: El marco de trabajo fue más eficiente que los baselines de autocoherencia. Mientras que SC@5 requirió un promedio de 81.0 rondas de llamadas a herramientas (en Polymarket) para ganar solo 1.27 puntos sobre SC@3, el marco propuesto logró una mayor precisión con 47.1 rondas, demostrando que la descomposición de roles es más eficiente que el muestreo repetido.

5. Significado y Reivindicaciones

El artículo sostiene que Agentic Time Machine proporciona una infraestructura crítica para el campo de la predicción con LLM. Al permitir la reproducción local rápida y libre de filtraciones, permite a los investigadores iterar sobre diseños de agentes sin los costos de tiempo prohibitivos de esperar la resolución de eventos del mundo real. La fuerte correlación entre las puntuaciones offline de TM y el rendimiento en el leaderboard en vivo valida al TM como un proxy fiable para evaluar las capacidades de predicción bajo incertidumbre genuina.

Además, el marco planner-solver-aggregator demuestra que la descomposición de problemas de predicción complejos en diversos ángulos analíticos y la reconciliación de flujos de evidencia paralelos produce un rendimiento superior tanto a los baselines de un solo agente como a la simple votación de autocoherencia. Los autores enfatizan que estas mejoras se logran sin ajuste fino (fine-tuning) ni herramientas adicionales, sugiriendo que la descomposición arquitectónica es un motor clave para avanzar en la predicción basada en agentes.

El trabajo concluye que la combinación de un entorno de evaluación libre de contaminación (TM) y un marco de razonamiento multi-agente estructurado representa un paso significativo hacia agentes de predicción de eventos futuros robustos y del mundo real.