💰 quantitative finance

Foresight Arena: An On-Chain Benchmark for Evaluating AI Forecasting Agents

Este artículo presenta Foresight Arena, un benchmark sin permisos y en cadena que evalúa agentes de previsión con IA en mercados de predicción del mundo real mediante contratos inteligentes sin confianza y reglas de puntuación adecuadas para medir rigurosamente la precisión predictiva mientras se previene el sobreajuste y la contaminación de datos.

Autores originales: Maksym Nechepurenko, Pavel Shuvalov

Publicado 2026-05-04

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Maksym Nechepurenko, Pavel Shuvalov

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina una arena digital gigante donde las "bolas de cristal" de IA compiten para ver el futuro. Este artículo presenta Foresight Arena, una nueva forma de probar si la Inteligencia Artificial es realmente buena para predecir eventos del mundo real, o si simplemente está adivinando.

Aquí tienes el desglose de cómo funciona, utilizando analogías sencillas.

1. El Problema: Por qué las pruebas antiguas eran defectuosas

Antes de esto, probar a los pronosticadores de IA tenía tres grandes agujeros:

El Problema de la "Chuleta": Las pruebas antiguas utilizaban preguntas estáticas (como un examen fijo). Es posible que los modelos de IA hubieran visto las respuestas mientras se entrenaban, por lo que no estaban realmente "prediciendo"; simplemente estaban recordando.
El Problema del "Árbitro": La mayoría de las pruebas confiaban en un humano o en una empresa central para llevar la puntuación. Si ese árbitro estaba sesgado o hackeado, los resultados eran falsos.
El Problema del "Comerciante vs. Vidente": Algunas pruebas medían cuánto dinero ganaba una IA apostando a eventos. Pero ganar dinero no se trata solo de tener razón; se trata de cuándo apuestas y cuánto arriesgas. Una IA podría ser terrible prediciendo el futuro y aún así ganar dinero siendo una apostadora con suerte.

2. La Solución: Un Estadio Digital Sin Confianza

Foresight Arena soluciona esto construyendo la prueba sobre una blockchain (un libro de contabilidad digital público e inmutable).

El Juego de "Comprometer-Revelar": Imagina un juego de póker donde tienes que escribir tu predicción en un papel, sellarlo en un sobre y ponerlo sobre la mesa antes de que nadie más pueda verlo. Solo después de que todos hayan sellado sus predicciones se abren los sobres. Esto evita que los agentes de IA hagan trampa mirando lo que adivinaron los demás primero.
La Regla de "Sin Juez Humano": Los resultados no los decide una persona. Se leen automáticamente de un sistema público y descentralizado (Polymarket/Gnosis). Si el evento ocurre, la blockchain lo sabe. Nadie puede cambiar la puntuación después de los hechos.
La Regla de "Entrada Libre": Cualquiera (o cualquier IA) puede unirse sin pedir permiso.

3. La Tarjeta de Puntuación: Midiendo la "Verdad" vs. la "Suerte"

En lugar de contar dinero, la arena utiliza una fórmula matemática especial llamada Puntuación Brier.

La Analogía: Piensa en un pronosticador del tiempo. Si dice "Hay un 90% de probabilidad de lluvia" y llueve, obtiene una buena puntuación. Si dice 90% y hace sol, obtiene una mala puntuación. La puntuación mide qué tan cerca estuvo su confianza de la realidad.
La "Puntuación Alfa" (La Ventaja): Este es el secreto del artículo. No solo pregunta: "¿Tuviste razón?". Pregunta: "¿Fuiste más acertado que la multitud?"
- Imagina una multitud de 1.000 personas adivinando el ganador de un partido deportivo. El "Consenso del Mercado" es la predicción promedio de esa multitud.
- Si una IA predice lo mismo que la multitud, su puntuación es cero.
- Si la IA predice algo diferente y resulta tener razón, obtiene una puntuación positiva. Esto demuestra que la IA encontró un dato que la multitud pasó por alto.

4. El Experimento: ¿Quién ganó?

Los autores realizaron una prueba en vivo durante 50 rondas que involucró a cinco modelos de IA de primer nivel (de empresas como Anthropic, OpenAI, Google, etc.) y una "Línea Base Aleatoria" (una computadora adivinando números al azar).

Los Resultados:

Los Adivinos Aleatorios: Fracasaron miserablemente, demostrando que la prueba funciona.
Los Modelos de IA Principales: Tres modelos (Claude, GPT y Gemini) lo hicieron ligeramente mejor que la multitud, pero la diferencia fue mínima. Fue como una carrera donde los tres primeros corredores cruzaron la meta en una fracción de segundo uno del otro. La prueba no fue lo suficientemente larga para decir con certeza quién fue el más rápido en absoluto.
Los Modelos "Imitadores": Dos modelos (Grok y GLM) intentaron adivinar lo que pensaba la multitud pero añadieron algo de "ruido" (errores aleatorios). En realidad, lo hicieron peor que simplemente copiar perfectamente a la multitud. Este es un hallazgo clave: Intentar ser ligeramente diferente de la multitud cuando en realidad no eres más inteligente solo perjudica tu puntuación.

5. La "Anatomía" de una Buena Predicción

El artículo desglosa por qué una IA gana o pierde utilizando una "Descomposición de Murphy" (una forma sofisticada de desarmar una puntuación):

Resolución (La "Agudeza"): ¿Puede la IA distinguir entre un evento probable y uno improbable? Los ganadores fueron "más agudos" que la multitud.
Fiabilidad (La "Honestidad"): Cuando una IA dice "70% de probabilidad", ¿sucede el 70% de las veces? Los ganadores fueron muy honestos sobre su confianza.
La Lección: Para vencer al mercado, necesitas ser más agudo que la multitud. Simplemente ser "calmado" u "honrado" no es suficiente si no estás viendo cosas que la multitud pasó por alto.

6. La Gran Conclusión

Este artículo construyó un sistema de reputación permanente e inmutable para la IA.

En el pasado, una empresa de IA podía afirmar: "¡Nuestra IA es la mejor pronosticadora!" y mostrarte una hoja de cálculo que ellos mismos inventaron.
Ahora, con Foresight Arena, una IA tiene un historial público e inalterable en la blockchain. Puedes ir a mirar el historial tú mismo.

La Conclusión Final:
El artículo concluye que, aunque los modelos de IA actuales son mucho mejores que adivinar al azar, actualmente están muy cerca de la "sabiduría colectiva" de la multitud humana. Para demostrar que una IA es verdaderamente superior, necesitamos seguir ejecutando estas pruebas durante mucho más tiempo (cientos de rondas, no solo 50) para ver si las pequeñas diferencias se suman a un ganador claro.

Lo que el artículo NO afirma:

No dice que estas IAs puedan predecir el mercado de valores para obtener ganancias (ese es un juego diferente).
No dice que estas IAs estén listas para dirigir gobiernos u hospitales.
No afirma que los resultados actuales sean la palabra final; declara explícitamente que la prueba necesita ejecutarse más tiempo para separar a los mejores rendimientos.

Aquí se presenta un resumen técnico detallado del artículo "Foresight Arena: Un Benchmark en Cadena para Evaluar Agentes de Predicción de IA."

1. Planteamiento del Problema

El artículo identifica tres limitaciones fundamentales en los métodos actuales para evaluar las capacidades de predicción de la IA:

Contaminación de Conjuntos de Datos: Los benchmarks estáticos (preguntas/resoluciones fijas) son vulnerables a la fuga de datos de entrenamiento, donde los modelos parecen precisos simplemente porque memorizaron el conjunto de pruebas durante el pre-entrenamiento.
Confianza Centralizada: Los marcos existentes dependen de autoridades centrales para registrar predicciones y calcular puntuaciones, creando riesgos de manipulación retroactiva o reporte selectivo, lo que socava la confianza comercial.
Métricas Inadecuadas: Evaluar agentes mediante la Ganancia y Pérdida (PnL) de trading confunde la precisión predictiva con la estrategia de trading (tamaño de posición, timing y apetito de riesgo). Un agente puede perder dinero a pesar de predicciones precisas o ganar dinero a pesar de predicciones pobres debido a la suerte o apuestas agresivas.

Los autores argumentan que una evaluación rigurosa requiere un entorno que sea resistente al sobreajuste, descentralizado (sin confianza) y fundamentado en reglas de puntuación compatibles con incentivos.

2. Metodología y Diseño del Sistema

Foresight Arena es un benchmark en vivo, sin permisos y en cadena, desplegado en Polygon PoS que evalúa agentes de IA en mercados de predicción binaria del mundo real obtenidos de Polymarket.

Arquitectura Central

Protocolo de Compromiso-Revelación: Los agentes envían un hash criptográfico de sus predicciones (fase de compromiso) antes del plazo límite para evitar observar los movimientos de los competidores. Revelan las probabilidades reales y una sal más tarde (fase de revelación). Esto asegura la independencia de las previsiones.
Resolución Sin Confianza: Los resultados se resuelven automáticamente a través del Marco de Tokens Condicionales de Gnosis (CTF), el mismo oráculo utilizado por Polymarket. Ningún curador humano puede manipular la resolución.
Participación sin Gastos de Gas: Los agentes interactúan mediante un retransmisor utilizando mensajes firmados con EIP-712, lo que permite la participación sin poseer tokens nativos (POL).
Reputación Persistente: Las puntuaciones se acumulan en el Registro de Reputación ERC-8004, creando un historial verificable e inmutable para cada agente.

Marco de Puntuación

El sistema utiliza dos métricas principales:

Puntuación Brier: Una regla de puntuación adecuada ( $S = (p - x)^2$ ) que mide la precisión de las previsiones probabilísticas. Se minimiza estrictamente solo cuando el agente reporta su verdadera creencia.
Puntuación Alpha ( $\alpha$ ): Una métrica novedosa que mide la ventaja del agente sobre el consenso del mercado.
- Fórmula: $\alpha = B_{base} - B_{agent}$ , donde $B_{base}$ es la puntuación Brier del precio medio del mercado.
- Un $\alpha$ positivo indica que el agente superó la sabiduría colectiva del mercado.

Análisis Estadístico

Los autores proporcionan un tratamiento matemático formal de las reglas de puntuación:

Descomposición de Murphy: Descomponen la Puntuación Brier en Incertidumbre (UNC), Fiabilidad (REL) y Resolución (RES).
- Se demuestra que $\alpha$ es la suma de una Ganancia de Resolución (mejor discriminación que el mercado) y una Brecha de Fiabilidad (mejor calibración que el mercado).
Análisis de Potencia: Derivan expresiones de forma cerrada para la varianza de Alpha y calculan el tamaño de muestra requerido para detectar una ventaja específica ( $\alpha^*$ $α^{*}$ ).
- Hallazgo: Detectar una ventaja real de $\alpha^* = 0.02$ requiere ~350 predicciones (50 rondas de 7 mercados). Detectar $\alpha^* = 0.01$ requiere ~4 veces esa cantidad.

3. Contribuciones Clave

Verificabilidad en Cadena: El primer benchmark donde todas las predicciones, compromisos y puntuaciones se registran en una blockchain pública, permitiendo que cualquier tercero reproduzca e verifique independientemente el historial de un agente sin confiar en el organizador.
Resolución Sin Confianza: Eliminación de árbitros centralizados mediante el uso del CTF de Gnosis para la resolución de resultados.
Análisis Formal de la Puntuación Alpha: Una prueba estadística rigurosa de que Alpha es una regla de puntuación adecuada y una derivación de la varianza y los requisitos de tamaño de muestra para la detección fiable de habilidades de predicción.
Perspectiva de Descomposición de Murphy: Demostrar que "vencer al mercado" es matemáticamente distinto de "estar calibrado", permitiendo el diagnóstico de modos de fallo específicos (por ejemplo, seguimiento del mercado con ruido frente a mala calibración genuina).
Infraestructura sin Permisos: Un sistema de código abierto y sin gastos de gas que permite que cualquier dirección compatible con Ethereum participe y construya credenciales en cadena persistentes.

4. Resultados Experimentales

Los autores realizaron una evaluación en vivo de 50 rondas que involucró a cinco agentes de Modelos de Lenguaje Grande (LLM) de vanguardia y una línea base aleatoria.

Agentes Evaluados: claude-opus-4-5, gpt-5-2, gemini-3-pro, grok-4-1, glm-4-7 y una Línea Base Aleatoria.
Rendimiento General:
- Línea Base Aleatoria: Rindió significativamente peor que todos los LLMs ( $\bar{\alpha} \approx -0.14$ ), confirmando que los LLMs poseen una capacidad de predicción genuina.
- Nivel Superior: claude-opus-4-5, gpt-5-2 y gemini-3-pro lograron pequeñas puntuaciones Alpha positivas ( $+0.003$ a $+0.005$ ). Aunque positivas, estas no fueron estadísticamente significativas en el horizonte de 50 rondas (consistente con el análisis de potencia que predice que la significancia requiere $\alpha^* \ge 0.02$ ).
- Rendimiento Inferior: grok-4-1 y glm-4-7 lograron puntuaciones Alpha negativas. La descomposición de Murphy reveló que sufrieron de baja resolución (rastrearon el precio del mercado pero añadieron ruido) en lugar de solo errores de calibración.
Especialización por Dominio:
- Cripto: Los LLMs mostraron la mayor ventaja aquí, probablemente debido a la capacidad de integrar noticias de última hora más rápido que el precio medio del mercado.
- Geopolítica: Todos los agentes rindieron por debajo del mercado, lo que sugiere que los LLMs luchan con eventos políticos de baja frecuencia y alta ambigüedad.
- Deportes/Economía: Resultados mixtos con modelos específicos mostrando fortalezas en dominios concretos.

5. Significado e Implicaciones

Desacoplamiento de Predicción y Trading: Al utilizar reglas de puntuación adecuadas en lugar de PnL, Foresight Arena aísla el conocimiento del modelo del mundo de su estrategia de trading. Esto revela modos de fallo (como "seguimiento del mercado con ruido") que las evaluaciones basadas en PnL pasarían por alto.
Credenciales de IA Verificables: El sistema propone un nuevo estándar para la evaluación de IA: credenciales en cadena. Estos son registros inmutables y acumulativos de rendimiento que no pueden ser falsificados, esenciales para la licencia comercial y el despliegue de agentes autónomos.
Honestidad Estadística: El artículo destaca que las evaluaciones actuales de corto horizonte (por ejemplo, 50 rondas) carecen de la potencia para distinguir entre modelos de vanguardia de primer nivel. Establece que la evaluación continua a largo plazo es necesaria para clasificar fiablemente las capacidades de predicción de la IA.
Guía de Diseño: El análisis sugiere que, para que un agente supere al mercado, debe priorizar la información fresca (resolución) y la audacia controlada, en lugar de simplemente repetir los precios del mercado o ser excesivamente seguro.

En conclusión, Foresight Arena proporciona el primer marco robusto, descentralizado y estadísticamente riguroso para medir la predicción de la IA, avanzando más allá de conjuntos de datos estáticos y métricas basadas en beneficios hacia un sistema fundamentado en la verificación criptográfica y la teoría de la información.