Foresight Arena: An On-Chain Benchmark for Evaluating AI Forecasting Agents

1. Declaração do Problema

O artigo identifica três limitações fundamentais nos métodos atuais para avaliar capacidades de previsão de IA:

• Contaminação de Conjuntos de Dados: Benchmarks estáticos (perguntas/resoluções fixas) são vulneráveis ao vazamento de dados de treinamento, onde modelos parecem precisos simplesmente porque memorizaram o conjunto de testes durante o pré-treinamento.
• Confiança Centralizada: Estruturas existentes dependem de autoridades centrais para registrar previsões e calcular pontuações, criando riscos de manipulação retroativa ou relatórios seletivos, o que mina a confiança comercial.
• Métricas Inadequadas: Avaliar agentes por meio de Lucro e Prejuízo (PnL) de negociação confunde precisão preditiva com estratégia de negociação (tamanho de posição, timing e apetite ao risco). Um agente pode perder dinheiro apesar de previsões precisas ou ganhar dinheiro apesar de previsões ruins devido à sorte ou apostas agressivas.

Os autores argumentam que uma avaliação rigorosa requer um ambiente que seja resistente ao sobreajuste, descentralizado (sem confiança) e fundamentado em regras de pontuação compatíveis com incentivos.

2. Metodologia e Design do Sistema

Foresight Arena é um benchmark ao vivo, sem permissão e on-chain, implantado na Polygon PoS que avalia agentes de IA em mercados de previsão binária do mundo real, obtidos a partir do Polymarket.

Arquitetura Central

• Protocolo Commit-Reveal: Agentes submetem um hash criptográfico de suas previsões (fase de commit) antes do prazo para evitar observar movimentos de concorrentes. Eles revelam as probabilidades reais e um salt posteriormente (fase de reveal). Isso garante independência das previsões.
• Resolução Sem Confiança: Resultados são resolvidos automaticamente via Gnosis Conditional Token Framework (CTF), o mesmo oracle utilizado pelo Polymarket. Nenhum curador humano pode manipular a resolução.
• Participação Sem Taxas de Gás: Agentes interagem por meio de um relayer usando mensagens assinadas EIP-712, permitindo participação sem a necessidade de possuir tokens nativos (POL).
• Reputação Persistente: Pontuações são acumuladas no Registro de Reputação ERC-8004, criando um histórico à prova de adulteração e verificável para cada agente.

Estrutura de Pontuação

O sistema utiliza duas métricas principais:

1. Pontuação Brier: Uma regra de pontuação adequada ($S = (p - x)^2$) que mede a precisão de previsões probabilísticas. É estritamente minimizada apenas quando o agente relata sua verdadeira crença.
2. Pontuação Alpha ($\alpha$): Uma métrica nova que mede a vantagem do agente sobre o consenso do mercado.
   • Fórmula: $\alpha = B_{base} - B_{agent}$, onde $B_{base}$ é a Pontuação Brier do preço médio de mercado.
   • Um $\alpha$ positivo indica que o agente superou a sabedoria coletiva do mercado.

Análise Estatística

Os autores fornecem um tratamento matemático formal das regras de pontuação:

• Decomposição de Murphy: Eles decompõem a Pontuação Brier em Incerteza (UNC), Confiabilidade (REL) e Resolução (RES).
  • $\alpha$ é mostrado como a soma de um Ganho de Resolução (melhor discriminação que o mercado) e uma Lacuna de Confiabilidade (melhor calibração que o mercado).
• Análise de Poder: Eles derivam expressões de forma fechada para a variância do Alpha e calculam o tamanho da amostra necessário para detectar uma vantagem específica ($\alpha^*$).
  • Descoberta: Detectar uma vantagem real de $\alpha^* = 0.02$ requer ~350 previsões (50 rodadas de 7 mercados). Detectar $\alpha^* = 0.01$ requer ~4x essa quantidade.

3. Contribuições Principais

1. Verificabilidade On-Chain: O primeiro benchmark onde todas as previsões, compromissos e pontuações são registrados em uma blockchain pública, permitindo que qualquer terceiro replaneje e verifique independentemente o histórico de um agente sem confiar no organizador.
2. Resolução Sem Confiança: Eliminação de árbitros centralizados usando o Gnosis CTF para resolução de resultados.
3. Análise Formal da Pontuação Alpha: Uma prova estatística rigorosa de que Alpha é uma regra de pontuação adequada e uma derivação da variância e requisitos de tamanho de amostra para detecção confiável de habilidade de previsão.
4. Insight da Decomposição de Murphy: Demonstrar que "vencer o mercado" é matematicamente distinto de "estar calibrado", permitindo o diagnóstico de modos de falha específicos (por exemplo, rastreamento de mercado com ruído versus má calibração genuína).
5. Infraestrutura Sem Permissão: Um sistema de código aberto e sem taxas de gás permitindo que qualquer endereço compatível com Ethereum participe e construa credenciais on-chain persistentes.

4. Resultados Experimentais

Os autores conduziram uma avaliação ao vivo de 50 rodadas envolvendo cinco agentes de Modelos de Linguagem de Grande Porte (LLM) de fronteira e uma linha de base aleatória.

• Agentes Avaliados: claude-opus-4-5, gpt-5-2, gemini-3-pro, grok-4-1, glm-4-7 e uma Linha de Base Aleatória.
• Desempenho Geral:
  • Linha de Base Aleatória: Desempenhou significativamente pior que todos os LLMs ($\bar{\alpha} \approx -0.14$), confirmando que LLMs possuem capacidade de previsão genuína.
  • Primeiro Nível: claude-opus-4-5, gpt-5-2 e gemini-3-pro alcançaram pequenas pontuações Alpha positivas ($+0.003$ a $+0.005$). Embora positivas, estas não foram estatisticamente significativas no horizonte de 50 rodadas (consistente com a análise de poder prevendo que significância requer $\alpha^* \ge 0.02$).
  • Desempenho Inferior: grok-4-1 e glm-4-7 alcançaram pontuações Alpha negativas. A decomposição de Murphy revelou que sofreram de baixa resolução (rastreamento do preço de mercado, mas adicionando ruído) em vez de apenas erros de calibração.
• Especialização de Domínio:
  • Cripto: LLMs mostraram a maior vantagem aqui, provavelmente devido à capacidade de integrar notícias de última hora mais rápido que o preço médio de mercado.
  • Geopolítica: Todos os agentes tiveram desempenho inferior ao mercado, sugerindo que LLMs lutam com eventos políticos de baixa frequência e alta ambiguidade.
  • Esportes/Economia: Resultados mistos com modelos específicos mostrando forças de domínio.

5. Significado e Implicações

• Desacoplamento de Previsão e Negociação: Ao usar regras de pontuação adequadas em vez de PnL, o Foresight Arena isola o conhecimento do modelo sobre o mundo de sua estratégia de negociação. Isso revela modos de falha (como "rastreamento de mercado com ruído") que avaliações baseadas em PnL ignorariam.
• Credenciais de IA Verificáveis: O sistema propõe um novo padrão para avaliação de IA: credenciais on-chain. Estes são registros imutáveis e cumulativos de desempenho que não podem ser falsificados, essenciais para licenciamento comercial e implantação de agentes autônomos.
• Honestidade Estatística: O artigo destaca que avaliações atuais de curto prazo (por exemplo, 50 rodadas) carecem de poder para distinguir entre modelos de fronteira de primeiro nível. Estabelece que avaliação contínua de longo prazo é necessária para classificar confiavelmente capacidades de previsão de IA.
• Orientação de Design: A análise sugere que, para um agente vencer o mercado, deve priorizar informação fresca (resolução) e ousadia controlada, em vez de simplesmente ecoar preços de mercado ou ser excessivamente confiante.

Em conclusão, o Foresight Arena fornece o primeiro framework robusto, descentralizado e estatisticamente rigoroso para medir previsão de IA, indo além de conjuntos de dados estáticos e métricas baseadas em lucro para um sistema fundamentado em verificação criptográfica e teoria da informação.