ForecastBench-Sim: A Simulated-World Forecasting Benchmark

Resumo Técnico: ForecastBench-Sim

Declaração do Problema

Benchmarks de previsão de IA de propósito geral, como o existente ForecastBench, enfrentam limitações estruturais inerentes ao mundo real. Estas incluem tempos de resolução lentos para os resultados, a escassez de eventos raros de "cauda" (tail events) e a incapacidade de pontuar questões contrafatuais, uma vez que apenas uma trajetória histórica é realizada. Estas restrições introduzem armadilhas metodológicas, como a dificuldade de avaliar o raciocínio probabilístico sob incerteza quando a verdade fundamental (ground truth) é atrasada ou singular. Embora o "pastcasting" (reutilização de eventos passados não vistos) ofereça uma solução parcial, ele carece do controle sobre intervenções e tempo de resolução que um ambiente simulado proporciona.

Metodologia

Os autores introduzem o ForecastBench-Sim, um benchmark construído sobre o Freeciv (um jogo de estratégia por turnos modelado na série Civilization) e a infraestrutura CivRealm. O sistema opera da seguinte forma:

• Geração de Mundo e Relatórios: O benchmark utiliza rollouts de jogos Freeciv. Um "relatório mundial" fixo é gerado no Turno 60, resumindo o estado das civilizações (cidades, tecnologia, território, tesouraria, diplomacia e conflitos) em texto estruturado, tabelas e mapas. Este relatório serve como o input para os previsores (tanto LLMs quanto humanos), ocultando todos os turnos futuros.
• Tarefas de Previsão: Com base no relatório do Turno 60, o benchmark gera dois tipos de perguntas através de múltiplos horizontes (H1–H7, correspondendo a incrementos de 30 turnos até o Turno 270):
  • Perguntas Binárias: Perguntando se eventos ou relações específicas se manterão (ex: "A Tesouraria será > X?").
  • Perguntas Contínuas: Pedindo valores específicos de variáveis mundiais futuras (ex: contagem exata da tesouraria), solicitando cinco quantis (p10, p25, p50, p75, p90).
  • Verificações de Compreensão (H0): Perguntas sobre o snapshot do Turno 60 propriamente dito para verificar capacidades de leitura de relatório.
• Protocolos de Pontuação:
  • Previsões Binárias: Avaliadas usando o escore de Brier.
  • Previsões Contínuas: Avaliadas usando o Escore de Probabilidade Classificada Contínua (CRPS) computado a partir dos quantis elicitados. Os escores são normalizados por intervalos de valores fixos por família (ex: 2000 para tesouraria) para permitir a média entre diferentes tipos de variáveis.
• Regimes de Avaliação: O benchmark suporta três regimes de condicionamento distintos:
  1. Incondicional: Previsão padrão a partir de um relatório fixo ($P(Y)$).
  2. Condicional Observacional: Visando $P(Y|X)$ ao amostrar variações naturais através de um corpus de mundos simulados.
  3. Intervencional: Visando $P(Y|do(X))$ ao mutar o estado do savegame (ex: alterando o tipo de governo ou adicionando ouro) antes de realizar o rollout da simulação. Isso permite questões causais de "fork-and-resolve" onde verdades fundamentais separadas são geradas para cada ramo.

Principais Contribuições

1. Substrato de Mundo Simulado: A criação de um benchmark que preserva as estruturas centrais de previsão (informação parcial, dependência de caminho, agentes interagentes) enquanto concede aos avaliadores controle total sobre resolução e intervenções.
2. Pontuação Intervencional: A capacidade de pontuar questões contrafatuais e causais ao gerar mundos de intervenção pareados, uma capacidade impossível em benchmarks do mundo real onde existe apenas uma história.
3. Avaliação de Risco de Cauda: A capacidade de amostrar densamente resultados disruptivos ou raros (ex: colapsos econômicos) em vez de esperar que ocorram naturalmente, facilitando o estudo da previsão de risco de cauda.
4. Liberação Abrangente de Artefatos: A liberação inclui o pipeline do benchmark, famílias de perguntas, protocolos de pontuação e fatias de validação de avaliações de modelos e um piloto humano anonimizado.

Resultados

O artigo reporta resultados de validação de um subconjunto curado de execuções de modelos existentes (cobrindo 9 modelos) e um pequeno piloto humano:

• Desempenho dos Modelos:
  • Binário (H1–H7): Os escores médios de Brier variaram de 0,220 (GPT-5.1) a 0,313 (Gemini 2.5 Flash).
  • Contínuo (H1–H7): O CRPS normalizado médio variou de 0,283 (o3) a 0,590 (Gemini 2.5 Pro).
  • Correlação: Os rankings do ForecastBench-Sim mostraram correlação positiva moderada com o Dataset do ForecastBench do mundo real (Spearman $\rho = +0,43$) e o Índice de Capacidades de Época ($|\rho| = 0,48$), sugerindo que o benchmark captura a habilidade geral de previsão.
• Dependência de Horizonte: O desempenho degradou à medida que o horizonte de previsão se estendia. Os escores médios de Brier aumentaram de 0,205 (H1) para 0,264 (H7), e o CRPS aumentou monotonicamente por um fator de 4,8, indicando que as tarefas contêm sinal previsível que diminui com o tempo.
• Compreensão: Todos os modelos curados alcançaram pontuações quase perfeitas nos testes H0 (Brier < 0,032), confirmando que os erros em tarefas de projeção futura não se devem à incapacia de ler os relatórios do Turno 60.
• Ganhos Intervencionais: Em intervenções piloto (ex: mudar para um governo de República ou adicionar 500 de ouro), os modelos mostraram ganhos médios de intervenção positivos. Um controle placebo (redação nula-condicional) mostrou mudanças negligenciáveis, sugerindo que os modelos estavam respondendo à intervenção real e não apenas à fraseologia condicional.
• Piloto Humano: Dez participantes humanos responderam a perguntas contínuas, produzindo resultados próximos a um baseline de bins uniformes, servindo como um teste de viabilidade para futuros baselines humanos em maior escala.

Significância e Alegações

Os autores posicionam o ForecastBench-Sim não como um ranking empírico final de previsores, mas como uma ferramenta complementar para os benchmarks do mundo real. Sua principal significância reside em fornecer um ambiente controlado e imediatamente resolúvel para estudar:

• Raciocínio probabilístico sob estados de mundo dinâmicos.
• Calibração e consistência na previsão de modelos de linguagem.
• Atualização causal e raciocínio contrafatual (via regime intervencional).
• Comportamento de risco de cauda através de amostragem densa de resultados disruptivos.

O artigo reconhece limitações, observando que os mundos de Freeciv são simplificados e estilizados, e que o estudo humano atual é apenas um piloto. Os autores enfatizam que o benchmark é destinado a ser um substrato de avaliação reutilizável para alegações mais estreitas sobre comportamentos de previsão específicos, em vez de um leaderboard definitivo para capacidades gerais de IA.