Automating Forecasting Question Generation and Resolution for AI Evaluation

Este artigo apresenta um sistema automatizado baseado em agentes de pesquisa web com LLMs que gera e resolve em escala milhares de perguntas de previsão diversificadas e verificáveis, superando plataformas humanas em qualidade e demonstrando como essa abordagem pode melhorar o desempenho de modelos de IA na previsão de eventos.

O essencial

Imagine que você é um treinador de um time de futebol e quer saber se seus jogadores estão ficando melhores. Para isso, você precisa de jogos difíceis, contra adversários fortes, e precisa ter certeza de que o resultado do jogo (quem ganhou) é claro e incontestável.

O artigo que você leu é sobre como os pesquisadores do FutureSearch criaram um "estádio virtual" gigante para treinar e testar a inteligência artificial (IA) na arte de prever o futuro.

Aqui está a explicação, passo a passo, usando analogias simples:

1. O Problema: A Dificuldade de Criar "Jogos" para IA

Prever o futuro é difícil. Para treinar uma IA a ser boa nisso, você precisa de milhares de perguntas sobre o futuro (ex: "A chuva vai cair amanhã?", "A ação X vai subir?").

• O desafio: Criar essas perguntas manualmente é cansativo e demorado. Se você usar apenas dados antigos (como clima ou preços de ações), as perguntas ficam repetitivas e fáceis demais.
• A solução do artigo: Eles criaram um "robô jornalista" que vasculha a internet em tempo real para inventar perguntas novas, difíceis e importantes sobre o mundo real.

2. A Fábrica de Perguntas (O Pipeline)

Eles construíram uma linha de montagem automatizada com robôs (agentes de IA) trabalhando juntos:

• A Semente (O Inspiração): Tudo começa com uma notícia ou um fato real (como um relatório de uma empresa ou uma notícia do GDELT). Imagine que é como pegar uma semente de uma planta.
• O Rascunho (Proto-perguntas): Um robô lê a semente e cria 1 a 7 ideias de perguntas. Mas essas perguntas ainda são "meio vagas". É como dizer: "Vai chover?". Precisa ser mais específico.
• O Refinamento (Tornando Claro): Outro robô pega a ideia vaga e a transforma em uma pergunta de "Sim ou Não" super precisa. Ele define exatamente quando e como vamos saber a resposta.
  • Exemplo: Em vez de "Vai chover?", a pergunta vira: "Haverá mais de 50mm de chuva na cidade X entre 15 e 31 de outubro de 2025, medido pelo órgão oficial Y?".
• Os Juízes (Verificadores): Antes de a pergunta entrar no jogo, ela passa por uma equipe de juízes robôs. Eles verificam:
  • É ambíguo? (Se não, descarta).
  • É possível resolver? (Se a resposta não puder ser encontrada na internet, descarta).
  • É difícil? (Se for óbvio demais, descarta).
• O Filtro Final: Eles usam um sistema para garantir que não haja perguntas duplicadas (como duas perguntas sobre o mesmo time, mas com palavras diferentes).

O Resultado: Eles criaram 1.499 perguntas de altíssima qualidade sobre política, economia, guerras, clima e esportes.

3. O Grande Teste: Quem é o Melhor Adivinho?

Depois de criar as perguntas, eles precisavam ver se as IAs conseguiam respondê-las. Eles usaram IAs de ponta (como Gemini 3 Pro e GPT-5) como "adivinhos".

• A Regra do Jogo: A IA precisa pesquisar na internet, ler notícias e dados, e depois dar uma porcentagem de chance (ex: "80% de chance de chover").
• O Veredito: Quando a data chegou, eles verificaram a resposta real.
• A Descoberta: Quanto mais "inteligente" e capaz era a IA, melhor ela acertava.
  • A IA mais forte (Gemini 3 Pro) teve o melhor desempenho.
  • IAs menores ou mais antigas erraram mais.
  • Isso prova que o teste é justo: ele realmente mede inteligência, não apenas sorte.

4. A Qualidade do Trabalho

Eles compararam suas perguntas com as de uma plataforma famosa de previsão humana chamada Metaculus.

• Qualidade: As perguntas criadas pelos robôs eram tão boas (ou até melhores) quanto as feitas por humanos especialistas. Apenas cerca de 4% precisaram ser canceladas (uma taxa muito baixa).
• Resolução: O sistema de robôs conseguiu resolver as perguntas (dizer se foi Sim ou Não) com 95% de precisão.

5. O Pulo do Gato: "Dividir para Conquistar"

Uma das descobertas mais legais foi um truque de estratégia. Eles pegaram algumas perguntas difíceis e pediram para a IA quebrá-las em subperguntas menores.

• Analogia: Em vez de tentar adivinhar "Quem vai ganhar a Copa do Mundo?", a IA primeiro adivinha "Quem vai passar da fase de grupos?", "Quem vai jogar melhor no ataque?", etc.
• Resultado: Ao responder as pequenas peças primeiro, a IA conseguiu prever o resultado final com muito mais precisão. Isso mostra que, para problemas complexos, dividir o trabalho ajuda a IA a pensar melhor.

Resumo Final

Este artigo é como se eles tivessem construído um laboratório de testes de direção para carros autônomos (as IAs), mas em vez de carros, são previsões.

Eles provaram que:

1. Podemos criar testes de previsão automáticos, rápidos e de alta qualidade usando robôs.
2. Esses testes são difíceis o suficiente para distinguir uma IA "burra" de uma "gênial".
3. Quanto mais inteligente a IA, melhor ela se sai nesses testes.
4. Dividir problemas grandes em pequenos ajuda a IA a ser ainda mais precisa.

Isso é um passo gigante para entendermos se estamos caminhando para uma Inteligência Artificial Geral (AGI), pois prever o futuro com precisão é uma das maiores provas de inteligência humana.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Automating Forecasting Question Generation and Resolution for AI Evaluation", publicado no Workshop ICLR 2026 sobre IA para Design de Mecanismos e Tomada de Decisão Estratégica.

1. Problema e Motivação

A previsão de eventos futuros é uma métrica robusta de inteligência geral e uma ferramenta valiosa para a tomada de decisões. No entanto, avaliar sistemas de previsão de IA enfrenta dois desafios principais:

• Complexidade de Amostragem: Diferente de tarefas de classificação, o "rótulo dourado" para uma previsão é uma distribuição de probabilidade, mas observamos apenas um único desfecho (evento ocorre ou não). Isso exige um grande volume de perguntas diversas para obter poder estatístico.
• Custo de Criação e Resolução: Criar perguntas de previsão de alta qualidade, com critérios de resolução claros e objetivos, é trabalhoso e propenso a ambiguidades. As abordagens anteriores de automação dependiam de fontes de dados recorrentes (ex: clima, ações), limitando a diversidade e a utilidade das perguntas geradas.

O objetivo deste trabalho é desenvolver um sistema automatizado capaz de gerar e resolver, em escala, perguntas de previsão de alta qualidade, diversificadas e baseadas em eventos do mundo real, superando as limitações das curações humanas e das fontes de dados estáticas.

2. Metodologia: Pipeline de Geração e Resolução

O sistema proposto utiliza uma abordagem baseada em Agentes LLM (Modelos de Linguagem Grande) com acesso à web, explorando a assimetria onde verificar a qualidade de uma saída é mais fácil do que gerá-la do zero. O pipeline consiste nas seguintes etapas (ilustrado na Figura 1 do artigo):

A. Geração de Sementes (Seeds)

O processo inicia com "sementes" (textos, URLs ou tópicos) derivados de fontes de notícias e relatórios (GDELT, Media Cloud, e rationales de previsão de receita da Stockfisher para empresas S&P 500). Essas sementes garantem que as perguntas estejam fundamentadas em eventos reais e atuais.

B. Geração de Proto-Perguntas

Agentes ReAct (Reasoning + Acting) realizam pesquisas na web para transformar cada semente em 1 a 7 "proto-perguntas". Estas são questões sobre o futuro com um objetivo claro, mas ainda não suficientemente precisas para resolução objetiva. A pesquisa web é crucial aqui para evitar alucinações e garantir que as perguntas sejam factíveis.

C. Refinamento e Operationalização

Outro agente ReAct refina as proto-perguntas, adicionando critérios de resolução precisos e objetivos. O foco é garantir que a pergunta seja binária (Sim/Não), tenha um prazo de resolução definido e uma fonte de verdade verificável.

D. Verificação Iterativa (Filtragem)

Um conjunto de agentes verificadoros avalia cada pergunta refinada em quatro dimensões:

1. Qualidade Geral: A pergunta é uma tarefa de previsão não trivial?
2. Ambiguidade: Os critérios de resolução são claros e objetivos?
3. Resolvibilidade: É possível resolver a pergunta automaticamente usando um agente?
4. Previsão Básica: Um agente simples gera uma probabilidade para garantir que a pergunta não seja trivial (evitando respostas quase certas de 0% ou 100%).
   Apenas perguntas que recebem as classificações mais altas ("great" ou "very certainly yes") passam para a próxima etapa.

E. Deduplicação

Para garantir a unicidade, as perguntas são agrupadas usando embeddings (OpenAI text-embedding-3-large) e o algoritmo DBSCAN, seguido por uma verificação final com um LLM (Claude Haiku 4.5) para remover duplicatas exatas ou semânticas.

F. Resolução Automática

As perguntas finais são resolvidas usando um ensemble de agentes. Três agentes baseados em Gemini 3 Pro tentam resolver cada questão. Em caso de desacordo, um agente Opus 4.5 atua como desempate. O processo envolve pesquisa na web ativa e extração de dados de fontes específicas.

3. Contribuições Principais

• Sistema Automatizado em Escala: Primeira implementação de um sistema de geração de perguntas de previsão que utiliza agentes de pesquisa web flexíveis, permitindo a criação de perguntas baseadas em eventos dinâmicos e atuais, não apenas em dados históricos.
• Dataset de Alta Qualidade: Geração de 1.499 perguntas de previsão diversas, cobrindo tópicos como geopolítica, política, economia, segurança e clima, com critérios de resolução rigorosos.
• Validação de Qualidade: Demonstração de que o sistema automatizado supera ou iguala a qualidade de curadoria humana em plataformas líderes (como o Metaculus), com taxas de anulação e precisão comparáveis ou superiores.
• Benchmark para Avaliação de IA: Prova de que o conjunto de perguntas gerado serve como um benchmark eficaz, onde modelos mais inteligentes e esforçados obtêm melhores pontuações (Brier scores).

4. Resultados e Métricas

Qualidade das Perguntas

• Taxa de Anulação: O sistema estima que apenas 3,9% das perguntas geradas requerem anulação (devido a ambiguidades ou fontes indisponíveis), comparado a ~8% no Metaculus (curadoria humana).
• Precisão de Resolução: O sistema de resolução automática atingiu uma precisão de aproximadamente 95% (taxa de erro de 4,9%) quando validado contra um conjunto de referência resolvido por humanos.
• Diversidade: Análise de clusters mostrou que as perguntas cobrem 12 domínios principais (ex: ações regulatórias, segurança internacional, eleições) e possuem alta diversidade intra-cluster (semelhança média de 1,32 em uma escala de 1-4), evitando repetição.

Desempenho de Modelos de Previsão

O estudo avaliou vários modelos de IA nas perguntas geradas, separando a fase de pesquisa da fase de previsão:

• Correlação com Inteligência: Modelos maiores e mais recentes performaram melhor. O Gemini 3 Pro obteve o melhor Brier score (0,134), seguido pelo GPT-5 (0,149) e Gemini 2.5 Flash (0,179).
• Decomposição de Subperguntas: Um experimento onde o sistema gerou subperguntas para aprofundar a pesquisa resultou em uma melhoria significativa no desempenho (Brier score de 0,132 vs 0,141 para o baseline), demonstrando que o benchmark recompensa esforço e inteligência.
• Calibração: Os modelos exibiram boa calibração e capacidade de refinamento, com modelos superiores dominando Pareto (melhor calibração e maior refinamento).

5. Significado e Impacto

Este trabalho representa um avanço crucial para a pesquisa em IA, fornecendo uma solução escalável para o "gargalo de dados" na avaliação de capacidades de previsão.

• Validação de AGI: Como a previsão é uma medida robusta e difícil de "gamificar" da inteligência geral, a capacidade de gerar benchmarks automatizados e confiáveis é essencial para rastrear o progresso rumo à Inteligência Artificial Geral (AGI).
• Automação de Avaliação: O sistema demonstra que a curadoria humana intensiva pode ser substituída ou complementada por agentes autônomos, permitindo a criação de conjuntos de avaliação maiores, mais diversos e atualizados em tempo real.
• Aplicabilidade Prática: As perguntas geradas cobrem domínios com alto impacto real (política, mercados, segurança), tornando o benchmark relevante não apenas para pesquisa acadêmica, mas também para a avaliação de sistemas de IA destinados a auxiliar na tomada de decisões estratégicas.

Em resumo, o artigo apresenta um marco na automação da avaliação de IA, provando que agentes LLM podem gerar, refinar e resolver milhares de perguntas de previsão complexas com qualidade superior à curadoria humana tradicional, estabelecendo um novo padrão para medir o progresso da inteligência artificial.