Resumo Técnico: WORLDREASONER

Definição do Problema

Prever eventos do mundo real exige que agentes de Modelos de Linguagem de Grande Escala (LLMs) racocinem sob incerteza, utilizando informações incompletas e com limites temporais. Os métodos de avaliação atuais enfrentam dois desafios primários:

1. Vazamento Temporal de Dados: Benchmarks estáticos (ex: Autocast) tornam-se contaminados à medida que os corpora de treinamento dos modelos avançam. Um agente respondendo a uma pergunta sobre um evento passado pode estar recuperando fatos memorizados em vez de realizar uma previsão genuína, tornando a precisão do resultado uma medida pouco confiável de raciocínio preditivo.
2. Métricas de Avaliação Incompletas: Mesmo com fronteiras temporais limpas, a maioria dos benchmarks pontua apenas a resposta final resolvida. Um modelo pode alcançar alta precisão ao recuperar fatos, citar evidências alucinadas ou construir histórias causais sem suporte. Por outro lado, um modelo pode recuperar evidências relevantes, mas falhar em convertê-las em uma probabilidade calibrada. A previsão é inerentemente uma tarefa de fundamentação em evidências e raciocínio causal, mas as avaliações atuais frequentemente colapsam essas dimensões em um único escalar.

Metodologia

O artigo introduz o WORLDREASONER, um framework de avaliação reproduzível para previsão de eventos históricos que impõe restrições temporais estritas e avalia agentes através de três eixos complementares.

1. Design do Framework

• Replay Histórico Simulado: Cada tarefa apresenta uma pergunta do mundo real resolvida em uma data de previsão simulada específica. O agente opera dentro de um Portal Temporal que restringe todo o acesso a ferramentas para evidências (artigos, eventos) disponíveis estritamente antes dessa data. Isso separa o tempo de avaliação do tempo histórico, garantindo a reprodutibilidade.
• Avaliação de Três Eixos: Em vez de uma pontuação única, o framework avalia as submissões em:
  • Qualidade do Resultado: Precisão, Brier score e log score contra a resposta resolvida.
  • Qualidade da Evidência: Se as fontes citadas ou acessadas são temporalmente válidas e relevantes, medidas pela precisão da fonte contra um corpus de evidências retrospectivas (hindsight).
  • Qualidade do Raciocínio: Se o grafo de previsão do agente recupera eventos causais validados retrospectivamente, medido pela recuperação de eventos-chave contra um grafo de referência.

2. Pipeline de Construção de Benchmark Agêntico

O benchmark é construído via um sistema escalável de dois pipelines:

• Pipeline Direto (Forward): Ingesta fluxos de notícias e mercados de previsão (ex: Polymarket). Um gerador impulsionado por LLM propõe perguntas de previsão, que são filtradas quanto à clareza, mensurabilidade e validade temporal.
• Pipeline Reverso (Backward): Após a resolução de um evento, um Agente de Retrospectiva coleta evidências pós-resolução para sintetizar uma explicação causal. Um Agente Construtor de Grafos converte isso em um Grafo Acíclico Dirigido (DAG) estruturado de eventos datados e arestas causais. Esses grafos servem como as referências de "verdade fundamental" (ground truth) para a avaliação do raciocínio.
• Escala: O benchmark resultante contém 345 tarefas resolvidas derivadas de 14.141 artigos, com grafos de retrospectiva cobrindo 8.087 eventos extraídos em 10 domínios.

3. Configuração Experimental

Os autores avaliaram modelos de fronteira representativos (Gemini 3, DeepSeek V4, GPT-4o, GPT-5.4) através de seis configurações de agentes controladas:

1. LLM Vanilla: Apenas conhecimento paramétrico.
2. Simulação Causal: Raciocínio de grafo causal interno sem recuperação.
3. Habilitado para Busca: Recuperação com data simulada.
4. Grafo Habilitado para Busca: Recuperação combinada com construção explícita de grafo.
5. Próximo à Resolução: Acesso a evidências um dia antes da resolução.
6. Agente em Tempo Real: Acesso à web ao vivo (limite superior não reproduzível).

Um filtro de contaminação foi aplicado para excluir pares modelo-pergunta onde a data de início da pergunta precedia o corte de conhecimento do modelo, evitando a confusão entre memorização e previsão.

Resultados Principais

• A Recuperação é o Principal Driver: A recuperação temporalmente válida é o fator mais forte para a precisão do resultado. Embora a Simulação Causal sozinha não tenha melhorado em relação ao LLM Vanilla (56,6% vs. 58,7% de precisão ponderada), os agentes Habilitados para Busca alcançaram 68,8%.
• Construção de Grafo vs. Seleção de Resposta: A construção de um grafo causal explícito melhora a recuperação de eventos-chave (Qualidade do Raciocínio), mas não garante automaticamente uma melhor seleção de resposta (Qualidade do Resultado). Agentes de Grafo Habilitados para Busca alcançaram 9,8% de Recuperação de Eventos-Chave (KER), mas ficaram atrás dos agentes de Apenas Busca em precisão (64,4% vs. 68,8%).
• Fundamentação e Correção: Previsões corretas na configuração de Grafo Habilitado para Busca mostraram significativamente maior precisão de fonte (62,6% vs. 48,0%) e recuperação de eventos-chave (10,8% vs. 8,0%) em comparação com previsões incorretas. No entanto, permanece uma lacuna: agentes podem recuperar evidências relevantes e identificar eventos causais, mas ainda falham em convertê-los em probabilidades calibradas.
• Sensibilidade Temporal: A precisão aumenta à medida que a data de previsão simulada se aproxima da data de resolução, confirmando que o benchmark recompensa o acesso tardio às evidências e que as previsões precoces são genuinamente mais difíceis.

Significância e Alegações

O artigo alega que o WORLDREASONER aborda o equilíbrio entre controle de contaminação e praticidade experimental ao permitir o replay com data simulada reproduzível com referências de raciocínio pós-resolução.

Os autores enfatizam que a avaliação de três eixos captura o que a precisão perde. Uma pontuação única de leaderboard não consegue distinguir entre um agente que está correto devido à recuperação de evidências temporalmente válidas, reconstrução de cadeia causal ou mera memorização de fatos pós-resolução. Inversamente, não pode revelar casos onde um agente recupera evidências úteis, mas falha no passo final de conversão de probabilidade.

O artigo conclui que, embora o acesso a evidências temporalmente situadas melhore substancialmente a qualidade do resultado, e a construção de grafos melhore o alinhamento do raciocínio, a capacidade de converter evidências causais fundamentadas em probabilidades calibradas continua sendo um desafio aberto. O framework é apresentado como uma ferramenta de avaliação de pesquisa para diagnosticar esses modos específicos de falha, em vez de um sistema de suporte à decisão para previsões de alto risco.