Resumo Técnico: Máquina do Tempo Agêntica como uma Infraestrutura para Previsão de Eventos Futuros

1. Declaração do Problema

Prever eventos futuros do mundo real (ex: resultados eleitorais, decisões de política monetária, movimentos do mercado financeiro) apresenta um desafio único para agentes de Grandes Modelos de Linguagem (LLMs). Diferente de tarefas padrão de recuperação de informação, a resposta "correta" não existe em nenhuma fonte online no momento da previsão. Os agentes devem sintetizar evidências ruidosas, considerar a incerteza e raciocinar sobre potenciais resultados sem acesso ao fundamento resolvido (ground truth).

Os paradigmas de avaliação atuais enfrentam um compromisso fundamental entre eficiência e fidelidade do ambiente:

• Benchmarks Vivos: Sistemas como FutureX, Prophet Arena e ForecastBench oferecem acesso dinâmico à web e uso de ferramentas aberto. No entanto, eles sofrem de ciclos de feedback inerentemente lentos, exigindo que pesquisadores esperem dias ou semanas para que os eventos do mundo real se resolvam antes de pontuar as previsões.
• Benchmarks Retrospectivos/Congelados: Para acelerar o desenvolvimento, algumas abordagens reproduzem questões históricas usando bancos de dados estáticos e pré-congelados ou inferência de livro fechado (closed-book). Embora forneçam feedback rápido, elas sacrificam o realismo ambiental ao restringir os agentes a fontes de dados limitadas e não dinâmicas, falhando em simular as interações de web aberta necessárias em implementações reais. Além disso, a avaliação retrospectiva ingênua é vulnerável ao vazamento de respostas (answer leakage), onde trechos ou páginas da web atualizados revelam inadvertidamente o resultado resolvido.

2. Metodologia

O artigo propõe dois componentes principais para enfrentar esses desafios: uma nova infraestrutura de avaliação e um framework multiagente de previsão.

2.1. Máquina do Tempo Agêntica (TM)

A Máquina do Tempo Agêntica é uma infraestrutura de avaliação baseada em LLM projetada para permitir a reprodução local rápida e reprodutível de tarefas de previsão, evitando simultaneamente o vazamento de respostas.

• Mecanismo: A TM situa-se entre o agente de previsão e as ferramentas de web ao vivo (busca e captura de páginas). Ela emprega um filtro de vazamento baseado em LLM ($\phi$) que processa as saídas das ferramentas antes que elas cheguem ao agente.
• Lógica de Filtragem: O filtro avalia cada item recuperado (trecho ou conteúdo da página) contra dois critérios:
  1. Vazamento Direto de Resposta: O conteúdo afirma explicitamente ou implica fortemente a resposta fundamental ($a^\star$)?
  2. Vazamento de Informação Pós-Data: O conteúdo contém sinais temporais (datas de publicação, carimbos de data/hora de atualização, datas de eventos) posteriores ao tempo de corte da questão ($t$)?
• Justificativa para Filtragem por LLM: A filtragem simples baseada em regras de data é insuficiente porque o conteúdo da web evolui em URLs estáveis (ex: páginas de preços históricos de ações onde a data da URL é antiga, mas a tabela de dados é atualizada diariamente). O filtro de LLM inspeciona o conteúdo real para distinguir entre informações de contexto pré-corte e revelações pós-corte.
• Resultado: A TM aproxima o estado da web como ele existia no tempo $t$, permitindo que os agentes interajam com um ambiente de web aberto e dinâmico sem acesso à resposta resolvida.

2.2. Framework Multiagente Planejador-Solucionador-Agregador

Para melhorar o desempenho da previsão, os autores propõem um sistema multiagente que decompõe o processo de raciocínio sem exigir treinamento adicional ou ferramentas além de um baseline de agente único.

• Planejador (Planner): Analisa a questão de previsão, realiza buscas exploratórias e decompõe o problema em 2 a 4 ângulos analíticos distintos (ex: taxas de base históricas, drivers causais, risco de mercado, força de campanha). Ele gera um plano em JSON definindo o papel e o foco de busca para cada solucionador.
• Solucionadores (Solvers): Múltiplos agentes solucionadores rodam em paralelo, cada um designado com um ângulo específico pelo planejador. Eles utilizam ativamente ferramentas de web para coletar evidências ao longo de seus caminhos designados e produzem relatórios estruturados em JSON fundamentados em evidências, em vez de priors.
• Agregador (Aggregator): Recebe o plano do planejador e todos os relatórios dos solucionadores. Ele identifica pontos de concordância e conflito, realiza buscas direcionadas adicionais, se necessário, e sintetiza uma previsão final fundamentada.
• Filosofia de Design: Esta abordagem diversifica o próprio processo de coleta de evidências, em vez de apenas diversificar as respostas finais (como na autoconsistência). Isso permite que o sistema cubra mais fatias de evidências relevantes sem forçar um único agente a perseguir todas as linhas de raciocínio possíveis.

3. Principais Contribuições

1. Infraestrutura de Máquina do Tempo Agêntica: Um novo sistema de avaliação que simula a web aberta em um ponto histórico específico. Permite a reprodução local rápida e livre de vazamentos de tarefas de previsão, preenchendo efetivamente a lacuna entre o realismo da web ao vivo e a eficiência offline.
2. Framework Planejador-Solucionador-Agregador: Uma arquitetura multiagente zero-shot que decompõe tarefas de previsão em diversas perspectivas analíticas. Utiliza coleta de evidências paralela e uma etapa de reconciliação para produzir uma previsão única, superando os baselines de autoconsistência padrão.
3. Validação Empírica: Evidência abrangente demonstrando que:
   • A TM reduz efetivamente o vazamento de informações, diminuindo significativamente as pontuações em tarefas onde os agentes anteriormente dependiam da recuperação direta de respostas.
   • As pontuações offline alcançadas sob a TM correlacionam-se fortemente ($r=0.92$) com o desempenho no leaderboard ao vivo, validando a TM como um proxy confiável para testes no mundo real.
   • O framework multiagente proposto atinge o estado da arte em desempenho tanto em datasets offline quanto no leaderboard ao vivo do FutureX.

4. Resultados Experimentais

4.1. Validação da Máquina do Tempo Agêntica

• Redução de Vazamento: Quando aplicada a cinco diferentes backbones de LLM (incluindo GPT-5.4, GLM-5 e Kimi-K2.5) em um subconjunto de 61 questões (FutureX-Past), a aplicação da TM reduziu as pontuações em 25 a 37 pontos. Essa queda confirma que as pontuações altas anteriores foram infladas pelo vazamento de respostas da web ao vivo.
• Sensibilidade à Dificuldade: A queda na pontuação foi mais pronunciada em questões de Nível 4 (quantitativas/abertas), onde a recuperação direta é impossível sem vazamento. Questões de Nível 1 (poucas opções) mostraram uma queda menor, pois os modelos ainda podiam depender de bases históricas e estratégias de eliminação.
• Correlação com Desempenho ao Vivo: As pontuações offline sob a TM mostraram uma forte correlação de Pearson ($r=0.92$) com as pontuações do FutureX ao vivo, confirmando que a TM fornece uma simulação fiel das restrições de previsão do mundo real.

4.2. Desempenho do Framework Multiagente

• Benchmarks Offline (FutureX-Past & Polymarket):
  • No FutureX-Past, o framework alcançou uma pontuação ponderada de 39.51, superando o melhor baseline de autoconsistência (SC@5, 36.81) e o baseline mais forte de agente único aumentado por ferramentas (35.02).
  • No Polymarket (80 questões de múltiplas opções), o framework pontuou 64.99, superando o SC@5 (62.26) e o principal baseline de agente único (59.24).
• Leaderboard Ao Vivo (FutureX):
  • O sistema (listado como FutureGPTv1) participou de quatro rodadas semanais consecutivas (Abril W3 a Maio W2, 2026).
  • Alcançou as posições #4, #2, #1 e #6, resultando no melhor ranking médio (3.25) entre os sistemas públicos comparados (MiroFlow e H2O AI Super Agent).
  • Em 17 de junho de 2026, ocupava o 1º lugar no leaderboard geral oficial de oito semanas do FutureX com uma classificação de Bradley-Terry de 4.61.
• Eficiência: O framework foi mais eficiente que os baselines de autoconsistência. Enquanto o SC@5 exigiu em média 81 rodadas de chamadas de ferramenta (no Polymarket) para ganhar apenas 1.27 pontos sobre o SC@3, o framework proposto alcançou maior precisão com 47.1 rodadas, demonstrando que a decomposição de papéis é mais eficiente do que a amostragem repetida.

5. Significância e Alegações

O artigo alega que a Máquina do Tempo Agêntica fornece uma infraestrutura crítica para o campo da previsão por LLM. Ao permitir a reprodução local rápida e livre de vazamentos, ela permite que pesquisadores iterem sobre designs de agentes sem os custos de tempo proibitivos de esperar pela resolução de eventos do mundo real. A forte correlação entre as pontuações offline da TM e o desempenho no leaderboard ao vivo valida a TM como um proxy confiável para avaliar capacidades de previsão sob incerteza genuína.

Além disso, o framework planejador-solucionador-agregador demonstra que a decomposição de problemas complexos de previsão em diversos ângulos analíticos e a reconciliação de fluxos de evidências paralelos produz desempenho superior em comparação tanto com baselines de agente único quanto com a votação simples de autoconsistência. Os autores enfatem que essas melhorias são alcançadas sem ajuste fino (fine-tuning) ou ferramentas adicionais, sugerindo que a decomposição arquitetônica é um alavancador chave para o avanço de agentes de previsão.

O trabalho conclui que a combinação de um ambiente de avaliação livre de contaminação (TM) e um framework de raciocínio multiagente estruturado representa um passo significativo em direção a agentes de previsão de eventos futuros robustos e do mundo real.