Resumo Técnico: Agentic Forecasting com Atualização Bayesiana Sequencial de Crenças Linguísticas

1. Problema e Contexto

O artigo aborda o desafio fundamental de prever a probabilidade de eventos futuros (previsão binária) em áreas como geopolítica, finanças e saúde pública. Embora Grandes Modelos de Linguagem (LLMs) tenham demonstrado capacidade de atingir níveis humanos em tarefas de previsão quando equipados com acesso à web, a maioria das abordagens atuais sofre de limitações críticas:

• Acúmulo de Contexto Não Estruturado: Muitos agentes apenas acumulam resultados de busca brutos no contexto, o que pode exceder a janela de atenção do modelo e diluir informações relevantes.
• Alta Variância: As previsões de LLMs variam significativamente entre execuções independentes.
• Calibração Deficiente: Previsões extremas (muito próximas de 0% ou 100%) frequentemente não são calibradas corretamente, especialmente quando as taxas de base (base rates) dos dados são enviesadas.
• Vazamento de Informação (Leakage): Em testes de backtesting, é difícil garantir que o modelo não tenha acesso a informações posteriores à data de corte (cutoff), o que invalida a avaliação.

O objetivo é desenvolver um sistema agente que supere o estado da arte (SOTA) no benchmark ForecastBench, utilizando uma abordagem estruturada e probabilística.

2. Metodologia: O Sistema BLF (Bayesian Linguistic Forecaster)

O sistema proposto, BLF, é um agente autônomo baseado em três pilares principais:

A. Estado de Crença Linguística (Linguistic Belief State)

Diferente de abordagens que apenas acumulam texto, o BLF mantém um estado de crença semi-estruturado atualizado iterativamente.

• Estrutura: Em cada passo do loop de ferramentas, o LLM gera uma ação (ex: buscar na web) e atualiza um objeto JSON contendo:
  • Uma estimativa de probabilidade ($p \in [0, 1]$).
  • Um nível de confiança.
  • Resumo de evidências naturais a favor e contra.
  • Questões em aberto para investigação futura.
• Inferência Aproximada: Isso atua como uma inferência bayesiana sequencial, onde o modelo integra novas evidências ao estado atual de crença, em vez de apenas ler um histórico crescente de texto.

B. Agente Iterativo com Loop de Ferramentas

O agente opera em um ciclo iterativo (até 10 passos):

1. Leitura: Analisa o histórico de mensagens e o estado de crença atual.
2. Ação: Escolhe uma ferramenta (busca na web, sumarização de resultados, busca de URL, ferramentas de dados específicos como séries temporais de yfinance/FRED).
3. Atualização: Executa a ação, filtra vazamentos de data (ver abaixo) e atualiza o estado de crença.
4. Submissão: Decide quando parar e submeter a previsão final.

• Filtro de Vazamento (Leakage Defense): O sistema implementa uma defesa de quatro camadas para garantir a validade do backtesting:
  1. Filtragem de data no motor de busca.
  2. Classificador baseado em LLM para detectar conteúdo pós-corte nos resultados.
  3. "Clamp" de data em ferramentas de dados.
  4. Bloqueio de URLs de resolução.
     Resultado: Taxa de vazamento residual de apenas 1,5%.

C. Agregação Hierárquica e Calibração

Para lidar com a variância e melhorar a precisão:

• Múltiplas Tentativas (Multi-trial): O sistema executa $K=5$ tentativas independentes por pergunta.
• Agregação no Espaço Logit: As previsões são combinadas no espaço logit (log-odds) em vez da média aritmética simples. Isso preserva melhor a extremidade das previsões.
• Encolhimento (Shrinkage): Otimizado via validação cruzada Leave-One-Out (LOO), o sistema pode encolher previsões em direção a $p=0.5$ quando há alta discordância entre as tentativas, reduzindo a superconfiança.
• Calibração Hierárquica: Utiliza a escala de Platt com offsets de intercepto específicos por fonte de dados. Isso evita o "encolhimento excessivo" de previsões extremas corretas provenientes de fontes com taxas de base distorcidas (ex: Wikipedia ou Mercados de Previsão).

3. Contribuições Principais

1. Sistema SOTA no ForecastBench: O BLF alcançou o melhor desempenho em todas as categorias de perguntas (mercado e conjuntos de dados), superando métodos públicos de ponta como Cassi, GPT-5, Grok 4.20 e Foresight-32B.
2. Novo Paradigma de Estado de Crença: Demonstrou que manter um estado de crença estruturado e atualizado sequencialmente é quase tão impactante quanto o acesso à busca na web, superando a abordagem de acúmulo de texto.
3. Framework de Avaliação Robusto: Desenvolveu um framework de backtesting com verificação rigorosa de vazamento de dados e metodologia estatística avançada (análise pareada com intervalos de confiança bootstrap) para comparar métodos, controlando a dificuldade variável das perguntas.
4. Análise de Componentes: Identificou que o estado de crença estruturado, a busca sequencial e a agregação logit são os componentes mais críticos para o sucesso, superando o uso de modelos maiores sem essas arquiteturas.

4. Resultados Experimentais

Os experimentos foram realizados em 400 perguntas de backtesting do ForecastBench (200 de mercado, 200 de conjuntos de dados).

• Desempenho Geral: O BLF obteve um Índice de Brier Ajustado (ABI) de 71.0, igualando a mediana dos "superprevisores humanos" relatada no leaderboard.
• Comparação com SOTA:
  • O BLF superou significativamente todos os outros métodos públicos ($p < 0.001$).
  • Nas perguntas de mercado, o BLF foi o único método a superar significativamente a linha de base da "multidão" (preço de mercado). Todos os outros métodos, incluindo aqueles com ferramentas, foram estatisticamente indistinguíveis de simplesmente retornar o preço de mercado.
  • Nas perguntas de conjuntos de dados (séries temporais), o BLF superou a linha de base empírica e outros modelos.
• Estudos de Ablação:
  • Remover o estado de crença estruturado degradou o desempenho em 3,0 pontos (BI).
  • Remover a busca na web degradou em 4,6 pontos.
  • Usar uma abordagem de "busca em lote" (batch) em vez de sequencial degradou em 3,8 pontos.
  • A agregação hierárquica e a calibração forneceram ganhos adicionais significativos, especialmente em cenários sem acesso a ferramentas ou para modelos zero-shot.

5. Significado e Conclusão

O trabalho demonstra que a melhoria no desempenho de previsão de LLMs não depende apenas de escalar o modelo base, mas sim de arquiteturas de agente inteligentes. A chave reside em:

1. Raciocínio Iterativo Estruturado: Manter e atualizar explicitamente uma representação de crença (probabilidade + evidência) é superior ao acúmulo passivo de contexto.
2. Ensemble e Calibração: A combinação de múltiplas tentativas independentes com técnicas estatísticas de calibração hierárquica é essencial para superar a variância inerente aos LLMs.
3. Validade Experimental: A ênfase na prevenção rigorosa de vazamento de dados é crucial para a credibilidade de benchmarks de previsão futura.

O BLF estabelece um novo padrão para sistemas de previsão automatizada, provando que agentes com ferramentas, raciocínio bayesiano linguístico e calibração cuidadosa podem superar tanto modelos de linguagem puros quanto a sabedoria das multidões em cenários complexos.