💬 NLP

Hindcast: Replaying Prediction Markets to Evaluate LLM Forecasters

Este artigo introduz o "Hindcast", um framework de avaliação rigoroso que evita o vazamento de dados em previsões de LLMs ao reproduzir mercados de previsão contra um snapshot congelado de informações públicas com um corte temporal, para garantir que os modelos sejam avaliados por sua previsão genuína, e não por memória pós-evento.

Autores originais: Xiao Ye, Jacob Dineen, Evan Zhu, Shijie Lu, Kevin Song, Ben Zhou

Publicado 2026-07-16

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Xiao Ye, Jacob Dineen, Evan Zhu, Shijie Lu, Kevin Song, Ben Zhou

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando testar o quão bom um detetive é em resolver um mistério. Você lhe dá um arquivo de caso e pergunta: "Quem roubou o biscoito?". Se o detetive simplesmente abrir o arquivo e ler a resposta escrita bem no final, ele não está realmente demonstrando suas habilidades de detetive; ele está apenas demonstrando sua habilidade de leitura. Este é o problema complicado que os cientistas enfrentam ao testar modelos de Inteligência Artificial (IA) na previsão do futuro.

Para ver se uma IA é realmente inteligente, os pesquisadores geralmente pedem que ela preveja coisas que já aconteceram, como "Quem venceu a Copa do Mundo de 2022?". O problema é que as IAs de hoje foram treinadas com toda a internet, incluindo artigos escritos depois que o jogo terminou. Assim, quando a IA diz "A Argentina venceu", pode não ser porque ela deduziu as pistas antecipadamente; pode ser apenas porque ela está lembrando o placar final de seus dados de treinamento. É como um aluno fazendo uma prova de história que secretamente memorizou o gabarito. Para corrigir isso, os cientistas precisam de uma maneira de testar a "previsão" (o ato de adivinhar o que vai acontecer) da IA sem permitir que ela trapaceie olhando para a "chave de respostas" (o que realmente aconteceu).

É aqui que entra um novo estudo chamado HINDCAST. Os pesquisadores queriam ver se uma IA poderia realmente prever o futuro se a forçássemos a ficar parada no passado, sem conhecimento do que aconteceu depois. Eles montaram uma simulação de viagem no tempo usando mercados de previsão (lugares onde as pessoas apostam em resultados) e um arquivo congelado da internet. Eles descobriram que, quando impedem a IA de trapacear, ela ainda pode melhorar em suas suposições lendo notícias antigas, mas apenas se essas notícias contiverem fatos úteis de fato. Se a notícia antiga fosse apenas pessoas dando palpites e gritando opiniões, ler isso na verdade tornava a IA pior em prever a verdade.

O Teste de Viagem no Tempo

Os pesquisadores construíram um sistema que chamam de HINDCAST (um trocadilho com "forecast" [previsão], mas olhando para trás). Imagine uma máquina do tempo que congela um momento específico da história, digamos, um mês antes de um grande torneio esportivo começar. Nesse momento congelado, a IA tem permissão para consultar uma biblioteca de artigos de notícias e postagens de fóruns, mas apenas aqueles escritos antes dessa data. Ela não pode ver nada escrito após esse momento, mesmo que esteja sentado na biblioteca hoje.

Para testar a IA, os pesquisadores usaram mercados de apostas do mundo real chamados Polymarket. Estes são como cassinos digitais onde as pessoas apostam se algo vai acontecer (como "O Time X vencerá?"). Como esses mercados já foram encerrados, os pesquisadores sabem a resposta real. Eles também sabem qual era o "preço de mercado" naquele exato momento no passado, o que representa o que uma multidão de humanos pensava serem as chances naquela época.

A configuração funciona assim:

Congelar o Tempo: Escolher uma data passada ( $t_0$ ) antes de um mercado ser resolvido.
Trancar a Biblioteca: A IA pode pesquisar apenas um snapshot congelado do Reddit (um fórum popular da internet) de antes dessa data.
A Previsão: A IA lê as postagens disponíveis e adivinha o resultado.
A Pontuação: A IA é avaliada em duas coisas: o quão próxima ela esteve do resultado final real e o quão próxima ela esteve do que os apostadores humanos pensavam naquele exato momento.

A Grande Descoberta: Fatos vs. Hype

A equipe testou nove modelos de IA diferentes para ver se dar acesso a essa "biblioteca congelada" as ajudava a prever melhor do que apenas adivinhar a partir de sua própria memória.

A Boa Notícia: Para a maioria dos modelos de IA, ler as postagens antigas ajudou. Na verdade, para oito de nove modelos, a IA cometeu menos erros quando pôde ler o arquivo. A maior melhoria foi vista em um modelo chamado Qwen3-32B, que reduziu sua taxa de erro em 23%. Isso sugere que, quando existem fatos reais disponíveis no passado, a IA pode usá-los para fazer suposições mais inteligentes.

A Má Notícia (e o Porém): A ajuda não foi universal. Dependeu inteiramente do que a IA estava lendo.

Onde funcionou: Em tópicos como Esportes, Prêmios e Negociações (Trading), as postagens na internet antes do evento estavam cheias de fatos concretos (ex: "O jogador estrela do time está lesionado" ou "O preço do ouro está subindo"). Nesses casos, a IA leu os fatos e melhorou sua previsão do vencedor.
Onde falhou: Em tópicos como Entretenimento (como adivinhar qual música será a nº 1) ou Política, a internet estava cheia de opiniões barulhentas, hype de fãs e especulações. Quando a IA lia essas postagens, ela ficava confusa. Ela começou a acreditar que o "hype" era um fato. Por exemplo, se os fãs estivessem gritando que uma nova música seria a nº 1, a IA apostaria nela, embora a maioria das músicas nunca consiga chegar ao topo. Nesses casos, ler o arquivo tornou a IA pior do que se ela tivesse apenas ignorado a internet e seguido sua própria lógica.

O Problema do "Excesso de Leitura"

O estudo encontrou um padrão engraçado: quanto mais tempo um mercado permanecia aberto, maior a probabilidade de a IA se confundir com o ruído. Se um mercado de apostas ficava aberto por muito tempo, a internet se enchia de conversas intermináveis e opiniões conflitantes. A IA, tentando ser útil, lia tudo e começava a pensar demais, acabando por fazer suposições ruins baseadas em opiniões barulhentas em vez de fatos sólidos.

Um modelo específico, R1-Distill-Qwen-7B, na verdade ficou pior no geral quando lhe foi permitido ler. Os pesquisadores acreditam que isso aconteceu porque o modelo ficou tão preso na leitura de cadeias longas e confusas de raciocínio que esqueceu a evidência real. É como um aluno que lê tantas opiniões diferentes sobre um tópico que acaba esquecendo os fatos simples e acaba errando a previsão.

O Que Isso Significa para o Futuro

A principal conclusão do HINDCAST é que a capacidade de uma IA de prever o futuro é tão boa quanto a qualidade da informação que ela consegue encontrar antes do evento acontecer. Se a internet estiver cheia de fatos, a IA pode ser uma excelente previsora. Se a internet estiver cheia de ruído e hype, a IA pode apenas se tornar um tolo confiante, acreditando na voz mais alta em vez da verdade.

Os pesquisadores também mostraram que este método de teste de "viagem no tempo" é uma ferramenta poderosa. Como a biblioteca está congelada, você pode testar novos modelos de IA contra as mesmas questões antigas sem que eles trapaceiem. Isso significa que podemos continuar melhorando nossos testes à medida que a IA se torna mais inteligente, garantindo que estamos realmente medindo o quão bem elas pensam, e não apenas o quão bem elas lembram.

Em resumo, o HINDCAST prova que, embora dar uma biblioteca de fatos ajude a IA a ver o futuro, dar a ela uma biblioteca de rumores pode apenas deixá-la cega.

Resumo Técnico: HINDCAST – Replay de Mercados de Previsão para Avaliar Forecasters de LLM

1. Declaração do Problema

Os métodos atuais de avaliação para forecasters de Grandes Modelos de Linguagem (LLMs) baseiam-se em backtesting de questões resolvidas, onde os modelos são avaliados pela probabilidade que atribuem a resultados conhecidos. Os autores identificam dois "vazamentos" (leaks) críticos neste paradigma que permitem aos modelos "trapacear" ao acessar informações que não estariam disponíveis no momento da previsão:

Vazamento de Recuperação (Retrieval Leakage): Modelos equipados com sistemas de recuperação podem trazer à tona relatórios, artigos ou discussões escritos após o ocorrido, transformando a previsão em uma tarefa de busca de informação.
Vazamento de Dados de Treinamento (Training Data Leakage): À medida que os modelos são retreinados com dados mais próximos do presente, questões que eram do futuro para versões anteriores do modelo tornam-se parte dos dados de treinamento para as versões mais recentes.

Consequentemente, as avaliações padrão frequentemente medem a capacidade de recall (recuperação de memória) do modelo sobre o resultado, em vez de sua perspicácia (a probabilidade contrafactual que ele teria atribuído em um tempo passado $t_0$ ). Embora os benchmarks ao vivo evitem isso ao propor questões abertas, eles carecem da verdade fundamental imediata e da linha de base humana (preço de mercado) fornecidas por questões resolvidas.

2. Metodologia: HINDCAST

Os autores introduzem o HINDCAST, um protocolo de avaliação projetado para fechar esses vazamentos, simulando uma previsão feita em uma data passada específica $t_0$ , antes que o resultado fosse conhecido e antes que qualquer informação pós-evento existisse no corpus de recuperação.

Componentes Principais

Ambiente de Informação Congelado: O sistema utiliza um arquivo de Reddit público temporariamente fixado (derivado de snapshots mensais do Pushshift). Este arquivo é imutável; uma vez que um snapshot é capturado, ele nunca muda. Isso garante que a recuperação em qualquer tempo simulado $t_0$ retorne apenas conteúdo criado estritamente antes de $t_0$ .
Verdade Fundamental de Mercado de Previsão: A avaliação utiliza mercados binários da Polymarket resolvidos. Para cada mercado, o sistema registra:
- O resultado resolvido ( $y$ ).
- A probabilidade implícita pelo mercado no tempo $t_0$ ( $q_{t_0}$ ), que serve como uma linha de base de previsão humana derivada da mesma informação pré- $t_0$ .
Imposição de Corte (Cutoff Enforcement): Para evitar erros de roteamento, o backend de recuperação impõe um predicado estrito de created_at < t_0 no nível de SQL para todas as operações de busca e consulta.

Pipelines de Avaliação

O estudo compara duas famílias de preditores contra a mesma interface:

Baseline Zero-shot: O LLM realiza a previsão usando apenas sua memória paramétrica, instruído a confiar apenas no conhecimento disponível em $t_0$ .
Agente de Recuperação (Retrieval Agent): O LLM opera em um ciclo de pesquisa delimitado, consultando o arquivo congelado em $t_0$ , lendo evidências e refinando sua previsão.

Métricas

As previsões são pontuadas contra dois alvos:

Recuperação de Resultado (Outcome Recovery): Acurácia e pontuação de Brier contra o resultado binário resolvido ( $y$ ).
Melhoria de Mercado (Market Improvement): A diferença absoluta entre a previsão do modelo e o preço do mercado em $t_0$ ( $|\hat{p}_{t_0} - q_{t_0}|$ ).

3. Contribuições Principais

Protocolo HINDCAST: Um framework de avaliação que mede a previsão de um modelo em um passado $t_0$ sobre questões resolvidas, mantendo a informação recuperável fixa, permitindo que o teste seja reexecutado em novos mercados conforme os modelos melhoram, sem se tornar obsoletos.
Arquivo Imutável: Um backend de recuperação livre de vazamentos construído a partir de 25 meses de snapshots públicos do Reddit (janeiro de 2024–janeiro de 2026), indexado para busca semântica densa e busca por ID, com filtragem temporal estrita.
Duplo Preditor de Referência: Uma interface unificada que suporta um baseline zero-shot e um agente baseado em recuperação, isolando a contribuição da recuperação de evidências.
Análise Empírica: Um estudo que identifica domínios específicos onde a recuperação melhora a previsão e onde ela degrada o desempenho devido ao ruído especulativo.

4. Resultados Experimentais

Os autores testaram 9 LLMs de pesos abertos (incluindo as famílias Qwen3, Llama 3, Gemma 3 e Ministral) em um conjunto equilibrado de 216 mercados resolvidos da Polymarket.

Desempenho Geral: A recuperação reduziu a pontuação de Brier para 8 de 9 modelos. A melhoria mais significativa foi observada no Qwen3-32B, que reduziu sua pontuação de Bر de 0,234 para 0,179 (uma queda de 23%).
Variância Dependente de Tópico: O benefício da recuperação não é uniforme; depende fortemente da natureza da discussão no corpus pré- $t_0$ $t_{0}$ :
- A Recuperação Ajuda: Em Esportes, Prêmios e Trading/Commodities, a recuperação melhorou significamente a acurácia. Nesses domínios, as discussões no Reddit continham sinais concretos e ancorados em fatos (ex: desempenho de times, tendências de preços) que os modelos puderam aproveitar.
- A Recuperação Prejudica: Em Entretenimento, Eleições/Política e Tecnologia/IA, a recuperação frequentemente degradou o desempenho. Nesses domínios, o corpus pré-evento era dominado por hype especulativo e opiniões (ex: entusiasmo de fãs por uma música que nunca chegou às paradas). O agente de recuperação supervalorizou esse burburinho "mais alto", porém menos preditivo, levando a previsões confiantes, mas incorretas.
Calibração vs. Acurácia: Em alguns casos (ex: Llama-3.1-8B), a recuperação reduziu a acurácia (mais decisões erradas), mas melhorou a calibração (as probabilidades aproximaram-se de 0,5 em vez de valores extremos errados), reduzindo a pontuação de Brier.
Sensibilidade de Lookback: Variar o corte $t_0$ (de 25% a 100% da vida útil do mercado) mostrou que os ganhos de recuperação saturam bem antes do lookback total disponível, sugerindo que os benefícios são impulsionados pelo sinal inicial, e não por notícias de última hora.

5. Significância e Alegações

O artigo argumenta que o raciocínio baseado em recuperação não é universalmente benéfico; sua eficácia é estritamente limitada pela qualidade da evidência disponível no ambiente de informação pré-evento.

Fechando o Vazamento: O HINDCAST fornece uma maneira rigorosa de avaliar a perspicácia, garantindo que o modelo não consiga "ver o futuro" através de seus dados de treinamento ou ferramentas de recuperação.
Sinal vs. Ruído: O estudo demonstra que a recuperação ajuda apenas quando o arquivo carrega sinal pré-evento (fatos, dados, análise concreta). Quando o arquivo carrega apenas especulação, a recuperação pode prejudicar ativamente a previsão ao amplificar o ruído.
Avaliação Dinâmica: Ao contrário dos benchmarks estáticos que decaem conforme os modelos são retreinados, o HINDCAST permite a avaliação contínua. Novos modelos podem ser testados contra o mesmo arquivo histórico congelado, garantindo que o teste seja uma medida de perspicácia, e não de memória.

Os autores concluem que, embora a recuperação melhore a previsão em domínios densos em fatos, ela requer calibração cuidadosa em domínios especulativos para evitar o ajuste excessivo (overfitting) ao hype pré-evento. Eles apresentam o HINDCAST como um campo de testes de pesquisa, e não como uma ferramenta de negociação pronta para implementação, alertando que agentes de recuperação não calibrados podem conferir autoridade falsa a decisões automatizadas.