WorldCup Arena: Prospective, Leakage-Free Evaluation of Frontier LLMs on a Live Tournament

Imagine que você é um detetive tentando resolver um mistério, mas o crime ainda não aconteceu. No mundo da inteligência artificial, costumamos testar programas de computador "inteligentes" fazendo perguntas sobre coisas que já ocorreram, como "Quem venceu a Copa do Mundo de 2022?". O problema é que esses programas podem apenas ter memorizado a resposta da internet, em vez de realmente calculá-la. Para testar verdadeiramente se um cérebro é inteligente, você precisa prever o futuro — algo que ainda não existe e que não pode ser encontrado no Google. Esta é a fronteira da "previsão" (forecasting), onde vemos se uma máquina consegue raciocinar para chegar a uma resposta que ninguém conhece ainda.

Este artigo, intitulado WORLDCUP ARENA, pega essa ideia e a transforma em um experimento massivo e em tempo real. Em vez de pedir a um computador para adivinhar o vencedor de um jogo que terminou anos atrás, os pesquisadores organizaram um torneio ao vivo: a Copa do Mundo da FIFA de 2026. Eles convidaram seis das IAs mais avançadas do mundo para atuarem como analistas esportivos. Todos os dias, antes que uma única partida começasse, essas IAs tinham que analisar as equipes, o clima, os árbitros e as últimas notícias, e então fazer sete previsões diferentes para o jogo (como quem vencerá, quantos gols serão marcados e o placar exato). O detalhe? Os jogos ainda não haviam acontecido. As respostas não existiam em nenhum lugar na internet. Isso significava que as IAs não podiam acessar o placar; elas tinham que realmente pensar.

Os pesquisadores queriam ver se esses supercomputadores conseguiriam vencer as probabilidades ou se apenas seguiriam a multidão. Eles descobriram que, embora as IAs fossem impressionantes, elas não eram mágicas. Em média, elas acertaram cerca de 63,9% dos resultados das partidas. Isso parece bom, mas é quase exatamente o mesmo que simplesmente apostar cegamente no time que os bookmakers (casas de apostas) achavam que venceria. Na verdade, as IAs foram tão cautelosas que raramente previram um empate, embora empates ocorressem com frequência, e continuaram adivinhando o mesmo placar entediante (2–1) repetidamente.

Aqui está a parte mais surpreendente: os seis diferentes modelos de IA tinham um pensamento quase idêntico. Eles concordavam entre si 76% das vezes. Se você pedisse para eles votarem no vencedor, o "voto da maioria" não foi melhor do que o da melhor IA individual. Acontece que, mesmo os modelos de "pensamento" mais avançados de 2026, todos estão seguindo o mesmo roteiro: são muito bons em olhar para o panorama geral (como prever qual país vence o torneio inteiro), mas têm dificuldade com os detalhes minúsculos e caóticos de um jogo próximo. O artigo conclui que, no momento, esses sistemas de IA não são drasticamente diferentes uns dos outros; eles são apenas muito bons em mimetizar padrões de apostas humanos, mas não descobriram como realmente "enxergar" o futuro melhor do que um especialista humano com uma calculadora.

O Experimento: Um Torneio de Mentes ao Vivo

Os pesquisadores montaram uma arena "livre de vazamentos" (leakage-free). Em testes normais, os cientistas precisam se preocupar que a IA possa ter "vazado" a resposta de seus dados de treinamento. Mas aqui, como as partidas estavam acontecendo em tempo real em 2026, as respostas literalmente não existiam quando as perguntas eram feitas. A configuração foi rigorosa:

• Os Jogadores: Seis modelos de IA de fronteira (Claude, GPT, Gemini, Kimi, GLM e Seed).
• As Regras: Cada modelo teve que usar seu modo de "pensamento estendido" (o nível mais profundo de raciocínio disponível) e sua própria ferramenta de busca na web integrada para ler as últimas notícias, relatórios de lesões e odds.
• A Tarefa: Para cada uma das 104 partidas do torneio, a IA teve que preencher um "cartão de previsão" com sete mercados: quem vence, o placar exato, total de gols e outros.
• Os Dados: As IAs receberam um "dossiê" para cada equipe que era atualizado diariamente, crescendo de um pequeno resumo para um arquivo massivo de mais de 1 milhão de caracteres até o final do torneio.

O Que Eles Descobriram: A Mentalidade de "Rebanho"

Os resultados pintaram um quadro claro e levemente engraçado de como essas IAs pensam.

1. Elas Seguem a Multidão, Não a Bola de Cristal
As IAs não foram mais espertas que os bookmakers. Elas simplesmente ficaram do lado do time favorito dos bookmakers 85,6% a 90,4% das vezes. Sua precisão média de 63,9% foi estatisticamente a mesma de simplesmente apoiar mecanicamente o favorito (que obtém 64,4%). Elas não estavam descobrindo novos insights; estavam ecoando o mercado.

2. A "Cegueira para o Empate"
As IAs foram terríveis em prever empates. No torneio, 27 partidas terminaram em empate. Os modelos previram apenas 8 a 14 empates. Elas tinham tanto medo do empate que mal o consideravam, embora isso aconteça frequentemente no futebol.

3. A Obsessão pelo "2–1"
Ao adivinhar o placar exato, os modelos ficaram presos em um ciclo. Eles atribuíram 28,0% de todas as suas previsões de placar a um único resultado: 2–1. Eles ignoraram a vasta variedade de placares possíveis e concentraram seus palpites em um resultado "prototípico".

4. Macro-Fortes vs. Micro-Fracas
Os modelos eram "fortes no macro, mas fracos no micro".

• Macro: Eles foram muito bem ao prever o vencedor do torneio e a classificação dos grupos.
• Micro: Eles desmoronaram nos jogos mais disputados. Na Rodada de 32 (onde os times estavam bem equilibrados), eles acertaram 86,5%. Mas nas Semifinais, onde os dossiês eram mais ricos em informações e os times estavam equilibrados, sua precisão despencou para 8,3%. Quanto mais eles sabiam sobre os times, pior faziam em escolher o vencedor de um jogo apertado.

5. O Efeito "Rebanho"
Os seis modelos concordavam entre si 76,0% das vezes. Como todos pensavam de forma muito semelhante, pedir que votassem não ajudou. Um "voto da maioria" dos seis modelos não adicionou nada à precisão. Todos estavam presos no mesmo loop.

O Placar: Uma Corrida Acirrada

As pontuações finais foram incrivelmente próximas, mostrando que a geração atual de IA não é fortemente diferenciada.

• O Claude ficou em primeiro lugar com 897 pontos.
• O GLM ficou em último com 813 pontos.
• A diferença entre o primeiro e o último foi de apenas 84 pontos (cerca de 10,3%).

Quando os pesquisadores realizaram testes estatísticos (chamados de "intervalos bootstrap") para ver se o vencedor era realmente melhor, os resultados foram instáveis. O Claude foi o vencedor em 53,6% das simulações de reexecução, mas a diferença entre os principais modelos estava frequentemente dentro da margem de erro. Por exemplo, a diferença entre o primeiro e o segundo lugar era tão pequena que, se o torneio fosse rodado novamente, a ordem poderia mudar.

A Conclusão

Este estudo sugere que, embora os modelos de IA mais avançados de hoje sejam ferramentas poderosas para coletar informações e raciocinar, eles ainda não aprenderam a se libertar dos padrões do passado para realmente prever o futuro. Eles são excelentes em resumir o que sabemos, mas quando confrontados com um evento verdadeiramente incerto, onde a resposta ainda não existe, eles tendem a jogar pelo seguro, seguir a multidão e adivinhar o resultado mais "médio".

O artigo conclui que a geração atual de sistemas de fronteira não é drasticamente diferente uma da outra. Todos compartilham as mesmas forças (pensamento macro) e as mesmas fraquezas (medo de empates, obsessão por placares médios). A "magia" da previsão por IA, ao que parece, é apenas uma versão sofisticada de seguir as odds de apostas.