Resumo Técnico: A Diversidade é a Força da Multidão de IA

Declaração do Problema

Os atuais sistemas de previsão de IA de alto desempenho alcançam uma precisão próxima à de "superforecasters" humanos qualificados em questões de estilo de torneio sobre eventos mundiais futuros. Esses sistemas normalmente dependem de uma receita padrão: envolver um Modelo de Linguagem de Grande Escala (LLM) convencional em um pipeline específico para previsão (envolvendo recuperação, prompting estruturado e agregação de múltiplas amostras).

No entanto, os praticantes enfrentam um problema de otimização restrita raramente abordado na literatura: dado um orçamento fixo de previsões por questão, quais modelos específicos devem ser amostrados e combinados para maximizar a precisão do ensemble? Uma suposição natural, mas incorreta, é que extrair todas as amostras do único modelo mais forte produzirá os melhores resultados. Este artigo investiga se essa suposição se mantém e busca determinar a alocação ideal de um orçamento fixo de amostras entre um conjunto diversificado de LLMs de fronteira.

Metodologia

O estudo avalia o desempenho do ensemble no Metaculus AI Benchmark Q2 2025, utilizando um conjunto de teste de 113 questões de eventos binários resolvidos entre maio e julho de 2025.

Modelos e Pipeline

Os autores avaliaram cinco previsores, cada um envolvido em um pipeline de scaffold de dois estágios idêntico (recuperação de evidências específicas da questão seguida de emissão de probabilidade estruturada):

1. Quatro LLMs de fronteira prontos para uso: Gemini 3 Pro, GPT-5, Grok 4 e Kimi K2.5.
2. Um modelo ajustado (fine-tuned): FT-gpt-oss-120b (treinado via aprendizado por reforço em um conjunto disjunto de questões de previsão).

Cada modelo gerou $R_m = 3$ amostras independentes por questão. A previsão do ensemble é uma média ponderada das médias por modelo, seguida por uma operação de clipping para limitar as probabilidades longe de 0 e 1.

Métricas de Avaliação

• Precisão (Accuracy): Medida usando o score de baseline do Metaculus (um score log rescalonado), onde 0 representa uma previsão uniforme de 50% e 100 representa a previsão perfeita.
• Diversidade: Quantificada usando a divergência de Jensen–Shannon (JS) simétrica entre as distribuições preditivas de Bernoulli de pares de modelos.
• Otimização de Ensemble: Os autores realizaram uma enumeração de força bruta de todas as alocações inteiras de amostras válidas para um orçamento total de $B=5$ (com um limite por modelo de 3 amostras), identificando a equipe ótima $a^*_5$ que maximiza a média do score de baseline.
• Substituibilidade (Replaceability): Definida como a diferença de score ($\Delta_m$) entre a equipe ótima e a melhor equipe possível que exclui um modelo $m$ específico.

Resultados Principais

1. A Correlação Limita o Valor da Amostragem Redundante

O estudo descobriu que a precisão individual sozinha é insuficiente para maximizar o desempenho do ensemble. Os LLMs de fronteira mais fortes (ex: GPT-5, Kimi K2.5) produzem previsões altamente correlacionadas. Consequentemente, adicionar múltiplas amostras do mesmo modelo de alto desempenho gera retornos decrescentes em comparação com a adição de amostras de um modelo menos correlacionado.

2. A Alocação Ótima Requer Diversidade

Sob um orçamento fixo de $B=5$, o ensemble ótimo nunca concentra todas as amostras em um único modelo. Em vez disso, a alocação ótima ($a^*_5$) divide o orçamento entre quatro modelos distintos:

• FT-gpt-oss-120b: 2 amostras
• Gemini 3 Pro: 1 amostra
• GPT-5: 1 amostra
• Grok 4: 1 amostra
• Kimi K2.5: 0 amostras

3. O Modelo "Menos Substituível" Não é o Mais Preciso

Uma descoberta crítica diz respeito à contribuição do Grok 4.

• Em desempenho solo, o Grok 4 ficou em terceiro lugar entre os cinco modelos.
• No entanto, no ensemble ótimo, o Grok 4 foi o membro menos substituível, contribuindo com uma diferença de score ($\Delta_{Grok}$) de aproximadamente 1,7 pontos de baseline (BP) se fosse removido.
• Em contraste, os dois principais performers solo (GPT-5 e Gemini 3 Pro) contribuíram com menos de 0,1 BP cada para o ganho marginal do ensemble, indicando que são amplamente intercambiáveis dentro da equipe ótima.

O valor desproporcional do Grok 4 advém de sua baixa correlação com os outros modelos de fronteira, não de sua precisão solo. Da mesma forma, o modelo ajustado (FT-gpt-oss-120b) recebeu o maior peso em varreduras de pesos contínuos e foi o segundo menos substituível, impulsionado por seu perfil de erro distinto.

Significância e Alegações

O artigo alega que a força de uma "multidão de IA" na previsão não surge da amostragem indiscriminada de mais previsões do melhor modelo único. Em vez disso, ela surge da combinação de previsões de modelos com erros complementares.

• Alinhamento Teórico: Estes resultados validam empiricamente a teoria clássica de ensemble (Krogh & Vedelsby, 1994; Wood et al., 2023), que postula que o erro do ensemble se decompõe em um termo de precisão e um termo de diversidade. Neste cenário, onde as precisões solo estão agrupadas, o termo de diversidade torna-se o principal diferenciador.
• Implicação Prática: Para profissionais que constroem sistemas de previsão, a estratégia ideal é otimizar explicitamente tanto a qualidade quanto a diversidade do modelo, em vez de simplesmente empilhar amostras do modelo de classificação mais alta.
• Implicação para Desenvolvedores: Modelos que não estão no topo do ranking em precisão solo ainda podem fornecer o maior valor marginal a um ensemble se possuírem pré-treinamento ou ajuste fino distintos que descorrelacionem seus erros dos modelos de fronteira convencionais.

Os autores concluem que os futuros sistemas de previsão devem ser projetados para buscar explicitamente e ponderar modelos que ofereçam estruturas de erro complementares, em vez de depender apenas de métricas de desempenho agregado de modelos individuais.