Resumo Técnico: Sabedoria das Multidões de LLMs

Declaração do Problema

O fenômeno da "sabedoria das multidões" postula que a agregação de julgamentos de um grupo diversificado frequentemente produz maior precisão do que o melhor membro individual. Embora extensivamente validado com previsores humanos, permanece uma questão em aberto se os modelos de linguagem de grande escala (LLMs) exibem inteligência coletiva semelhante. Trabalhos anteriores (ex: Schoenegger et al., 2024) sugeriram que multidões de LLMs poderiam igualar painéis humanos, mas basearam-se em uma agregação simples (mediana) e não investigaram sistematicamente os mecanismos de benefícios de agregação ou o impacto da contaminação de dados.

Um desafio crítico na avaliação de LLMs em questões de mercados de previsão resolvidas é a contaminação pelo corte de treinamento (training cutoff contamination). Se os dados de treinamento de um modelo incluem os resultados de questões resolvidas antes de sua data de corte, o modelo pode "memorizar" a resposta em vez de raciocinar, inflando artificialmente o desempenho e distorcendo as comparações entre modelos com diferentes datas de corte. Este estudo visa determinar se as multidões de LLMs exibem efeitos de sabedoria das multidões, identificar as estratégias de agregação ideais e avaliar rigorosamente o impacto da contaminação nas classificações de modelos e nas lacunas de capacidade.

Metodologia

Dados e Modelos

• Conjunto de Dados: O estudo utilizou 254 questões binárias (SIM/NÃO) de mercados de previsão do Manifold Markets.
  • Conjunto Principal: 208 itens resolvidos entre junho de 2024 e março de 2026.
  • Subconjunto Limpo (Clean Subset): 94 itens resolvidos após 1º de setembro de 2025, garantindo que não haja sobreposição com o corte de treinamento de qualquer modelo.
• Modelos: Estimativas de probabilidade foram elicitadas de 15 LLMs, compreendendo:
  • Modelos de Nuvem de Fronteira (Frontier Cloud Models): 10 modelos (ex: série Claude 4.6, série GPT-5, Gemini Flash/Pro).
  • Modelos Locais: 5 modelos menores de pesos abertos (ex: Mistral 7B, LLaMA 3.1 8B, Phi-4 14B).
• Elicitação: Os modelos foram instruídos a fornecer uma estimativa de probabilidade (0–1) para cada afirmação baseando-se exclusivamente no conhecimento de treinamento, sem busca na internet.

Métodos de Agregação

O estudo avaliou quatro métodos clássicos de agregação e dois agregadores aprendidos:

1. Métodos Clássicos: Média aritmética, média geométrica, média harmônica e média de log-odds (média logit).
2. Agregadores Aprendidos:
   • Regressão Logística: Um modelo linear que aprende pesos não uniformes para as 15 entradas dos modelos.
   • Perceptron Multicamadas (MLP): Uma rede neural com duas camadas ocultas (64 e 32 unidades) treinada para mapear o vetor de entrada de 15 dimensões para uma única probabilidade.

• Protocolo de Avaliação: Os agregadores aprendidos foram treinados nos 160 itens não limpos e avaliados no subconjunto limpo de 94 itens (transferência temporal) para garantir que fossem testados em dados não vistos. Os métodos clássicos foram avaliados diretamente no subconjunto limpo.

Técnicas de Análise

• Métricas: A métrica primária foi o escore de Brier (quanto menor, melhor); métricas secundárias incluíram acurácia de classificação e AUC.
• Regressão Simbólica: Aplicada ao MLP treinado para recuperar uma fórmula matemática interpretável que aproxima sua estratégia de agregação, buscando a fronteira de Pareto entre acurácia vs. complexidade.
• Análise de Contaminação: Comparou o desempenho dos modelos em itens "dentro do corte" (within-cutoff) vs. "fora do corte" (outside-cutoff) e analisou a estabilidade de ranking entre o conjunto de dados completo e o subconjunto limpo.
• Linha de Base Humana: Comparou o desempenho dos LLMs contra a probabilidade do mercado Manifold, utilizando tanto o preço final do mercado quanto um "preço correspondente ao corte" (preço do mercado no momento do corte de treinamento de cada modelo) para controlar vantagens de informação.

Principais Resultados

1. Desempenho de Agregação

• Aprendido vs. Clássico: Ambos os agregadores aprendidos (Regressão Logística e MLP) superaram significativamente todos os modelos individuais e os métodos de agregação clássica no subconjunto limpo.
  • A Regressão Logística alcançou o menor escore de Brier (0,241), superando a média aritmética (0,313) em cerca de 23%.
  • O MLP alcançou um escore de Brier ligeiramente superior (0,264), mas uma melhor discriminação de ordem de ranking (AUC 0,657 vs. 0,633).
• Linearidade do Benefício: A quase equivalência entre a Regressão Logística e o MLP sugere que o benefício da agregação deriva principalmente do aprendizado de uma combinação linear de saídas de modelos diversos, em vez de interações não lineares complexas.
• Descobertas da Regressão Simbólica: A fórmula mais simples e útil recuperada do MLP foi um sinal contrastivo entre dois modelos específicos: $\sigma(p_{\text{Gemini Pro}} - p_{\text{Claude Haiku}})$. Esta fórmula, usando apenas dois modelos, quase replicou o desempenho do MLP completo de 15 modelos, indicando que o benefício provém de um pequeno número de padrões de erro complementares.

2. Efeitos de Contaminação

• Inflação de Desempenho: Os modelos mostraram acurácia significativamente maior em itens resolvidos antes de seu corte de treinamento em comparação com aqueles resolvidos após o corte. Os diferenciais de acurácia variaram de +0,05 a +0,26.
• Instabilidade de Ranking: A contaminação distorceu substancialmente os rankings dos modelos. A correlação de ranking de Spearman entre o conjunto de dados completo e o subconjunto limpo foi de apenas $\rho = 0,532$. Mudanças notáveis incluíram o LLaMA 3.1 8B subindo do ranking 14 para 6, e o GPT-5.4 Mini caindo de 6 para 13.
• Colapso da Lacuna Nuvem-Local: A aparente lacuna de desempenho entre os modelos de nuvem de fronteira e os modelos locais menores colapsou de 35,8% (no conjunto de dados completo) para 8,9% (no subconjunto limpo). Isso sugere que grande parte da superioridade percebida dos modelos de fronteira em tarefas de previsão era devida ao conhecimento de resultados, em vez de raciocínio superior.

3. Comparação com Multidões Humanas

• LLM vs. Mercado: Mesmo controlando a vantagem de informação do mercado (usando preços de mercado correspondentes ao corte), a multidão humana (mercado Manifold) superou cada LLM individual por um fator de 1,5x a 2,6x em escore de Brier.
• Mecanismo: A vantagem humana reflete a capacidade de negociadores ativos de agregar dinamicamente o conhecimento disperso e atualizar estimativas em tempo real, uma capacidade que os LLMs (raciocinando a partir de instantâneos congelados) não conseguem replicar.
• Reconciliação com Trabalhos Anteriores: O estudo observa que, embora as multidões de LLM fiquem aquém dos mercados de previsão dinâmicos, elas podem igualar o desempenho de painéis humanos estáticos (como encontrado por Schoenegger et al., 2024), destacando que a lacuna é estrutural (agregação dinâmica vs. estática) e não uma falha fundamental da cognição humana em relação aos LLMs.

Significância e Alegações

O artigo reivindica três contribuições primárias:

1. Validação da Sabedoria das Multidões de LLM: Fornece evidências de que as multidões de LLM exibem efeitos de sabedoria das multidões, onde a agregação aprendida supera significativamente o melhor modelo individual.
2. Identificação do Mecanismo: Demonstra que o benefício da agregação em LLMs, similar às multidões humanas, baseia-se na diversidade de padrões de erro em vez de uma simples ponderação de desempenho. Os autores mostam que combinações lineares simples de modelos diversos são suficientes para capturar a maior parte desse benefício.
3. Contaminação como um Confundidor Crítico: O estudo estabelece que a contaminação pelo corte de treinamento é um problema generalizado que infla artificialmente o desempenho dos modelos de fronteira e distorce as avaliações de capacidade. Argumenta-se que a avaliação "limpa" (usando questões resolvidas após os cortes de treinamento de todos os modelos) é essencial para uma avaliação confiável, revelando que a lacuna entre modelos locais e de fronteira é muito menor do que se pensava anteriormente.

Os autores concluem que, embora as multidões de LLM possam exibir inteligência coletiva, sua acurácia é estruturalmente limitada por sua natureza estática em comparação com mercados humanos dinâmicos, e que uma avaliação rigorosa e livre de contaminação é necessária para compreender suas verdadeiras capacidades de raciocínio.