Wisdom Of The (AI) Crowd: Investigating Artificial Swarm Intelligence In Large Language Models

Resumo Técnico: A Sabedoria da (IA) Multidão: Investigando a Inteligência de Enxame Artificial em Grandes Modelos de Linguagem

Definição do Problema
A inteligência de enxame humana (a "sabedoria da multidão") demonstra que julgamentos coletivos frequentemente superam estimativas individuais, mas este fenômeno enfrenta restrições significativas de escalabilidade em termos de custo, coordenação, tempo e suscetibilidade a vieses sociais. Enquanto sistemas de IA discriminativa utilizam há muito tempo o aprendizado de conjunto (ex: bagging, boosting) para melhorar a precisão, existe uma lacuna crítica na compreensão de se a IA generativa, especificamente os Grandes Modelos de Linguagem (LLMs), pode aproximar os efeitos da inteligência de enxame. A literatura atual carece de uma investigação sistemática sobre se a agregação de saídas de LLMs — seja por meio da amostragem repetida de um único modelo ou pela combinação de modelos heterogêneos — pode reduzir erros de estimativa em tarefas de incerteza de maneira comparável às coletividades humanas.

Metodologia
Os autores conduziram um experimento controlado envolvendo 960 prompts executados manualmente em três LLMs proprietários: GPT-5, Gemini 2.5 Pro e Claude Sonnet 4.5. O estudo utilizou um delineamento intra-sujeito com oito tarefas de estimativa equilibradas entre incerteza e verdade fundamental (ground truth) verificável:

• Composição das Tarefas: Cinco problemas de Fermi (que exigem raciocínio de ordem de magnitude para quantidades como renda global ou custos de reconstrução de metrô) e três problemas de estimativa econômica (baseados em dados financeiros históricos anonimizados, como preços de ações e contagens de assinantes).
• Modos de Agregação:
  • Intra-modelo (A1–A3): Cada modelo foi solicitado 30 vezes de forma independente por tarefa para capturar a variância estocástica interna.
  • Inter-modelo (B1): Um enxame heterogêneo combinando 10 execuções de cada um dos três modelos (30 execuções no total) para avaliar a diversidade entre modelos.
• Métricas: O estudo mediu o Erro Médio Absoluto (MAE) e o Erro Percentual Médio Absoluto (MAPE) tanto para estimativas individuais quanto agregadas (mediana/média). Adicionalmente, os autores analisaram a calibração dos intervalos de confiança de 90% autorrelatados e calcularam a correlação de postos de Spearman entre as larguras relativas dos intervalos e os erros de estimativa relativos para avaliar a consciência metacognitiva.

Principais Contribuições

1. Conceitualização de Enxames de LLM: O artigo introduz "Enxames de LLM" como um novo constructo, aplicando princípios de inteligência de enxame de coletividades humanas a sistemas artificiais. Define-os como conjuntos gerados pela amostragem repetida de modelos únicos ou pela combinação de múltiplos modelos de diferentes arquiteturas e escalas.
2. Metodologia de Prova de Conceito: Os autores estabelecem um arcabouço experimental rigoroso para avaliar enxames de LLM em tarefas de estimativa incertas. Esta abordagem evita a recuperação trivial de dados (ao utilizar problemas de Fermi e dados econômicos anonimizados) enquanto mantém uma verdade fundamental verificável.
3. Evidência Empírica de Benefícios da Agregação: O estudo fornece a primeira evidência empírica sistemática de que a agregação de saídas de LLM reduz erros de estimativa. Demonstra que tanto a amostragem intra-modelo quanto a heterogeneidade inter-modelo produzem melhorias significativas na qualidade das decisões.

Resultos

• Redução de Erro: A agregação reduziu consistentemente os erros em todos os modelos e tarefas. As reduções de MAPE variaram de melhorias negligenciáveis a ganhos significativos de até 37,41 pontos percentuais (observados na Tarefa F2 com o modo heterogêneo B1).
• Dependência da Tarefa: A eficácia da agregação foi altamente contingente às características da tarefa. Tarefas de previsão econômica (Eco1–Eco3), que possuíam âncoras estatísticas históricas, mostraram melhorias mais consistentes e substanciais do que os problemas de Fermi (F1–F5), que exigiam raciocínio abstrato sem pontos de referência.
• Variância do Modelo: O Claude Sonnet 4.5 exibiu baixa variância interna (alta consistência), o que limitou os benefícios da agregação intra-modelo em comparação ao GPT-5 e ao Gemini 2.5 Pro, que mostraram maior diversidade estocástica.
• Intervalos de Confiança: Embora os modelos individuais frequentemente tenham falhado em atingir a taxa de calibração esperada de 90%, a agregação heterogênea (B1) capturou com sucesso a verdade fundamental dentro do intervalo de confiança agregado para todas as oito tarefas.
• Consciência Metacognitiva: Uma correlação positiva (Spearman $\rho$ = 0,242–0,568, todos $p < 0,001$) foi observada entre a largura dos intervalos de confiança autorrelatados e os erros de estimativa. Isso sugere que os LLMs possuem uma forma de consciência metacognitiva, atribuindo intervalos mais amplos a estimativas mais incertas, com o GPT-5 apresentando a correlação mais forte ($\rho = 0,568$).

Significância e Alegações
O artigo afirma estabelecer uma nova linha de pesquisa na interseção entre inteligência coletiva e IA generativa. Postula que os enxames de LLM oferecem uma alternativa escalável, de baixo custo e rápida para as multidões humanas para suporte à decisão, particularmente em contextos sensíveis ao tempo. Os autores argumentam que, embora os LLMs possam não replicar perfeitamente a dinâmica de enxame humana devido a vieses de treinamento compartilhados e efeitos de "câmara de eco" na amostragem de modelo único, a agregação heterogênea pode mitigar efetivamente os erros de modelos individuais.

O estudo apresenta seus achados de forma modesta, como evidências iniciais em vez de uma solução definitiva. Destaca que a "sabedoria da multidão de IA" não é universal, mas depende da estrutura da tarefa (ex: presença de âncoras estatísticas) e da diversidade dos modelos. Os autores concluem que compreender essas estratégias de agregação é crítico para organizações que implantam IA generativa, sugerindo que os enxames artificiais podem fornecer "inteligência de enxame de segunda ordem" — agregando sistemas que são, eles próprios, produtos do conhecimento coletivo humano. No entanto, alertam que limitações relativas a alucinações, raciocínio de caixa-preta e a falta de verdadeira diversidade cognitiva (comparada à humana) permanecem como desafios significativos para aplicações de alto risco.