Sixteen models, fewer than two voices: measuring ensemble dispersion where no answer is uniquely correct

Imagine que você está tentando resolver um quebra-cabeça difícil, mas em vez de perguntar a apenas um amigo, você pergunta a uma sala cheia deles. Você espera que, como todos são pessoas diferentes, eles ofereçam uma ampla variedade de soluções criativas. Esta é a ideia básica por trás do uso de "ensembles" (conjuntos) de modelos de Inteligência Artificial (IA). No mundo da ciência da computação, um ensemble é simplesmente um grupo de diferentes programas de IA trabalhando juntos para resolver um problema. A grande esperança é que, ao reunir muitas "vozes" diferentes, você obtenha um conjunto de respostas mais rico e diversificado do que obteria de apenas um.

Mas aqui está o problema: só porque você tem uma sala cheia de pessoas não significa que elas estejam dizendo coisas diferentes. Se todas frequentaram a mesma escola, leram os mesmos livros e foram ensinadas pelas mesmas regras, elas podem acabar dando exatamente a mesma resposta, apenas com palavras ligeiramente diferentes. Este artigo mergulha em um canto específico da pesquisa de IA chamado "medição de diversidade". Ele faz uma pergunta simples, mas profunda: quando pedimos a um grupo de IAs para resolver um problema que não possui uma única resposta correta (como interpretar uma emoção humana complexa), elas realmente pensam de forma diferente? Ou estão todas apenas ecoando umas às outras? Os pesquisadores se preocupam com isso porque, se pensarmos que estamos obtendo uma ampla gama de perspectivas, mas na verdade estamos recebendo uma multidão de clones, podemos tomar decisões ruins baseadas em uma falsa sensação de segurança.

A Grande Câmara de Eco da IA

Neste estudo, os pesquisadores montaram um experimento massivo para ver quanto "ruído" um grupo de modelos de IA realmente produz. Eles reuniram um painel de 16 modelos de IA diferentes de 10 famílias diferentes (pense nestas como marcas ou linhagens diferentes de IA). Eles pediram que esses modelos atuassem como terapeutas experientes e escrevessem um estudo de caso para um paciente fictício. A história do paciente era vaga o suficiente para que não houvesse apenas uma maneira "correta" de interpretá-la; um bom terapeuta poderia olhar para a mesma história e enxergar muitos ângulos diferentes.

A equipe queria medir a "dissensão" ou o desacordo entre os modelos. Eles usaram uma ferramenta matemática especial chamada Vendi Score. Imagine que você tem um grupo de pessoas gritando respostas. Se todos gritarem exatamente a mesma palavra, o Vendi Score é baixo (como 1). Se todos gritarem uma palavra completamente diferente, o score é alto (como 16). Os pesquisadores queriam ver se seus 16 modelos agiriam como 16 indivíduos únicos ou se colapsariam em uma voz única e monótona.

A Grande Surpresa: Menos de Duas Vozes

Os resultados foram um choque. Mesmo tendo 16 modelos diferentes de 10 famílias, o grupo se comportou, em média, como se fosse apenas 1,69 vozes distintas.

Para colocar em perspectiva, os pesquisadores também testaram um único modelo de IA, fazendo a mesma pergunta 16 vezes para ele mesmo. Mesmo um único modelo, por si só, conseguiu produzir 1,43 versões diferentes da resposta apenas mudando levemente seu "humor" (o que os cientistas chamam de "variação estocástica"). Assim, toda a equipe de 16 modelos adicionou apenas cerca de um quarto de uma "voz" a mais de diversidade do que um único modelo poderia gerar sozinho.

É como contratar um coro de 16 cantores de 10 escolas de música diferentes, esperando uma sinfonia de estilos únicos, apenas para descobrir que todos soam como uma única pessoa cantarolando a mesma melodia, levemente desafinada. O artigo descarta explicitamente a ideia de que simplesmente adicionar mais modelos ao grupo cria automaticamente mais diversidade. Na verdade, o estudo mostra que adicionar mais modelos a um painel é uma forma ineficaz de obter mais perspectivas.

Quem é o Rebelde? (E Por Que Isso Depende da Multidão)

Os pesquisadores também queriam saber: "Existe um modelo específico que é sempre o rebelde, aquele que discorda de todos os outros?" Eles rastrearam qual modelo era o "mais divergente" em cada rodada do experimento.

Aqui está a reviravolta: a identidade do rebelde mudava dependendo de quem mais estava na sala.

Em um experimento menor com apenas três modelos, um modelo específico (GPT-4o) era o rebelde na maioria das vezes. Mas quando a equipe expandiu o grupo para 16 modelos, esse mesmo modelo caiu para o terceiro lugar. Novos "rebels" surgiram, como o Ministral 14B e o Llama 3.3 70B, que assumiram a liderança ao discordar do grupo.

Isso prova que ser o "outlier" (valor atípico) não é um traço de personalidade permanente de um modelo de IA específico. É uma relação. Um modelo pode parecer muito diferente apenas porque os outros modelos no grupo por acaso são muito semelhantes entre si. Se você trocar o grupo, o "rebelde" pode subitamente parecer o "conformista". Isso significa que, se um sistema lhe mostra uma "voz divergente" para ajudá-lo a tomar uma decisão, essa voz está dizendo mais sobre o grupo específico de IAs presentes naquele momento do que sobre o modelo de IA específico em si.

O Tamanho ou a Marca Importam?

A equipe também testou duas suposições comuns que as pessoas têm sobre a IA:

1. O tamanho maior significa diferença? Eles compararam modelos "pequenos" com modelos "grandes" dentro da mesma família. Os resultados foram confusos. Às vezes, o modelo menor era o rebelde; às vezes, o maior era. Não havia uma regra consistente.
2. O nome da família importa? Eles observaram modelos da mesma "família" (como diferentes versões da mesma marca). Embora os modelos da mesma família tendam a ser um pouco mais semelhantes entre si do que com estranhos, a evidência foi fraca porque eles tinham apenas alguns pares para comparar.

O artigo conclui que você não pode prever quão "divergente" uma IA será apenas olhando para seu tamanho ou nome de marca. Você precisa medi-la no contexto específico em que a está utilizando.

Sobre o que a IA Realmente Discorda?

Finalmente, os pesquisadores verificaram se os modelos discordavam mais nos casos que foram projetados para serem abertos a muitas interpretações. Eles classificaram as histórias dos pacientes em três tipos: aquelas com uma leitura clara, aquelas com uma leitura compartilhada, mas ineficaz, e aquelas com leituras genuinamente distintas.

Eles esperavam que os modelos discordassem mais nas histórias "abertas". Eles não esperavam. Os modelos discordaram tanto (ou até um pouco menos) nas histórias "abertas" quanto nas outras. Em vez disso, a quantidade de discordância era impulsionada pelo conteúdo clínico da história. Por exemplo, histórias sobre "depressão" geraram mais discordância do que histórias sobre "trauma".

Isso sugere que os modelos de IA não são sensíveis à "abertura" de um problema da mesma forma que os humanos seriam. Eles estão reagindo aos detalhes específicos da história (como o tipo de doença mencionada) em vez da complexidade filosófica da situação.

A Conclusão

Este estudo não diz que a IA é inútil; apenas diz que precisamos parar de assumir que um grande grupo de IAs é automaticamente um grupo inteligente e diversificado. Se você colocar 16 modelos em uma sala, poderá obter apenas a sabedoria de dois. A "diversidade" que você obtém não é um número fixo que se compra adicionando mais modelos; é algo frágil que depende da mistura específica de modelos e do problema específico que eles estão resolvendo.

A lição mais importante é que, se você estiver usando um grupo de IAs para ajudá-lo a tomar uma decisão difícil, não conte apenas o número de modelos que você tem. Você precisa medir o quão diferentes eles são de fato, pois a voz "divergente" que você vê pode ser apenas um efeito temporário de quem está sentado à mesa, e não um insight profundo de uma máquina única.