A Jury, Not an Electorate: Label-Free Reliability Estimation for Ensembles of Language Models

No mundo em rápida evolução da inteligência artificial, pesquisadores frequentemente recorrem a uma estratégia chamada "aprendizado de conjunto" (ensemble learning) para resolver problemas difíceis. Em vez de depender de um único e massivo programa de computador para encontrar a resposta certa, eles reúnem um grupo de diferentes programas, cada um treinado com dados distintos ou projetado com diferentes pontos fortes, e pedem que todos trabalhem na mesma tarefa. A esperança é que, enquanto um programa pode tropeçar, outro terá sucesso e, ao combinar seus esforços, o grupo possa alcançar um nível de precisão que nenhum membro sozinho conseguiria atingir. No entanto, um desafio persistente tem sido decidir em qual membro do grupo confiar quando eles discordam. Métodos tradicionais agem frequentemente como uma eleição, onde cada modelo recebe um voto, e a resposta escolhida é simplesmente aquela que recebe mais apoio. Essa abordagem assume que a sabedoria coletiva do grupo é encontrada na maioria, mas ignora a possibilidade de que a resposta mais popular possa estar errada, ou que um especialista mais silencioso e confiável esteja sendo abafado por um mais barulhento e menos preciso.

Um novo estudo propõe uma forma diferente de pensar este problema, sugerindo que um grupo de modelos de inteligência artificial deve ser tratado não como um eleitorado, mas como um júri. Em um tribunal, um júri não apenas conta quantos indivíduos concordam com um veredito; em vez disso, eles ouvem o testemunho de cada testemunha e tentam julgar quem é credível com base no que dizem e em como suas histórias se alinham. Os pesquisadores por trás deste trabalho perguntaram se um grupo de modelos de linguagem poderia fazer o mesmo: inferir a confiabilidade de cada membro unicamente a partir do padrão de suas respostas, sem precisar conhecer as respostas corretas antecipadamente. Eles construíram um sistema onde os modelos atuam como testemunhas, e o sistema aprende a confiar naqueles cujo testemunho se alinha consistentemente com a verdade, embora o sistema nunca veja a verdade em si mesma.

Os pesquisadores testaram essa ideia em um benchmark de 1.560 perguntas cobrindo uma ampla gama de tópicos, desde matemática e ciência até direito e raciocínio geral. Eles reuniram nove modelos de linguagem diferentes, variando em tamanho e treinamento, para servirem como especialistas. Em uma configuração padrão, esses modelos receberiam um conjunto de perguntas, e suas respostas seriam combinadas usando um voto de maioria simples ou uma média ponderada onde os pesos são determinados pelo desempenho dos modelos em um conjunto separado de perguntas com respostas conhecidas. O novo método, no entanto, pula a etapa de olhar para as respostas corretas para determinar a confiança. Em vez disso, utiliza um processo matemático para analisar as respostas que os modelos deram às perguntas que lhes foram feitas. Ao observar quais modelos concordavam entre si e quais discordavam, o sistema estima o quão confiável cada modelo é. Ele trata a resposta correta como um fato oculto que os modelos estão tentando relatar, e calcula a probabilidade de cada modelo estar dizendo a verdade com base na configuração das respostas do grupo.

Os resultados deste experimento foram impressionantes. O sistema baseado em júri, que aprendeu a confiar em seus membros sem nunca ter visto uma única resposta correta, alcançou uma precisidade de 76,9 por cento no benchmark completo. Este desempenho foi significativamente superior a um voto de maioria simples, que obteve 63,0 por cento, e também superou o melhor modelo individual do grupo, que atingiu 75,0 por cento. Talvez o mais importante seja que o júri teve um desempenho tão bom quanto um sistema que utilizou as mesmas regras de combinação, mas que foi treinado com as respostas corretas para determinar os pesos. Essa descoberta sugere que o processo complexo de rotular dados para ensinar a um sistema em quais modelos confiar não é estritamente necessário; o sistema pode aprender a confiar nos testemunhos certos apenas ouvindo o que dizem. O estudo também descobriu que manter a gama completa de respostas possíveis que um modelo pode dar, em vez de apenas sua escolha principal, melhorou significativamente os resultados. Quando o sistema considerou a distribuição de probabilidade das respostas, ganhou 8,4 pontos percentuais adicionais sobre um voto simples, e a ponderação correta dos especialistas adicionou outros 5,5 pontos.

Os pesquisadores foram cuidadosos para descartar a ideia de que esse sucesso se deva simplesmente ao fato de haver mais dados ou melhores técnicas de amostragem. Eles compararam seu método com várias outras técnicas avançadas que também tentam combinar modelos sem rótulos, e o júri superou consistentemente as demais. Por exemplo, superou o método alternativo mais forte sem rótulos por 5,5 pontos percentuais. O estudo também examinou se o sistema estava apenas tendo sorte ou se estava genuinamente aprendendo os padrões corretos. Eles testaram o júri em diferentes subconjuntos de modelos e descobriram que ele superou consistentemente tanto o voto de peso igual quanto o melhor especialista individual em quase todas as combinações. A única vez que o júri não superou o melhor modelo individual foi quando o grupo consistia em especialistas muito fracos, um cenário onde nenhum método de combinação poderia realisticamente ajudar.

Um dos aspectos mais significativos deste trabalho é que ele desafia a suposição de que a supervisão é sempre necessária para obter os melhores resultados. Em muitos campos da inteligência artificial, a prática padrão é treinar um sistema em um grande conjunto de dados onde as respostas corretas são conhecidas, para que o sistema aprenda quais modelos são bons. Esta nova abordagem mostra que, para combinar modelos, o sistema pode inferir a confiabilidade diretamente através do acordo e desacordo entre os próprios modelos. Os pesquisadores descobriram que a diferença entre o júri e o sistema supervisionado foi tão pequena que não foi estatisticamente significativa ao considerar a variação natural de como os modelos foram ajustados. Isso implica que o esforço extra de rotular dados para treinar a regra de combinação pode não valer a pena em muitos casos.

O estudo também observou como o sistema lida com a incerteza. Quando os modelos são solicitados a gerar respostas, eles frequentemente produzem uma gama de possibilidades em vez de uma declaração definitiva única. O método do júri utiliza essas distribuições completas de respostas, o que permite capturar mais nuances do que um voto simples. Por exemplo, se um modelo está muito confiante em uma resposta errada enquanto outro está ligeiramente menos confiante na resposta certa, o sistema pode ponderar as evidências apropriadamente. Os pesquisadores descobriram que esta abordagem foi particularmente eficaz em problemas matemáticos, onde o melhor modelo individual do grupo enfrentou dificuldades, mas o júri foi capaz de aproveitar os pontos fortes de outros modelos para alcançar a solução correta.

Embora o método seja poderoso, os pesquisadores notaram algumas limitações. O sistema exige que cada modelo no grupo forneça uma resposta e, para tarefas generativas, precisa executar múltiplas amostragens para construir uma distribuição de respostas confiável. Isso aumenta o custo computacional em comparação com simplesmente pedir a resposta de um único modelo. No entanto, o estudo sugere que esse custo é justificado pelo ganho significativo em precisão. Os pesquisadores também observaram que a confiança do sistema em suas respostas era frequentemente maior do que sua precisão real, o que significa que às vezes o sistema se sentia muito seguro de uma resposta errada. Este é um problema comum em inteligência artificial, e os pesquisadores observaram que o sistema precisaria de recalibração antes que seus escores de confiança pudessem ser usados como uma medida confiável da verdade.

Em última análise, esta pesquisa oferece uma nova perspectiva sobre como podemos aproveitar a inteligência coletiva da inteligência artificial. Ao tratar os modelos como um júri em vez de um eleitorado, podemos construir sistemas que são mais inteligentes do que a soma de suas partes sem precisar conhecer as respostas antecipadamente. A capacidade de aprender a confiança apenas através do testemunho abre as portas para formas mais eficientes e adaptáveis de usar a inteligência artificial, onde o sistema pode refinar continuamente sua compreensão de em quais especialistas confiar conforme encontra novos problemas. As descobertas sugerem que a chave para desbloquear todo o potencial desses grupos não reside em forçá-los a concordar, mas em ensiná-los a ouvir uns aos outros e a julgar a credibilidade de suas próprias vozes.