No mundo da inteligência artificial, os grandes modelos de linguagem são frequentemente julgados por uma pergunta única e simples: ele consegue obter a resposta certa? Quando um usuário pede a solução para um problema matemático, uma linha de código ou um diagnóstico médico, o teste padrão é se o modelo produz uma resposta correta. Essa abordagem trata a máquina como um estudante fazendo um exame final, onde apenas a pontuação máxima importa. No entanto, em muitas situações do mundo real, uma única resposta não é suficiente. Um cientista projetando um novo fármaco pode precisar ver dez estruturas químicas diferentes que funcionem, para que possa escolher a que é mais fácil de fabricar. Um engenheiro de software corrigindo uma falha de segurança pode querer várias maneiras diferentes de aplicar um patch no código para ver qual é a mais segura. Nesses cenários, o valor da máquina não reside na sua capacidade de produzir um único resultado perfeito, mas na sua capacidade de gerar um conjunto rico de opções distintas e úteis. O desafio para os pesquisadores tem sido como medir essa habilidade. Os testes tradicionais frequentemente contam quantas vezes o modelo acerta, ou simplesmente escolhem a melhor resposta de uma lista e ignoram o resto. Isso perde o ponto inteiramente quando o objetivo é ter uma coleção diversificada de possibilidades válidas para escolher.

Uma equipe de pesquisadores do Centro RIKEN de Ciência Computacional, no Japão, desenvolveu uma nova maneira de olhar para este problema. Eles criaram um campo de teste especializado, que chamam de benchmark, projetado especificamente para ver quão bem uma inteligência artificial consegue gerar uma variedade de respostas úteis para uma única tarefa. Em vez de perguntar: "Ela acertou a resposta?", o método deles pergunta: "Quantas respostas diferentes e genuinamente úteis ela encontrou?". Eles construíram este teste usando cinco tipos muito diferentes de problemas do mundo real, variando desde o design de moléculas químicas até a correção de bugs de software e a busca por evidências médicas. Para cada problema, eles definiram exatamente o que conta como um resultado "útil" e como determinar se dois resultados são realmente diferentes. Por exemplo, no design de moléculas, duas respostas podem parecer diferentes na superfície, mas se compartilharem a mesma estrutura química central, contam como o mesmo resultado útil. Os pesquisadores então rodaram vários modelos nessas tarefas, pedindo que tentassem múltiplas vezes, e contaram quantos soluções únicas e válidas eles acumularam.

Os resultados deste estudo revelam uma verdade surpreendente sobre como estas máquinas funcionam. Os pesquisadores descobriram que os modelos que são melhores em produzir uma única resposta de alta qualidade não são necessariamente os que produzem a melhor coleção de respostas diversas. De fato, o ranking de qual modelo é o "melhor" muda dependendo de quantas tentativas são permitidas. Um modelo que lidera quando recebe apenas uma tentativa pode ficar para trás quando recebe vinte tentativas, enquanto outro modelo que começa mais devagar pode eventualmente descobrir uma gama mais ampla de soluções úteis. Isso sugere que as configurações usadas para rodar estes modelos importam mais do que se pensava anteriormente. Os pesquisadores descobriram que aumentar a "temperatura", uma configuração que torna a saída do modelo mais aleatória e variada, frequentemente levou a uma coleção muito mais ampla de resultados úteis, embora às vezes diminuísse a qualidade de qualquer resposta individual. Inversamente, um recurso chamado "pensamento" (thinking), que incentiva o modelo a raciocinar passo a passo antes de responder, melhorou a qualidade das respostas individuais, mas não ajudou sempre o modelo a encontrar soluções mais distintas.

Talvez o mais importante, o estudo mostrou que simplesmente observar o quão diferentes as respostas parecem na superfície não é suficiente para dizer se elas são verdadeiramente úteis. Uma forma comum de julgar a diversidade é verificar se as palavras ou caracteres nas respostas são diferentes entre si. Os pesquisadores descobriram que esta verificação de nível superficial é um mau preditor de se o modelo encontrou de fato novas soluções válidas. Um modelo pode produzir dez respostas que parecem muito diferentes entre si, mas que todas representam a mesma solução subjacente, falhando em fornecer a variedade que um usuário realmente precisa. Ao usar um sistema que verifica o conteúdo real e o significado das respostas contra as regras específicas da tarefa, os pesquisadores puderam medir a verdadeira "cobertura" dos resultados. Eles descobriram que esta medida mais profunda frequentemente levava a conclusões diferentes sobre quais modelos e configurações estavam performando melhor.

A equipe testou quatro modelos de linguagem de grande escala através destes cinco domínios: design de moléculas, reparação de repositórios de software, busca de bugs em código, diagnóstico de casos médicos e busca de evidências para apoiar questões complexas. Eles rodaram cada modelo com diferentes configurações, como variando o nível de aleatoriedade e habilitando ou desabilitando o processo de "pensamento". Eles então mediram quantos resultados distintos e válidos cada modelo produziu conforme o número de tentativas aumentava. Os dados mostraram que, para a maioria das tarefas, o modelo que performou melhor no início não foi o que performou melhor após muitas tentativas. Por exemplo, na tarefa de design de moléculas, um modelo era o líder após uma única tentativa, mas no momento em que vinte tentativas foram feitas, um modelo diferente havia descoberto significativamente mais estruturas químicas únicas. Este padrão manteve-se em todo o quadro, indicando que a melhor estratégia para gerar uma única resposta é frequentemente diferente da melhor estratégia para gerar um conjunto de respostas.

O estudo também examinou se dizer explicitamente ao modelo para evitar repetir a si mesmo ajudaria. Em alguns casos, pesquisadores tentaram forçar a diversidade pedindo ao modelo para gerar ideias novas que sejam diferentes do que ele acabou de dizer. Os pesquisadores descobriram que esta abordagem não funcionou de forma confiável. Embora tenha ajudado em algumas tarefas específicas, como a busca de evidências, ela na verdade reduziu o número de soluções úteis em outras, como a reparação de software. Isso sugere que simplesmente pedir variedade não garante que o modelo encontrará novos terrenos válidos. Em vez disso, a maneira como o modelo é configurado, particularmente as definições que controlam sua aleatoriedade, desempenha um papel mais crítico em determinar se ele pode explorar uma ampla gama de possibilidades úteis.

Estas descobertas mudam a forma como devemos pensar sobre a avaliação da inteligência artificial. Durante anos, o foco tem sido em obter a melhor resposta única. Mas, à medida que estas máquinas são usadas para tarefas mais complexas onde ter opções é crucial, a velha forma de medir o sucesso é insuficiente. O trabalho dos pesquisadores demonstra que um conjunto finito de respostas candidatas é um objeto de estudo significativo por si só. Não é apenas uma coleção de tentativas levando a um vencedor; é um panorama de possibilidades que pode ser mapeado e medido. Ao usar seu novo método, que chamam de cobertura de tarefa validada, eles mostraram que podemos avaliar diretamente quão bem um modelo explora este panorama. Os resultados sugerem que, para tirar o máximo proveito destas ferramentas, talvez precisemos parar de procurar a melhor resposta única e começar a valorizar a amplitude das opções que elas podem fornecer.

As implicações desta pesquisa estendem-se além de apenas escolher o modelo certo. Sugere que a maneira como interagimos com estes sistemas pode precisar mudar. Se um usuário precisa de uma variedade de soluções, ele pode precisar ajustar as configurações para encorajar mais a exploração, mesmo que isso signifique aceitar que as respostas individuais possam ser ligeiramente menos perfeitas. O estudo fornece uma maneira concreta de testar e comparar estas diferentes abordagens, indo além de ideias vagas de "criatividade" ou "diversidade" para uma contagem clara e mensurável de resultados úteis. Os pesquisadores disponibilizaram suas ferramentas e dados ao público, permitindo que outros testem novos modelos e configurações contra este novo padrão. Isto abre as portas para uma compreensão mais matizada do que estas máquinas podem fazer, mudando o foco de um único ponto de sucesso para a gama completa do seu potencial.

No fim, o artigo oferece uma mudança de perspectiva silenciosa, mas significativa. Argumenta que o valor de uma inteligência artificial não está apenas na sua capacidade de estar certa, mas na sua capacidade de ser útil de muitas maneiras diferentes. Ao construir um teste que mede a acumulação de resultados distintos e válidos, os pesquisadores forneceram uma nova lente através da qual visualizar estas poderosas ferramentas. Eles demonstraram que o caminho para o melhor conjunto de respostas nem sempre é o mesmo caminho para a melhor resposta única, e que as configurações que escolhemos podem fazer uma diferença profunda na variedade de soluções que recebemos. Este trabalho não afirma ter resolvido todos os problemas de avaliação de IA, mas fornece um método claro e reproduzível para fazer uma pergunta que foi negligenciada por tempo demais: quantas coisas úteis esta máquina consegue realmente encontrar?