No mundo da inteligência artificial, uma revolução silenciosa está mudando a forma como os especialistas julgam as máquinas que escrevem código, resolvem problemas e geram texto. Durante anos, a indústria focou em uma única questão: quão inteligente é o modelo? Os pesquisadores mediram isso observando a melhor resposta possível que uma máquina pode produzir ou sua pontuação média em um teste. Essa abordagem assume que, se um modelo consegue obter a resposta certa uma vez, ele é um sucesso. No entanto, para qualquer pessoa que tente usar essas ferramentas para o trabalho de engenharia real, essa métrica ignora o fator mais crítico. Uma ferramenta que funciona perfeitamente metade do tempo e falha drasticamente na outra metade é inútil para construir sistemas confiáveis, mesmo que seus melhores momentos sejam brilhantes. A nova fronteira não é sobre o quão alto a máquina pode saltar, mas sobre o quão consistentemente ela cai de pé. Essa mudança desloca o foco da capacidade bruta para a precisão, perguntando não apenas se a máquina pode fazer o trabalho, mas se ela pode fazer o mesmo trabalho da mesma maneira toda vez que lhe é solicitado.

George Andrikopoulos, um pesquisador independente baseado em Londres, argumenta que a forma atual de comparar sistemas de inteligência artificial está medindo a coisa errada. Ele sugere que, embora os modelos mais avançados tenham se tornado incrivelmente precisos — significando que sua saída média atinge o alvo — eles ainda não se tornaram precisos. Precisão, neste contexto, refere-se ao quão agrupados estão os resultados quando o mesmo pedido é feito repetidamente. Imagine pedir a uma máquina para resolver um problema de engenharia específico dez vezes. Um sistema preciso lhe dará uma resposta correta e sensata nove ou dez vezes. Um sistema impreciso pode lhe dar uma resposta correta cinco vezes, mas nas outras cinco vezes pode produzir algo bizarro, quebrado ou completamente não relacionado. A indústria atualmente celebra o melhor tiro, mas as pessoas que constroem com essas ferramentas precisam saber sobre o grupo. Se os tiros estão espalhados, a ferramenta é não confiável, não importa o quão bom possa ser o centro do grupo.

Para resolver isso, Andrikopoulos desenvolveu uma maneira simples de medir essa consistência sem depender de sistemas de graduação complexos e circulares. Em vez de pedir a outra inteligência artificial para julgar o trabalho, o que pode introduzir seus próprios erros, o método utiliza tarefas que têm um resultado binário claro: o código compila, os testes passam ou o tipo de arquivo é verificado corretamente? Estas são fatos que podem ser verificados por um computador sem qualquer suposição. O processo envolve pegar um pequeno conjunto dessas tarefas verificáveis e executá-las muitas vezes em uma instância nova do modelo a cada vez. Ao contar quantas vezes o modelo tem sucesso versus quantas vezes ele falha, os pesquisadores podem ver a forma dos resultados. Se o modelo passa todas as vezes, ou falha todas as vezes, ele é preciso. Se ele passa metade das vezes e falha na outra metade, ele é espalhado e imprevisível.

O artigo apresenta uma regra de decisão clara baseada nessas medições. Se um modelo falha consistentemente da mesma forma, ele é um "grupo apertado" que está apenas fora do centro. Este é um bom problema para se ter, pois significa que um operador humano pode escrever uma regra específica para corrigir o erro, efetivamente "ajustando a mira" da máquina. No entanto, se o modelo falha de muitas maneiras diferentes, o grupo está espalhado. Neste caso, nenhuma escrita de regras ajudará, porque os erros são aleatórios. A única solução para um grupo espalhado é mudar o próprio modelo ou ajustar como ele gera suas respostas. Essa distinção é vital porque diz aos engenheiros se eles devem gastar tempo escrevendo instruções para a máquina ou se devem simplesmente trocar de máquina.

Um teste do mundo real ilustra o poder dessa abordagem. Pesquisadores pegaram um conjunto específico de tarefas de codificação e as executaram cinco vezes em um modelo líder sem instruções especiais. O modelo falhou em passar em uma tarefa de validação específica todas as vezes. Como ele falhou exatamente da mesma maneira em todas as vezes, os pesquisadores souberam que era um erro consistente, não uma falha aleatória. Eles analisaram a falha e descobriram que a máquina estava cometendo um erro lógico específico ao lidar com números muito grandes. Eles escreveram uma regra única e simples para corrigir essa lógica. Quando executaram as mesmas cinco tarefas novamente com a nova regra em vigor, o modelo passou todas as vezes. A taxa de sucesso saltou de zero para cem por cento. Isso provou que a máquina era precisa o suficiente para ser corrigida; ela apenas precisava que sua mira fosse ajustada.

O estudo também revelou um limite surpreendente para o quanto podemos melhorar esses sistemas com regras escritas. Os pesquisadores tentaram criar um novo conjunto de tarefas de teste baseadas nas próprias regras que haviam escrito, esperando medir quanto valor essas regras adicionavam. Eles descobriram que os modelos mais avançados já eram tão capazes que naturalmente seguiam essas boas práticas sem serem instruídos. Os modelos passaram nesses testes "baseados em regras" perfeitamente, mesmo sem as instruções extras. Isso significa que, para os erros mais comuns, as máquinas já aprenderam a disciplina por conta própria. O verdadeiro valor de um livro de regras, portanto, não é ensinar à máquina o que ela já sabe, mas encontrar as lacunas raras e ocultas onde a máquina ainda se espalha ou falha consistentemente. Essas lacunas não podem ser previstas antecipadamente; elas devem ser encontradas medindo o trabalho real da máquina.

Em última análise, esta pesquisa muda a conversa sobre inteligência artificial de um concurso de quem é o mais inteligente para uma avaliação prática de quem é o mais confiável. A indústria passou anos construindo tabelas de classificação que ranqueiam modelos pelo seu desempenho de pico, mas essas classificações não dizem ao usuário se a ferramenta funcionará para o seu projeto específico. Ao medir a densidade do grupo, os engenheiros podem tomar decisões informadas sobre quais modelos usar e onde investir seu tempo. Se um modelo é preciso, mas ligeiramente fora do alvo, um humano pode corrigi-lo com uma regra. Se ele é espalhado, nenhuma regra o salvará. O futuro de trabalhar com essas máquinas depende não de encontrar a resposta perfeita, mas de entender o padrão das respostas e saber quando ajustar a mira e quando trocar o rifle.