No mundo em rápida evolução da inteligência artificial, pesquisadores dependem de testes chamados benchmarks para medir o quão bem um programa de computador pensa. Esses testes são como exames padronizados para máquinas, apresentando-lhes quebra-cabeças, problemas de lógica ou tarefas criativas para ver como se saem. Durante anos, a suposição tem sido que os humanos projetam esses exames, elaborando cuidadosamente perguntas e regras de graduação para garantir que meçam o que pretendem medir. Mas, à medida que a tecnologia usada para construir esses testes avançou, uma nova questão surgiu: o que acontece quando os próprios testes são escritos pelas próprias máquinas que eles devem avaliar? Essa mudança levanta uma preocupação crítica sobre a confiabilidade das pontuações que vemos. Se uma inteligência artificial projeta um teste, ela pode acidentalmente criar um quebra-cabeça que consegue resolver facilmente sem ser realmente inteligente, ou pode perder uma falha que permite que uma máquina explore o sistema. Compreender se esses testes feitos por si mesmos são confiáveis é essencial para qualquer pessoa tentando mensurar as verdadeiras capacidades dos sistemas de computador modernos.

Um estudo recente do pesquisador independente Pooria Arab explora exatamente este cenário. O pesquisador configurou um experimento onde agentes de codificação de inteligência artificial foram encarregados de construir um conjunto de vinte e dois diferentes benchmarks. Esses agentes escreveram o código, projetaram as tarefas e criaram os sistemas de graduação para tudo, desde desenhar imagens até resolver complexos quebra-cabeças de lógica. Para garantir que o processo fosse rigoroso, um grupo separado de revisores de inteligência artificial, atuando como um conselho, examinou o trabalho. Eles leram as alterações de código e aprovaram noventa e quatro das cento e vinte e três atualizações que foram integradas à coleção final. No papel, o processo parecia bem-sucedido: os testes foram construídos, revisados e aprovados. No entanto, uma investigação mais profunda revelou uma realidade alarmante. Quando o pesquisador executou um tipo especial de sonda contra os testes finalizados — essencialmente atacando-os com estratégias simples e genéricas projetadas para encontrar brechas — uma revisão de sondagem encontrou defeitos em todos os 22 pacotes.

A investigação revelou que as aprovações iniciais, embora reais e minuciosas na leitura do código, não conseguiram detectar falhas significativas porque não testaram os componentes contra ataques reais. A revisão de sondagem descobriu que cada pacote precisava de pelo menos uma rodada de correção, com alguns exigindo até nove rodadas de ajustes. O registro observa que, embora essas correções tenham abordado os problemas registrados, isso não mostra que nenhum defeito permaneça. Em muitos casos, os testes estavam tão falhos que um programa de computador poderia obter uma pontuação alta fazendo quase nada. Por exemplo, em treze dos pacotes, uma estratégia que ignorava completamente a tarefa e simplesmente dava uma resposta constante e genérica ainda conseguia receber crédito. Em um caso específico envolvendo um teste de desenho, um computador poderia pontuar perfeitamente em todas as questões ao enviar uma única imagem memorizada, mesmo que o teste devesse avaliar a habilidade de desenhar uma cena específica. Em outro caso, um teste projetado para verificar se um computador conseguiria lidar com um carrinho de compras falhou em penalizar um programa que nunca de fato pagou pelos itens.

O estudo destaca uma lacuna específica na forma como esses testes são atualmente validados. O conselho revisor fez o seu trabalho ao ler o código e sinalizar erros óbvios, como um valor de semente (seed) oculto que foi deixado acidentalmente no código ou uma afirmação na documentação que não correspondia ao programa real. No entanto, essas revisões perderam os problemas mais profundos que só apareceram quando os testes foram realmente executados. O pesquisador descobriu que os defeitos não eram aleatórios; eles se dividiam em treze categorias distintas, variando de tarefas impossíveis de resolver a sistemas de graduação que aceitavam relatórios forjados. Uma das falhas mais comuns foi que os testes permitiam que "estratégias cegas" tivessem sucesso. Isso significa que um computador poderia vencer ao adivinhar ou repetir um padrão sem entender a pergunta, simplesmente porque o criador do teste não antecipou tal truque simples.

Para testar se verificações simples poderiam detectar esses problemas, o pesquisador realizou um experimento planejado usando oito políticas genéricas e triviais. Estas eram regras básicas, como sempre dizer "sim" ou sempre retornar uma resposta vazia, projetadas para ver se poderiam explorar os testes. Os resultados foram sóbrios. A melhor pontuação trivial ocorreu em apenas 2 pacotes, um resultado nulo que sugere que as políticas genéricas perdem a maioria dos defeitos registrados. Isso indica que os defeitos encontrados não eram buracos óbvios que uma verificação genérica poderia facilmente encontrar; em vez disso, eram problemas sutis que exigiam uma compreensão profunda da tarefa específica para serem descobertos. O fato de os revisores terem perdido esses problemas não significa que fossem incompetentes; pelo contrário, mostra que ler código é diferente de atacar um sistema em execução. Os revisores viram o plano, mas as sondagens viram a realidade de como o sistema se comportava quando pressionado.

O estudo conclui que, embora a inteligência artificial possa construir com sucesso estruturas de teste complexas, os métodos atuais de aprovação são insuficientes para garantir sua qualidade. O pesquisador liberou toda a coleção de vinte e dois pacotes, juntamente com o motor que os executa e os registros detalhados de cada correção e falha encontrada. Este lançamento serve como um registro transparente do que acontece quando máquinas constroem testes para máquinas. Demonstra que, mesmo com um conselho de revisores e um fluxo de verificações automatizadas, defeitos significativos podem passar se o processo de teste não incluir uma sondagem adversária ativa. O trabalho não afirma que a inteligência artificial não possa construir bons testes, mas sugere fortemente que os processos de aprovação atuais estão perdendo uma etapa crucial. Até que os testes sejam rigorosamente atacados e verificados contra estratégias de exploração simples, as pontuações que produzem podem não refletir a verdadeira inteligência dos sistemas sendo medidos. O pesquisador enfatiza que nenhum modelo de computador do mundo real foi realmente executado nestes testes neste estudo, portanto, os resultados são uma medida dos próprios designs de teste, não das capacidades de qualquer inteligência artificial específica. As descobertas servem como um aviso: um sinal verde de um revisor não é o mesmo que um atestado de saúde de um ataque rigoroso.