CleanScore: Black-Box Benchmark Audits with Negative Controls and Sensitivity Bounds

Na corrida para construir máquinas mais inteligentes, os pesquisadores dependem de testes padrão para medir o quão bem uma inteligência artificial consegue resolver problemas. Esses testes são como exames escolares: um conjunto de perguntas com respostas conhecidas que um modelo deve resolver para obter uma pontuação. Quanto maior a pontuação, mais capaz a máquina é considerada. No entanto, uma sombra pairou sobre esses resultados. Como esses testes são publicados online, as perguntas e respostas costumam estar disponíveis na internet, onde as máquinas aprendem. Existe um medo crescente de que pontuações altas nem sempre comprovem que uma máquina é inteligente; elas podem simplesmente provar que ela memorizou as perguntas do teste durante seu treinamento. Se uma máquina já viu as perguntas exatas antes, sua pontuação é inflada, e o ranking de diferentes modelos torna-se um concurso de memória em vez de raciocínio.

Isso cria um problema difícil para qualquer pessoa que tente julgar essas máquinas de forma justa. A maioria dos modelos poderosos são "caixas pretas", o que significa que seus dados de treinamento internos são secretos. Um auditor não pode simplesmente olhar dentro da máquina para ver se ela memorizou uma pergunta específica. Ele só pode ver a pontuação final. Durante anos, a melhor maneira de verificar a memorização era reescrever as perguntas. Se uma máquina realmente entende a matemática ou a ciência por trás de um problema, ela deve resolver uma versão reescrita tão bem quanto a original. Se ela falha na versão reescrita, provavelmente apenas memorizou a original. Mas este método possui uma falha oculta: ele assume que, se uma máquina acerta a pergunta reescrita, ela aprendeu o conceito. Se a máquina acerta a pergunta reescida simplesmente porque memorizou o gabarito, o teste falha em detectar a memorização.

Uma equipe de pesquisadores partiu para construir uma maneira melhor de auditar essas pontuações sem precisar ver o interior da caixa preta. Eles desenvolveram um método chamado CleanScore, que trata cada pergunta de teste como um pai com três filhos: a pergunta pública original e duas versões novas, escritas privadamente, que mantêm os mesmos números e fatos, mas usam palavras diferentes. Os pesquisadores pediram a cinco modelos de código aberto diferentes para resolver 200 perguntas de dois benchmarks principais, um focado em matemática e outro em ciência. Para cada pergunta, eles compararam o desempenho dos modelos na versão pública original versus as duas versões novas. Se os modelos pontuassem consistentemente mais alto na versão pública, isso sugeriria que eles haviam memorizado o teste.

A auditoria não encontrou evidências desse tipo de memorização. Em todos os cinco modelos e em ambos os benchmarks, as pontuações nas perguntas públicas não foram significativamente superiores às pontuações nas perguntas novas e reescritas. Os pesquisadores calcularam que qualquer vantagem obtida ao ver a redação pública era provavelmente inferior a cinco pontos percentuais. Esse resultado se manteve mesmo após a equipe corrigir um erro técnico em sua configuração inicial, onde alguns modelos foram interrompidos antes de terminarem suas respostas. O estudo também incluiu um "controle negativo", um conjunto de perguntas que os modelos nunca tinham visto e que não poderiam ter memorizado, para garantir que o processo de reescrita não estava tornando as perguntas mais difíceis ou mais fáceis. Os resultados mostraram que o processo de reescrita era justo, e que a ausência de uma lacuna de pontuação era um achado genuíno, não um artefato do design do teste.

No entanto, a parte mais impressionante do estudo veio de uma série de experimentos projetados para ver o que a auditoria deixaria passar. Os pesquisadores treinaram deliberadamente quatro modelos diferentes na redação exata de 100 das perguntas do teste. Eles então realizaram a mesma auditoria para ver se ela detectaria a memorização. No benchmark de matemática, os modelos que haviam memorizado as perguntas melhoraram sua precisão em 26 pontos na redação memorizada. Mas, ao serem testados nas versões novas e reescritas dessas mesmas perguntas, eles também melhoraram em 20 pontos. A auditoria, que observa apenas a diferença entre o original e a reescrita, detectou uma lacuna de apenas cerca de seis pontos. Em outras palavras, a auditoria detectou apenas uma pequena fração da memorização. A vasta maioria da vantagem — a parte que vinha de entender o problema em vez de apenas memorizar as palavras — era invisível para o teste.

Essa cegueira foi ainda mais extrema no benchmark de ciência. Em um experimento, os pesquisadores treinaram um modelo em 100 perguntas de ciência e depois o testaram nas versões reescritas. O modelo melhorou sua precisão em 49 pontos nas perguntas memorizadas. Como as versões reescritas mantiveram as opções de múltipla escolha exatamente iguais, o modelo também obteve pontuação perfeita nas perguntas reescritas, simplesmente por reconhecer a sequência de texto da resposta correta que havia memorizado. A auditoria calculou uma lacuna de negativa dois pontos, efetivamente não vendo memorização alguma. O modelo havia aprendido as respostas, mas o design do teste, que manteve as opções de resposta fixas, permitiu que esse conhecimento se escondesse à vista de todos.

Os pesquisadores concluíram que, embora seu método tenha medido com sucesso se um modelo estava dependendo da redação superficial específica de uma pergunta, ele não poderia medir a quantidade total de contaminação. Um modelo pode ser fortemente treinado em um conjunto de dados e ainda assim parecer limpo se as perguntas do teste forem reescritas de uma forma que preserve a resposta central. O estudo mostrou que, para os cinco modelos que eles auditaram, não havia evidências fortes de que eles haviam memorizado a redação específica das perguntas do teste. Mas também provou que uma pontuação "limpa" não garante que um modelo não tenha visto o material antes; garante apenas que o modelo não dependeu da frase exata. A auditoria conseguiu delimitar a inflação de superfície, mas não pôde descartar que os modelos tivessem aprendido o material de uma forma que sobreviveu ao processo de reescrita.

O estudo também destacou os limites de quão pequena uma auditoria pode ser. Os pesquisadores descobriram que, para detectar de forma confiável uma vantagem significativa, uma auditoria precisa testar pelo menos 200 perguntas. Com menos perguntas, a incerteza estatística é tão grande que o teste não consegue distinguir entre uma vantagem real e o ruído aleatório. Eles também mostraram que, embora seja possível classificar os modelos corretamente com menos perguntas, determinar a ordem exata de desempenho requer um tamanho de amostra muito maior. O trabalho serve como um experimento rigoroso e registrado que estabelece um novo padrão para como falar sobre incerteza em testes de IA. Ele não declara os modelos inocentes de toda memorização, mas fornece uma declaração clara e honesta sobre o que os dados podem e não podem mostrar quando apenas as pontuações finais estão disponíveis.