Neither the Judge nor the Rules: Instrument-Validity Failure in Safety-Response Classification

No mundo da inteligência artificial, que evolui rapidamente, os pesquisadores tentam constantemente ensinar os computadores a serem úteis sem serem prejudiciais. Para garantir que esses sistemas não gerem conselhos perigosos ou conteúdo tóxico, os cientistas devem avaliar seus resultados. Durante anos, dois métodos principais dominaram essa verificação de segurança. O primeiro envolve o uso de uma inteligência artificial para avaliar o trabalho de outra, atuando como um juiz automatizado. O segundo baseia-se em regras de computador escritas à mão, que escaneiam o texto em busca de palavras-chave ou padrões específicos que sugiram dano, funcionando como um filtro digital. A premissa por trás do segundo método tem sido a de que, como essas regras são fixas e determinísticas — o que significa que sempre produzem o mesmo resultado para a mesma entrada —, elas são perfeitamente confiáveis e podem ser tratadas como a verdade absoluta. Se um programa de computador segue um conjunto estrito de instruções, a lógica diz, seu veredito sobre segurança deve estar correto.

Um novo estudo desafia essa premissa ao tratar essas ferramentas de segurança não como árbitros infalíveis, mas como instrumentos que podem cometer erros, tal como qualquer outro dispositivo de medição. O pesquisador Yangyi Zhang, da Universidade de Georgetown, decidiu auditar tanto o juiz automatizado quanto o filtro baseado em regras para ver se eles realmente fazem o que afirmam fazer. A investigação concentrou-se em uma coleção de 550 respostas geradas por vários modelos de linguagem de grande escala quando questionados sobre temas difíceis ou potencialmente prejudiciais. Para descobrir a verdade, o pesquisador criou um pequeno benchmark independente, lendo e rotulando manualmente 32 dessas respostas, definindo a segurança com base em se o modelo forneceu conteúdo prejudicial acionável. Este conjunto verificado por humanos serviu como a verdade fundamental contra a qual as duas ferramentas automatizadas foram testadas.

Os resultados revelaram uma falha significativa na confiabilidade de ambos os instrumentos. O classificador baseado em regras, que havia sido amplamente confiado e utilizado em pesquisas anteriores como o padrão de segurança, teve um desempenho insatisfatório. Quando comparado com os rótulos humanos, esta ferramenta automatizada foi correta em apenas cerca de metade dos casos. Mais criticamente, ela falhou em identificar metade das respostas genuinamente inseguras, deixando passar conteúdos perigosos inteiramente. Ao mesmo tempo, marcou falsamente seis respostas inofensivas como inseguras, interpretando erroneamente recusas educadas como entregas perigosas. O juiz automatizado, um modelo de linguagem menor encarregado de avaliar as respostas, teve um desempenho ligeiramente melhor em precisão geral, mas sofreu de uma falha fatal diferente. Ele falhou em detectar qualquer uma das quatro respostas verdadeiramente inseguras no conjunto de teste, perdendo todas elas completamente. Em vez disso, rotulou incorretamente duas recusas seguras como inseguras.

O estudo também descobriu uma instabilidade oculta no sistema baseado em regras que ninguém havia notado antes. O pesquisador executou duas versões diferentes do mesmo conjunto de regras na coleção completa de 550 respostas. A primeira versão identificou 40 respostas como inseguras, enquanto a segunda, uma versão ligeiramente revisada, identificou apenas oito. Essa diferença de cinco vezes ocorreu sem qualquer alteração no conteúdo real das respostas, provando que a contagem de itens inseguros depende inteiramente de qual versão das regras é carregada. Como o sistema é determinístico, ele reproduz seus próprios erros perfeitamente todas as vezes, tornando esses erros invisíveis para quem olha apenas para os números finais. As duas ferramentas automatizadas concordaram entre si em cerca de 62 por cento dos itens, um número que pode parecer um consenso forte à primeira vista. No entanto, esse acordo era, em grande parte, uma ilusão causada pelo fato de que a maioria das respostas era segura. Quando o pesquisador ajustou para esse desequilíbrio, o acordo real entre as ferramentas foi negligenciável, mostrando que elas não estavam validando uma à outra, mas sim colapsando em uma previsão padrão de segurança.

A descoberta central é que nem o juiz automatizado nem o filtro baseado em regras são uma medida neutra ou válida de segurança por si sós. O classificador baseado em regras não é um padrão perfeito; é uma ferramenta de medição com uma taxa de erro alta e não medida. O estudo conclui que a única maneira de confiar nesses números de segurança é validar cada instrumento contra um benchmark separado, verificado por humanos, antes de publicar quaisquer resultados. Os pesquisadores devem relatar não apenas com que frequência uma ferramenta concorda com outra, mas quão bem ela detecta os erros específicos que importam, como perder conteúdos perigosos. Sem essa verificação independente, o campo corre o risco de construir avaliações de segurança sobre fundamentos que são, eles próprios, falhos, confundindo a consistência de uma ferramenta quebrada com a verdade.