The Authenticity Gap in Human Evaluation

No mundo da linguagem de computador, onde as máquinas são ensinadas a escrever histórias, responder perguntas e manter conversas, existe um problema persistente: como sabemos se a máquina está realmente fazendo um bom trabalho? Durante anos, o método padrão tem sido contratar pessoas para ler o texto que o computador produz e dar a ele uma nota, muito parecido com um juiz em um show de talentos. Essas classificações humanas são tratadas como a verdade absoluta, o padrão ouro contra o qual todos os novos programas de computador são medidos. A lógica parece simples: se um computador escreve uma história que as pessoas avaliam positivamente, ele é um bom escritor. Mas essa abordagem baseia-se em uma suposição oculta — a de que, quando uma pessoa atribui um número a um texto, esse número captura perfeitamente o seu verdadeiro sentimento sobre ele. Assume-se que a distância entre uma nota "boa" e uma nota "excelente" é a mesma para todos, e que a média dessas notas nos diz exatamente qual computador é melhor.

Uma equipe de pesquisadores da Universidade de Stanford decidiu olhar mais de perto para esse processo, não apenas para ver se os juízes estavam fazendo o seu trabalho, mas para questionar se o próprio sistema de pontuação estava falho. Eles abordaram o problema através da lente de como os economistas entendem as escolhas humanas, vendo a capacidade de um computador de gerar texto como uma espécie de aposta. Quando um computador escreve, ele não produz um único resultado fixo; ele produz uma gama de resultados possíveis, alguns brilhantes e outros terríveis. Os pesquisadores descobriram que a forma padrão de pedir aos humanos para avaliar esses resultados frequentemente falha em capturar o que as pessoas realmente preferem. Na verdade, eles descobriram que o próprio ato de tirar a média dessas classificações pode, às vezes, inverter os resultados, fazendo um computador pior parecer melhor do que um melhor, ou escondendo o fato de que os humanos conseguem notar a diferença entre uma máquina e uma pessoa.

Para corrigir isso, os pesquisadores propuseram uma maneira completamente nova de pedir opiniões. Em vez de pedir a uma pessoa que avalie uma única história em uma escala de um a cinco, eles pediram que ela olhasse para os dois computadores lado a lado e estimasse a probabilidade de um ser melhor que o outro no geral. Este método, que eles chamam de avaliação probabilística em nível de sistema, trata o juiz humano não como um calculador de pontuações, mas como um especialista estimando uma probabilidade. Quando testaram este novo método contra o antigo usando diferentes versões de um poderoso modelo de linguagem, os resultados foram impressionantes. O método antigo, que tem sido o padrão da indústria por anos, falhou em detectar diferenças claras entre os modelos que deveriam ser óbvias. Ele não conseguiu distinguir que um computador maior e mais avançado era melhor que um menor, e até sugeriu que um computador era significativamente melhor do que um escritor humano, um achado que contradiz pesquisas anteriores.

O novo método, porém, funcionou exatamente como os pesquisadores esperavam. Quando as pessoas usaram a abordagem baseada em probabilidade, elas identificaram consistentemente a ordem correta dos modelos de computador, reconhecendo que os sistemas maiores e mais complexos produziam histórias melhores. Elas também identificaram corretamente que, embora o computador menor fosse claramente pior que um humano, o maior era indistinguível de um escritor humano. Esse sucesso não se deveu ao fato de terem mais pessoas ou mais dados; os pesquisadores usaram o mesmo grupo de noventa voluntários para ambos os testes. A diferença residia inteiramente na forma como a pergunta era feita. O método padrão, que pede uma classificação em uma escala fixa, força as pessoas a fazerem julgamentos que seus cérebros não estão programados para fazer de forma consistente. Ele assume que a lacuna entre uma pontuação de três e uma de quatro significa a mesma coisa para cada pessoa, uma suposição que raramente se sustenta na realidade.

Os pesquisadores mostraram que esta falha não é apenas um erro técnico menor, mas um mal-entendido fundamental de como funciona a preferência humana. Quando as pessoas são solicitadas a avaliar um texto em uma escala, elas estão frequentemente adivinhando a distância entre os pontos, e essas suposições podem variar drasticamente de pessoa para pessoa. Uma pessoa pode pensar que uma pontuação de quatro é apenas ligeiramente melhor que uma de três, enquanto outra pode pensar que é duas vezes melhor. Quando você tira a média dessas visões conflitantes, o resultado é um sinal turvo que obscurece a verdade. O novo método evita essa confusão ao pedir que as pessoas recuem e olhem para o quadro geral. Em vez de julgar uma única frase, elas julgam o sistema inteiro, estimando com que frequência prefeririam um computador em relação ao outro se vissem muitos exemplos. Essa abordagem reconhece que os humanos não podem ver todos os resultados possíveis que um computador pode gerar, mas ainda assim podem formar um senso confiável de qual sistema é superior com base em uma amostra.

As implicações desta descoberta estendem-se para muito além de apenas testar computadores de escrita de histórias. Desafia a forma como todo o campo da inteligência artificial avalia o seu próprio progresso. Durante anos, pesquisadores construíram novos modelos e alegaram que eram melhores porque receberam pontuações médias mais altas de juízes humanos. Se essas pontuações são matematicamente infiéis à preferência humana, então muitas dessas alegações podem estar erradas. O estudo sugere que o campo precisa se afastar de simples escalas de classificação e mover-se em direção a métodos que respeitem a complexidade do julgamento humano. Ao pedir às pessoas que estimem probabilidades em vez de atribuírem números, podemos obter uma imagem mais clara e honesta do que essas máquinas são realmente capazes de fazer.

Em seus experimentos, os pesquisadores usaram um conjunto específico de comandos de história e pediram aos voluntários que comparassem diferentes versões de um modelo de linguagem, variando de uma versão pequena e básica a uma massiva e avançada. Eles também incluíram histórias escritas por humanos reais para servir como um parâmetro de comparação. Os resultados foram claros: o novo método recuperou todas as preferências esperadas, classificando corretamente os computadores do pior para o melhor e posicionando com precisão o escritor humano no meio. O método antigo, apesar de usar os mesmos voluntários e as mesmas histórias, recuperou apenas duas das cinco preferências esperadas. Falhou em perceber a diferença entre os computadores de tamanho médio e, mais surpreendentemente, concluiu que o escritor humano era significativamente pior do que o maior computador. Este erro destaca um ponto cego perigoso nas práticas atuais de avaliação, onde um protocolo falho pode levar pesquisadores a acreditar que suas máquinas superaram a habilidade humana quando não o fizeram.

Os pesquisadores também testaram esta nova abordagem na geração de imagens, pedindo às pessoas que julgassem qual computador produzia melhores figuras. Os resultados mantiveram-se novamente, mostrando que o método funciona em diferentes tipos de tarefas criativas. Eles descobriram que, quanto mais exemplos as pessoas viam, mais certas ficavam de suas preferências, mas mesmo com um pequeno número de exemplos, o método baseado em probabilidade foi capaz de detectar o vencedor correto. Isso sugere que o método é robusto e eficiente, capaz de fornecer respostas confiáveis sem exigir uma quantidade impossível de dados. Ele respeita os limites da atenção humana, ao mesmo tempo em que captura a essência da preferência humana.

Em última análise, este trabalho trata de alinhar nossas ferramentas com a realidade. O protocolo padrão para avaliar a inteligência artificial foi construído sobre uma base de suposições que não correspondem a como os humanos realmente pensam ou sentem. Ao mudar o foco de números arbitrários para estimativas honestas de probabilidade, os pesquisadores ofereceram um caminho para avaliações mais precisas e confiáveis. É um lembrete de que, na busca por construir máquinas melhores, devemos primeiro garantir que nossos métodos para medi-las sejam sólidos. O objetivo não é apenas saber qual computador vence, mas entender o que essa vitória realmente significa para o futuro da interação humano-computador. À medida que esses sistemas se tornam mais integrados às nossas vidas, acertar a avaliação não é apenas um exercício acadêmico; é uma necessidade para garantir que a tecnologia que construímos realmente sirva às pessoas que a utilizam.