Frequentemente acreditamos que o nosso julgamento sobre arte, escrita ou música depende inteiramente do que está diante dos nossos olhos ou ouvidos. Assumimos que, se uma história é bem contada ou um poema é comovente, reconheceremos a sua qualidade independentemente de quem a escreveu. Esta ideia tem sido, há muito tempo, um pilar da teoria literária, sugerindo que o próprio texto deveria ser a única coisa que importa. No entanto, décadas de investigação psicológica mostraram que os nossos cérebros não funcionam desta forma. Quando lemos ou ouvimos, utilizamos constantemente pistas sobre a origem para guiar a nossa interpretação. Se soubermos que um texto veio de um poeta famoso, tendemos a considerá-lo mais profundo e significativo do que se nos disserem que as mesmas palavras vieram de um programa de computador. Isto não é apenas uma questão de esnobismo; é uma forma fundamental pela qual as nossas mentes processam a informação, baseando-se na reputação do criador para nos ajudar a compreender a obra.

À medida que a inteligência artificial se torna capaz de escrever histórias, poemas e ensaios que soam notavelmente humanos, surge uma nova questão. Será que este viés em direção aos criadores humanos ainda se mantém quando a obra é gerada por uma máquina? E, talvez de forma mais surpreendente, será que as próprias máquinas partilham este viés? Como os sistemas de IA são cada vez mais utilizados para avaliar ensaios de estudantes, julgar concursos de escrita criativa e classificar a qualidade de diferentes modelos, estão efetivamente a tornar-se os críticos. Se estes juízes digitais forem treinados com dados humanos, poderão ter absorvido os nossos próprios preconceitos sobre o que conta como criatividade "real". Compreender se estes sistemas simplesmente imitam o viés humano ou se o amplificam é crucial, pois determina como confiaremos nas ferramentas que estão a começar a moldar o nosso panorama cultural.

Investigadores da Universidade de Princeton decidiram testar estas questões com um experimento controlado que colocou leitores humanos contra modelos de inteligência artificial. Eles escolheram um conjunto único de materiais para garantir uma comparação justa: trinta diferentes recontagens da mesma história simples, originalmente escrita pelo autor francês Raymond Queneau em 1947. A obra de Queneau, conhecida como Exercícios de Estilo, pega numa anedota mundana sobre um homem num autocarro e reescreve-a de noventa e nove formas diferentes, variando de uma sequência onírica a um documento jurídico ou uma conversa de rua repleta de gírias. Os investigadores pegaram em trinta destas versões escritas por humanos e pediram a um poderoso modelo de IA que gerasse as suas próprias versões dos mesmos trinta estilos. O resultado foi um conjunto de histórias emparelhadas: uma escrita por um humano, outra por uma máquina, ambas tentando capturar exatamente o mesmo objetivo estilístico.

O experimento envolveu dois grupos distintos de juízes. O primeiro grupo consistiu em 556 participantes humanos. O segundo grupo foi composto por treze modelos de IA diferentes, incluindo alguns dos sistemas mais avançados disponíveis na época. Ambos os grupos foram solicitados a observar pares destas histórias e decidir qual delas melhor correspondia ao estilo solicitado, como "dialeto Cockney" ou "ficção científica". Para ver o quanto o rótulo do autor importava, os investigadores realizaram o teste sob três condições diferentes. Na primeira condição, os juízes viram as histórias sem nomes, apenas rotuladas como "A" e "B". Na segunda, viram os rótulos corretos: uma história era identificada como escrita por Queneau, a outra como gerada por uma IA. Na terceira, os rótulos foram deliberadamente trocados, de modo que a história escrita pela IA era apresentada como humana, e a história humana era apresentada como IA.

Os resultados revelaram um padrão claro e poderoso. Quando os juízes humanos não sabiam quem escreveu as histórias, preferiam as versões geradas pela IA ligeiramente mais vezes do que as humanas, sugerindo que a escrita da máquina era de alta qualidade. No entanto, no momento em que os rótulos eram revelados, as suas preferências mudavam drasticamente. Quando lhes diziam que uma história fora escrita por um humano, classificavam-na de forma mais elevada. Quando lhes diziam que a mesma história fora escrita por uma máquina, classificavam-na de forma mais baixa. Esta mudança foi significativa: os juízes humanos mostraram um viés de cerca de treze pontos percentuais a favor do conteúdo rotulado como humano. Eles estavam dispostos a ignorar falhas na escrita humana e a encontrar valor nela, enquanto aplicavam padrões mais rigorosos à escrita da máquina.

Os juízes de IA, no entanto, mostraram uma versão ainda mais forte deste mesmo viés. Quando os modelos de IA avaliavam as histórias sem os rótulos, eram neutros, escolhendo as versões humanas e de máquina quase igualmente. Mas assim que os rótulos eram introduzidos, o seu comportamento mudava drasticamente. Quando um modelo de IA via uma história rotulada como "escrita por um humano", era muito mais propenso a escolhê-la como a melhor versão. Quando via a exata mesma história rotulada como "gerada por IA", rejeitava-a. A magnitude desta mudança foi massiva: os modelos de IA mostraram um viés de trinta e quatro pontos percentuais, o que é duas vezes e meia mais forte do que o viés mostrado pelos juízes humanos. Isto sugere que os sistemas de IA não apenas aprenderam a escrever como os humanos, mas também aprenderam a julgar como os humanos, absorvendo o pressuposto cultural de que a criatividade humana é superior à criatividade da máquina.

Os investigadores aprofundaram a investigação para compreender como este viés funcionava. Descobriram que os rótulos não alteravam apenas a pontuação final; alteravam o raciocínio por trás da decisão. Quando a mesma história era rotulada como humana, os juízes de IA elogiavam as suas características como "autênticas" e "criativas". Quando essa exata mesma história era rotulada como IA, os juízes criticavam essas mesmas características como "exageradas", "formulárias" ou "sem profundidade". Num teste específico envolvendo uma história que quebrava uma regra estrita (uma restrição onde a letra 'e' era proibida), os juízes humanos mantiveram a regra e rejeitaram a versão que falhou, independentemente do rótulo. Os juízes de IA, no entanto, eram muito mais condescendentes quando acreditavam que um humano tinha escrito a versão defeituosa, inventando frequentemente razões para desculpar o erro. Inversamente, eram duros com a versão da máquina pelo mesmo erro.

Este fenómeno não se limitou a um único tipo de IA ou a um único estilo de escrita. Os investigadores testaram o viés através de uma vasta gama de diferentes modelos de IA atuando tanto como criadores quanto como juízes. Não importava qual IA criou a história, e não importava qual IA estava a julgar, o padrão mantinha-se: o conteúdo rotulado como humano era consistentemente preferido em relação ao conteúdo rotulado como IA. O viés apareceu em todos os estilos testados, desde a poesia até à escrita técnica, e persistiu mesmo quando os investigadores tentaram tornar os rótulos mais neutros ou até favoráveis à IA. O efeito foi robusto, aparecendo em todos os modelos testados.

O estudo conclui que a "aura de autoria humana" é uma força poderosa que molda a forma como tanto pessoas como máquinas avaliam o trabalho criativo. Não é apenas uma excentricidade humana; é um viés que foi aprendido e amplificado pelos sistemas de inteligência artificial que estamos a construir. Estes sistemas, treinados em vastas quantidades de texto e feedback humanos, internalizaram a ideia de que a origem humana é um selo de qualidade. Como resultado, tendem a desvalorizar a sua própria produção quando a sua fonte é revelada, criando um ciclo onde a máquina julga o seu próprio trabalho como inferior simplesmente porque sabe que foi feito por uma máquina. Esta descoberta sugere que, à medida que dependemos mais da IA para avaliar a arte e a escrita, devemos estar cientes de que estes sistemas não são árbitros neutros. Eles carregam os mesmos pressupostos culturais que os seus criadores humanos e, em alguns casos, aplicam esses pressupostos com uma intensidade ainda maior.