A menudo creemos que nuestro juicio sobre el arte, la escritura o la música depende enteramente de lo que tenemos ante nuestros ojos u oídos. Asumimos que si una historia está bien contada o un poema es conmovedor, reconoceremos su calidad independientemente de quién lo haya escrito. Esta idea ha sido durante mucho tiempo una piedra angular de la teoría literaria, sugiriendo que el texto en sí mismo debería ser lo único que importe. Sin embargo, décadas de investigación psicológica han demostrado que nuestros cerebros no funcionan de esta manera. Cuando leemos o escuchamos, utilizamos constantemente pistas sobre la fuente para guiar nuestra interpretación. Si sabemos que un escrito proviene de un poeta famoso, tendemos a encontrarlo más profundo y significativo que si se nos dice que esas mismas palabras fueron generadas por un programa informático. Esto no es solo una cuestión de esnobismo; es una forma fundamental en la que nuestras mentes procesan la información, apoyándose en la reputación del creador para ayudarnos a comprender la obra.

A medida que la inteligencia artificial se vuelve capaz de escribir historias, poemas y ensayos que suenan notablemente humanos, ha surgido una nueva pregunta. ¿Sigue vigente este sesgo hacia los creadores humanos cuando la obra es generada por una máquina? Y quizás, de forma más sorprendente, ¿comparten las propias máquinas este sesgo? Dado que los sistemas de IA se utilizan cada vez más para calificar ensayos de estudiantes, juzgar concursos de escritura creativa y clasificar la calidad de diferentes modelos, se están convirtiendo efectivamente en los críticos. Si estos jueces digitales son entrenados con datos humanos, podrían haber absorbido nuestros propios prejuicios sobre lo que cuenta como creatividad "real". Comprender si estos sistemas simplemente imitan el sesgo humano o si lo amplifican es crucial, porque determina cómo confiaremos en las herramientas que están comenzando a dar forma a nuestro paisaje cultural.

Investigadores de la Universidad de Princeton se propusieron probar estas cuestiones mediante un experimento controlado que enfrentó a lectores humanos contra modelos de inteligencia artificial. Eligieron un conjunto de materiales único para asegurar una comparación justa: treinta diferentes versiones de una misma historia sencilla, escrita originalmente por el autor francés Raymond Queneau en 1947. La obra de Queneau, conocida como Ejercicios de estilo, toma una anécdota mundana sobre un hombre en un autobús y la reescribe de noventa y nueve maneras distintas, que van desde una secuencia onírica hasta un documento legal o una conversación callejera llena de jerga. Los investigadores tomaron treinta de estas versiones escritas por humanos y pidieron a un potente modelo de IA que generara sus propias versiones de los mismos treinta estilos. El resultado fue un conjunto de historias emparejadas: una escrita por un humano, otra por una máquina, ambas intentando capturar exactamente el mismo objetivo estilístico.

El experimento involucró a dos grupos distintos de jueces. El primer grupo consistió en 556 participantes humanos. El segundo grupo estaba compuesto por trece modelos de IA diferentes, incluyendo algunos de los sistemas más avanzados disponibles en ese momento. Ambos grupos debían observar pares de estas historias y decidir cuál se ajustaba mejor al estilo solicitado, como por ejemplo "dialecto Cockney" o "ciencia ficción". Para ver cuánto importaba la etiqueta del autor, los investigadores realizaron la prueba bajo tres condiciones diferentes. En la primera condición, los jueces veían las historias sin nombres, solo etiquetadas como "A" y "B". En la segunda, veían las etiquetas correctas: una historia era identificada como escrita por Queneau y la otra como generada por una IA. En la tercera, las etiquetas se intercambiaban deliberadamente, de modo que la historia escrita por la IA se presentaba como humana, y la historia humana se presentaba como IA.

Los resultados revelaron un patrón claro y poderoso. Cuando los jueces humanos no sabían quién había escrito las historias, de hecho preferían las versiones generadas por la IA un poco más a menudo que las humanas, lo que sugería que la escritura de la máquina era de alta calidad. Sin embargo, en el momento en que se revelaban las etiquetas, sus preferencias cambiaban dramente. Cuando se les decía que una historia había sido escrita por un humano, la calificaban mejor. Cuando se les decía que la misma historia había sido escrita por una máquina, la calificaban peor. Este cambio fue significativo: los jueces humanos mostraron un sesgo de aproximadamente trece puntos porcentuales a favor del contenido etiquetado como humano. Estaban dispuestos a pasar por alto los defectos en la escritura humana y encontrar valor en ella, mientras aplicaban estándares más estrictos a la escritura de la máquina.

Los jueces de IA, sin embargo, mostraron una versión aún más fuerte de este mismo sesgo. Cuando los modelos de IA evaluaban las historias sin etiquetas, eran neutrales, eligiendo las versiones humanas y las de la máquina casi por igual. Pero una vez que se introducían las etiquetas, su comportamiento cambiaba drásticamente. Cuando un modelo de IA veía una historia etiquetada como "escrita por un humano", era mucho más propenso a elegirla como la mejor versión. Cuando veía la misma historia etiquetada como "generada por IA", la rechazaba. La magnitud de este cambio fue masiva: los modelos de IA mostraban un sesgo de treinta y cuatro puntos porcentales, lo que es dos veces y media más fuerte que el sesgo mostrado por los jueces humanos. Esto sugiere que los sistemas de IA no solo han aprendido a escribir como los humanos, sino que también han aprendido a juzgar como los humanos, absorbiendo la suposición cultural de que la creatividad humana es superior a la creatividad de la máquina.

Los investigadores profundizaron para entender cómo funcionaba este sesgo. Encontraron que las etiquetas no solo cambiaban la puntuación final; cambiaban el razonamiento detrás de la decisión. Cuando la misma historia era etiquetada como humana, los jueces de IA elogiaban sus características como "auténticas" y "creativas". Cuando esa misma historia era etiquetada como IA, los jueces criticaban esas mismas características como "exageradas", "formularias" o "falta de profundidad". En una prueba específica que involucraba una historia que rompía una regla estricta (una restricción donde la letra 'e' estaba prohibida), los jueces humanos se ciñeron a la regla y rechazaron la versión que falló en ella, independientemente de la etiqueta. Los jueces de IA, sin embargo, eran mucho más permisivos cuando creían que un humano había escrito la versión defectuosa, inventando a menudo razones para excusar el error. Por el contrario, eran duros con la versión de la máquina por el mismo error.

Este fenómeno no se limitó a un solo tipo de IA o a un solo estilo de escritura. Los investigadores probaron el sesgo a través de una amplia gama de diferentes modelos de IA actuando como creadores y como jueces. Independientemente de qué IA creara la historia, e independientemente de qué IA estuviera juzgando, el patrón se mantenía: el contenido etiquetado como humano era consistentemente preferido sobre el contenido etiquetado como IA. El sesgo apareció en todos los estilos probados, desde la poesía hasta la escritura técnica, y persistió incluso cuando los investigadores intentaron que las etiquetas fueran más neutrales o incluso favorables para la IA. El efecto fue robusto, apareciendo en todos los modelos probados.

El estudio concluye que el "halo de autoría humana" es una fuerza poderosa que moldea cómo tanto las personas como las máquinas evalúan el trabajo creativo. No es solo un capricho humano; es un sesgo que ha sido aprendido y amplificado por los sistemas de inteligencia artificial que estamos construyendo. Estos sistemas, entrenados en vastas cantidades de texto y retroalimentación humana, han interiorizado la idea de que el origen humano es una marca de calidad. Como resultado, tienden a devaluar su propia producción cuando se revela su fuente, creando un ciclo en el que la máquina juzga su propio trabajo como inferior simplemente porque sabe que fue hecho por una máquina. Este hallazgo sugiere que, a medida que dependemos más de la IA para evaluar el arte y la escritura, debemos ser conscientes de que estos sistemas no son árbitros neutrales. Llevan consigo las mismas suposiciones culturales que sus creadores humanos y, en algunos casos, imponen esas suposiciones con una intensidad aún mayor.