Anchoring Bias in LLM-as-a-Judge Systems: Prior Scores Compromise Evaluation Independence

En el panorama digital moderno, la inteligencia artificial ha evolucionado de ser una herramienta que simplemente responde preguntas a un sistema que juzga la calidad de otros sistemas. Este nuevo papel, a menudo llamado "IA como juez", se utiliza cada vez más para calificar ensayos, revisar código y filtrar contenido antes de que llegue a un lector humano. La suposición detrás de esta práctica es que el juez de IA evalúa cada pieza de trabajo por sus propios méritos, tratando cada entrega como un nuevo comienzo. Sin embargo, la psicología humana ha conocido durante mucho tiempo un fenómeno llamado anclaje, donde la estimación o decisión de una persona se ve sutilmente arrastrada hacia un número que vio anteriormente, incluso si ese número era aleatorio o irrelevante. Durante décadas, los investigadores han observado esto en las personas, desde las sentencias judiciales hasta las negociaciones de precios. La pregunta crítica para la era digital es si estos mismos sesgos humanos existen dentro de las máquinas en las que confiamos para ser imparciales. Si un juez de IA se ve influenciado por una puntuación previa que ve en segundo plano, todo el sistema de evaluación automatizada podría verse sistemáticamente sesgado, lo que conduciría a rechazos o aprobaciones injustas de contenido.

Un equipo de investigadores de Infobip se propuso probar esta suposición directamente. Diseñaron un experimento para ver si la puntuación de un juez de IA cambiaría simplemente porque se le mostró una puntuación anterior de un juez diferente, incluso cuando esa puntuación anterior no tenía ninguna relación con el trabajo actual. Reunieron ocho modelos de lenguaje de gran tamaño diferentes, que iban desde sistemas masivos y potentes hasta otros más pequeños y eficientes, y les pidieron que calificaran veinte textos diferentes. Estos textos cubrían cuatro áreas distintas: resumir artículos, revisar código informático, escribir historias creativas y responder preguntas fácticas. Los investigadores crearon tres escenarios diferentes para los jueces de IA. En el primer escenario, el juez veía solo la tarea y el texto. En el segundo, el juez veía el texto con una nota que decía que era una revisión. En el tercero, el juez veía el texto junto con una nota que incluía un número específico que representaba una "puntuación previa" de un intento anterior. Crucialmente, estas puntuaciones previas eran números generados aleatoriamente que siempre estaban por debajo de la nota de aprobación, lo que significaba que estaban diseñados para ser informativos e irrelevantes para la calidad real del texto.

Los resultados fueron claros y consistentes en la mayoría de los modelos probados. Cuando los jueces de IA se les mostró la puntuación previa aleatoria, su calificación se desplazó significamente hacia abajo. En lugar de tratar el texto como una pieza de trabajo independiente, los modelos parecieron anclar su juicio a ese número inferior. En el estudio, siete de los ocho modelos mostraron una caída estadísticamente significativa en las puntuaciones cuando la puntuación previa estaba presente. El efecto no fue solo una fluctuación pequeña; para algunos modelos, el cambio fue lo suficientemente grande como para cambiar el resultado de la evaluación. Por ejemplo, en uno de los modelos más potentes probados, la presencia de una puntuación previa causó que la tasa de aceptación del texto cayera casi un veintidós por ciento. Esto significa que el contenido que habría sido aprobado como de buena calidad fue repentinamente rechazado simplemente porque el juez había visto un número más bajo en el trasfondo. Los investigadores descubrieron que este sesgo no era uniforme en todos los tipos de tareas; fue más fuerte en la escritura creativa y en las preguntas fácticas, mientras que la revisión de código mostró una reacción más débil e inconsistente.

Para entender cómo sucedió esto dentro de la máquina, los investigadores observaron las palabras específicas que los modelos estaban considerando mientras generaban sus puntuaciones. Descubrieron un patrón que parecía más un interruptor activándose que un deslizamiento gradual. Cuando se introdujo la puntuación previa, la probabilidad del modelo de elegir una puntuación alta cayó bruscamente, y la probabilidad de elegir una puntuación más baja aumentó. Sin embargo, cambiar el valor específico de esa puntuación previa no pareció importar mucho; la mera presencia del número activó el cambio. Esto sugiere que los modelos no están calculando cuidadosamente un nuevo promedio, sino que están reaccionando a la existencia de los metadatos en sí mismos. Los investigadores también probaron si instrucciones simples podrían solucionar el problema. Intentaron pedir a los modelos que pensaran paso a paso antes de calificar, e intentaron advertir explícitamente a los modelos que ignoraran las puntuaciones previas. Ninguna de estas estrategias funcionó. De hecho, en algunos casos, las instrucciones paso a paso empeoraron el sesgo, y la advertencia explícita no logró detener la caída de las puntuaciones, aunque sí redujo la tendencia de los modelos a seguir el número específico si ya estaban sesgados.

El estudio fue más allá para ver si este sesgo afectaba decisiones del mundo real, no solo números abstractos. Utilizando un conjunto de datos de campañas de mensajería que ya habían sido etiquetadas por humanos como seguras o prohibidas, los investigadores probaron cómo se desempeñaban los jueces de IA cuando se les daba una etiqueta previa errónea. Cuando la IA se le mostró una etiqueta previa que era incorrecta, no logró corregir el error en casi la mitad de los casos en los que de otro modo lo habría hecho. En cambio, a menudo se aferraba a la etiqueta incorrecta proporcionada en los metadatos. En una prueba emparejada donde la IA había acertado la respuesta anteriormente, la introducción de una etiqueta previa errónea causó que cambiara su juicio correcto al incorrecto en más del diez por ciento de los casos. Esto demuestra que el sesgo se extiende más allá de la simple puntuación hacia decisiones categóricas que determinan si el contenido se permite o se bloquea. Los investigadores concluyeron que la única forma fiable de prevenir este sesgo es eliminar por completo los metadatos irrelevantes del prompt. Descubrieron que ninguna cantidad de instrucción o advertencia podía restaurar completamente la independencia del juez una vez que esa información previa estaba presente.

Las implicaciones de estos hallazgos son significativas para cualquiera que dependa de la IA para realizar evaluaciones justas. El estudio muestra que la suposición de imparcialidad en los sistemas automatizados es frágil. Incluso cuando la información proporcionada es claramente irrelevante, los modelos no son inmunes a la influencia del contexto. El sesgo no es un error que pueda parchearse fácilmente con una simple instrucción; parece ser una parte fundamental de cómo estos sistemas procesan la información. Los investigadores enfatizaron que, si bien sus pruebas cubrieron un conjunto específico de modelos y tareas, los resultados sugieren una vulnerabilidad más amplia. Para construir sistemas confiables, los desarrolladores deben diseñar cuidadosamente el contexto en el que opera la IA, asegurando que ningún dato o etiqueta extraña de pasos anteriores se filtre en la evaluación actual. El camino a seguir requiere una validación activa para cada modelo y tarea específica, en lugar de una creencia pasiva de que la máquina está viendo el mundo con claridad por sí misma.