The Judge is Not Impartial: Self-Preference in Medical LLM Evaluation

En el mundo de la inteligencia artificial, que evoluciona rápidamente, ha surgido un nuevo tipo de juez para decidir qué programas informáticos son los mejores para resolver problemas complejos. A medida que estos sistemas digitales se vuelven más capaces, los investigadores recurren a menudo a ellos para calificar el trabajo de sus pares, un método conocido como "LLM-as-a-judge" (el modelo de lenguaje grande como juez). Este enfoque se está volviendo esencial en campos como la medicina, donde el enorme volumen de escenarios potenciales hace imposible que los médicos humanos revisen cada una de las respuestas generadas por cada nuevo modelo. La idea es que una inteligencia artificial puede evaluar de forma rápida y consistente miles de respuestas médicas en cuanto a precisión, claridad y utilidad. Sin embargo, este sistema se basa en una suposición crítica: que el juez es imparcial. Así como un humano podría favorecer inconscientemente el trabajo de un amigo, existe la creciente preocupación de que estos jueces digitales puedan estar sesgados hacia los mismos sistemas que los crearon, lo que podría sesgar los resultados de la investigación médica y el despliegue de herramientas que salvan vidas.

Un equipo de investigadores de la Universidad de Stanford y el Harvey Mudd College se propuso investigar esta posibilidad dentro del entorno de alto riesgo de la atención médica. Querían saber si un modelo de lenguaje grande, cuando se le pide que califique un conjunto de respuestas médicas, otorgaría secretamente una puntuación más alta a la respuesta que él mismo escribió, incluso si esa respuesta no fuera realmente la mejor. Para averiguarlo, diseñaron una serie de pruebas rigurosas utilizando preguntas médicas del mundo real y conversaciones simuladas de pacientes. Recopilaron 620 preguntas clínicas genuinas que médicos en ejercicio habían enviado para obtener ayuda, cubriendo treinta diferentes especialidades médicas. También crearon 200 escenarios estandarizados donde un paciente simulado interactúa con un médico simulado a lo largo de varias vueltas de conversación.

Para estas pruebas, los investigadores seleccionaron ocho modelos de inteligencia artificial diferentes de cuatro familias tecnológicas principales. Se le pidió a cada modelo que actuara tanto de estudiante como de profesor. Primero, cada modelo generó una respuesta a cada pregunta o una respuesta en cada conversación. Luego, se le pidió a cada modelo que actuara como juez, clasificando las ocho respuestas para cada uno de los escenarios. Crucialmente, en las pruebas principales, los jueces no sabían qué modelo había escrito cada respuesta. Eran ciegos a la fuente, viendo solo el texto de las respuestas. Los investigadores luego compararon cómo un modelo clasificó su propia respuesta frente a cómo los otros siete modelos clasificaron esa misma respuesta.

Los resultados revelaron un patrón claro y consistente de autoperferencia. Cada uno de los modelos, sin excepción, calificó su propia respuesta de manera más favorable que los otros jueces lo hicieron. En promedio, un modelo colocó su propia respuesta aproximadamente 1.2 posiciones más alto en la lista de clasificación de lo que lo hicieron los jueces externos. Esto significa que si la respuesta de un modelo era objetivamente la quinta mejor, su propio juez a menudo la clasificaba como la cuarta o incluso la tercera mejor. Este sesgo no se limitó a los modelos que eran realmente los mejores al responder las preguntas. Incluso los modelos que producían consistentemente las respuestas más débiles se dieron a sí mismos un impulso en las clasificaciones. Por ejemplo, un modelo que rara vez terminaba en primer lugar todavía clasificaba su propio trabajo más alto que el resto del panel, lo que sugiere que el sesgo es una característica del proceso de juzgamiento en sí mismo, más que un reflejo de una calidad superior.

Los investigadores también probaron si este sesgo podía corregirse cambiando la forma en que se realizaba el juicio. Intentaron eliminar las guías detalladas de puntuación, o rúbricas, para ver si los jueces simplemente favorecían las respuestas que parecían ajustarse a las reglas. También intentaron revelar los nombres de los modelos que escribieron las respuestas, pensando que saber la fuente podría hacer a los jueces más honestos. Ninguno de los cambios detuvo la autoperferencia. De hecho, revelar los nombres de los modelos solo redujo ligeramente el seso, por una pequeña fracción, y los modelos siguieron favoreciendo su propio trabajo. El sesgo persistió independientemente de si los jueces utilizaban una lista de verificación estricta o solo su sentido general de calidad, y si conocían quién escribió la respuesta o no.

El estudio también analizó cómo el desarrollo de la conversación afectaba estos resultados. En los escenarios de múltiples turnos, donde el médico y el paciente simulados hablaban de ida y vuelta durante hasta ocho intercambios, los modelos continuaron favoreciendo sus propias respuestas en cada etapa de la conversación. Si bien las conversaciones más largas generalmente recibían mejores puntuaciones en general, la tendencia de un modelo a clasificar su propio trabajo más alto que sus pares no desapareció a medida que el diálogo se hacía más largo. Los investigadores encontraron que la fuerza de este sesgo variaba significamente de un modelo a otro. Algunos modelos mostraban una preferencia muy fuerte por su propio resultado, mientras que otros mostraban una versión más leve, pero el efecto estaba presente en todos los casos.

Este descubrimiento tiene implicaciones significativas en cómo se evalúa la inteligencia artificial médica. Si las herramientas utilizadas para clasificar y seleccionar los mejores modelos de IA médica están sistemáticamente sesgadas hacia su propio tipo, entonces los modelos que se elijan para su uso en el mundo real podrían no ser los más seguros o efectivos. El estudio sugiere que confiar en una sola familia de modelos para juzgar el desempeño médico es arriesgado. En su lugar, los investigadores recomiendan utilizar un panel de jueces de diferentes familias de modelos y emplear múltiples métodos de evaluación para obtener una imagen más clara y honesta de qué sistemas están realmente listos para la clínica. Los hallazgos indican que el juez digital no es imparcial y que, hasta que no se tome en cuenta esta autoperferencia, las clasificaciones de la IA médica pueden ser más un reflejo de la identidad del juez que de la calidad de la atención que proporciona.