💬 NLP

Self- and Other-Labels Induce Bidirectional Bias in LLM Judges

Este artículo demuestra que, si bien la preferencia genuina por uno mismo en los jueces de LLM desaparece en gran medida al controlar la calidad del contenido, la mera presencia de etiquetas de autoría propia o ajena induce un sesgo bidireccional que infla las puntuaciones para el contenido con etiquetas propias y reduce las del contenido con etiquetas ajenas, revelando que la atribución de autoría es un motor distinto del sesgo de evaluación.

Autores originales: Songeun Chae, Min Kim, Donghoon Jung, Seojin Choi, Seohyon Jung

Publicado 2026-08-20

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Songeun Chae, Min Kim, Donghoon Jung, Seojin Choi, Seohyon Jung

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, que evoluciona rápidamente, ha surgido un nuevo método para probar qué tan bien funcionan estos sistemas: utilizar una inteligencia artificial para calificar el trabajo de otra. Este enfoque, a menudo llamado "IA como juez", se ha convertido en una herramienta estándar para los investigadores porque es rápida y escalable, lo que permite evaluar miles de respuestas sin intervención humana. Sin embargo, un patrón preocupante ha salido a la luz en estas evaluaciones automatizadas. Cuando se le pide a un sistema de IA que juzgue su propio resultado, a menudo se otorga a sí mismo una puntuación más alta de la que le da al resultado de un sistema diferente. Esta tendencia, conocida como preferencia propia, plantea una pregunta seria sobre la fiabilidad de estas evaluaciones automatizadas. Si el juez tiene un sesgo hacia su propio tipo, los resultados de la evaluación pueden estar sesgados, lo que dificulta saber qué IA está funcionando realmente mejor.

El núcleo del problema reside en cómo se suelen realizar estas evaluaciones. Normalmente, los investigadores piden a una IA que escriba una historia o responda una pregunta, y luego hacen que otra IA califique ese texto. El problema es que el texto mismo lleva la "huella digital" del modelo que lo escribió. Una IA específica podría usar ciertas estructuras de oraciones, vocabulario o niveles de complejidad que prefiere de forma natural. Cuando un juez de IA lee un texto escrito por sí mismo, podría simplemente estar reconociendo su propio estilo familiar y recompensándolo, no porque el contenido sea objetivamente mejor, sino porque se siente como en casa. Esto hace difícil determinar si la IA es genuinamente sesgada hacia sí misma, o si solo está reaccionando al estilo de la escritura. Para resolver este rompecabezas, un equipo de investigadores de KAIST en Corea del Sur decidió eliminar la escritura por completo y observar las elecciones detrás de las palabras.

Los investigadores diseñaron un experimento único donde diez modelos de lenguaje de gran tamaño actuaron tanto como creadores como jueces, pero sin generar jamás una sola oración de texto narrativo. En su lugar, se les entregó un conjunto de doscientas piezas de construcción narrativa preescritas. Estos bloques eran oraciones individuales que describían eventos, personajes, estilos o entornos, todos escritos por humanos. La tarea para cada IA era seleccionar las veinte piezas que consideraba que funcionarían mejor para construir una sola historia. Debido a que las oraciones ya estaban escritas y eran fijas, la IA no podía influir en el estilo o la calidad del texto en sí; solo podía elegir qué piezas incluir. Este diseño eliminó los factores de confusión habituales, asegurando que cualquier sesgo tuviera que provenir del proceso de selección o del proceso de juzgado, y no del aspecto o la sensación de la escritura.

En la primera fase del estudio, los jueces de IA evaluaron estas selecciones sin saber quién las había realizado. Esta fue una prueba ciega, muy parecida a una prueba de degustación a ciegas donde se oculta la marca del alimento. Los investigadores encontraron que, a primera vista, los modelos de IA parecían favorecer sus propias selecciones, otorgándoles una puntuación más alta en promedio. Sin embargo, cuando los investigadores contabilizaron cuidadosamente la calidad de las selecciones y la rigurosidad de los jueces, este favoritismo aparente desapareció en gran medida. De hecho, en una medida específica de qué tan frescas u originales eran las ideas de la historia, los jueces calificaron sus propias selecciones por debajo de las de otros modelos una vez que se limpiaron los datos. Esto sugiere que la preferencia propia inicial no era un sesgo profundamente arraigado contra los demás, sino un efecto secundario de que algunos modelos simplemente hacían mejores elecciones, o de que algunos jueces eran más generosos al calificar.

La segunda fase del experimento introdujo un giro que reveló una fuerza mucho más poderosa y sorprendente. Los investigadores tomaron pares de selecciones que eran de igual calidad —una realizada por el propio juez y otra realizada por otro modelo— y las presentaron nuevamente a los jueces. Esta vez, sin embargo, adjuntaron una etiqueta a cada selección. A veces la etiqueta decía "esta es tu propia selección", y otras veces decía "esta es la selección de otro modelo de lenguaje". Crucialmente, las etiquetas no nombraban a la IA específica; solo indicaban si el trabajo era "propio" o "ajeno". Los resultados fueron impactantes. Las etiquetas por sí solas fueron suficientes para desplazar las puntuaciones en ambas direcciones. Cuando un juez recibía la indicación de que una selección era suya, le otorgaba una puntuación más alta, incluso si la selección había sido hecha en realidad por un modelo diferente. Por el contrario, cuando se le decía que una selección pertenecía a otro modelo, le daba una puntuación más baja, incluso si esa selección era en realidad su propio trabajo.

Este hallazgo demuestra que el sesgo no se trata solo de reconocer el propio estilo de escritura o contenido. En cambio, el simple acto de etiquetar algo como "mío" o "suyo" es suficiente para desencadenar un cambio sistemático en cómo la IA evalúa aquello. El sesgo opera bidireccionalmente: la IA infla la puntuación de las cosas que cree que son suyas y reduce la de las cosas que cree que pertenecen a otros. Esto sucede independientemente de la calidad o la fuente real del contenido. El estudio muestra que, ante la ausencia de hechos claros, la IA depende fuertemente de estas señales externas para formar su juicio. Sugiere que la preferencia propia vista en estudios previos podría estar impulsada menos por un amor genuino por su propio resultado y más por una sensibilidad a las etiquetas de autoría.

Las implicaciones de este descubrimiento son significativas para la forma en que construimos y confiamos en los sistemas de IA. Revela que la fiabilidad de las evaluaciones automatizadas puede verse fácilmente comprometida por metadatos simples, como quién es el crédito del trabajo. Si un juez de IA puede ser persuadido por una etiqueta para cambiar de opinión sobre la calidad de una historia, entonces las puntuaciones que produce pueden reflejar más la etiqueta que el trabajo en sí. Los investigadores concluyen que, para obtener una verdadera medida del rendimiento, debemos diseñar tareas de evaluación que controlen estos elementos superficiales. Al utilizar tareas abiertas donde la verdad fundamental es desconocida y el estilo es neutral, podemos comprender mejor cómo piensan realmente estos sistemas. El estudio no afirma haber resuelto el problema del sesgo de la IA, pero proporciona un mapa claro de dónde proviene el sesgo, mostrando que la línea entre el yo y el otro es una palanca poderosa que puede inclinar la balanza del juicio en cualquier dirección.

Resumen Técnico: Los rótulos de "propio" y "ajeno" inducen un sesgo bidireccional en los jueces de LLM

Planteamiento del problema

A medida que el paradigma "LLM-as-a-judge" (LLM como juez) se convierte en un estándar para la evaluación escalable, han crecido las preocupaciones respecto al sesgo de preferencia propia (self-preference bias): la tendencia de los modelos de lenguaje extensos (LLM) a calificar sus propios resultados de manera más favorable que los de otros modelos. Investigaciones previas han identificado este fenómeno, pero enfrentan limitaciones metodológicas significativas. Los estudios existentes evalúan predominantemente texto generado, donde las características estilísticas, la calidad de la respuesta y la perplejidad se confunden inevitablemente con la identidad del modelo. En consecuencia, no está claro si la preferencia propia observada surge de un sesgo genuino hacia la propia "voz" o si es simplemente un artefacto de jueces que reconocen salidas de mayor calidad o menor perplejidad. Además, el trabajo previo no ha aislado suficientemente el efecto de los rótulos de autoría explícitos de las propiedades intrínsecas del contenido evaluado.

Metodología

Para desentrañar la preferencia propia genuina de los factores de confusión, los autores introducen un diseño experimental novedoso centrado en una tarea de selección de restricciones narrativas. Este enfoque elimina las huellas estilísticas específicas del modelo mientras retiene firmas de selección recuperables y específicas del modelo.

Diseño Experimental

Diez LLM (cinco comerciales y cinco de código abierto) desempeñan funciones duales:

Selectores: Cada modelo realiza 30 ejecuciones, seleccionando 20 restricciones narrativas de un conjunto preconstruido de 200 (que cubren Eventos, Estilos, Personajes y Escenarios). Esto genera 300 conjuntos de restricciones únicos.
Jueces: Los mismos diez modelos evalúan estos conjuntos en una rúbrica de 4 ejes (Originalidad, Dimensionalidad, Coherencia y Capacidad de Relato/Tellability) utilizando una escala Likert de 7 puntos.

El estudio procede en dos experimentos distintos:

Experimento 1: Evaluación Ciega

Los jueces evalúan las 300 selecciones sin ninguna atribución de fuente.

Objetivo: Determinar si la preferencia propia persiste cuando se eliminan las pistas superficiales y se controla la calidad de la selección y la severidad del juez.
Análisis: Los autores emplean un modelo de efectos mixtos para aislar el coeficiente de preferencia propia ( $\beta_S$ ), tratando la severidad del juez, la calidad del selector y las evaluaciones repetidas como interceptos aleatorios. Esto controla el factor de confusión de que los modelos "fuertes" podrían simplemente producir mejores selecciones.

Experimento 2: Evaluación con Rótulos

Los jueces evalúan las selecciones bajo cuatro condiciones de rótulo en un diseño de $2 \times 2$ :

Rótulo Verdadero (TL): El rótulo coincide con la fuente real (Propia o Ajena).
Rótulo Falso (FL): El rótulo contradice la fuente real.
Igualdad de Calidad: Para aislar el efecto del rótulo, los autores construyen pares de selecciones (una producida por sí mismo, otra producida por otro) que recibieron puntuaciones casi idénticas en el Experimento 1.
Manipulación: Los rótulos se presentan de forma anónima como "tu propia selección" u "otro modelo de lenguaje", eliminando los efectos de identidad específica del modelo.
Análisis: Un modelo de efectos mixtos estima el efecto principal del rótulo mostrado ( $\beta_L$ ), la fuente real ( $\beta_A$ ) y su interacción ( $\beta_{LA}$ ).

Resultados Clave

1. La aparente preferencia propia desaparece bajo control (Experimento 1)

En una comparación no controlada, siete de los diez jueces asignaron puntuaciones medias más altas a sus propias selecciones. Sin embargo, una vez que se controlaron la calidad de la selección y la severidad del juez mediante el modelo de efectos mixtos:

El efecto positivo de la preferencia propia desapareció en tres de los cuatro ejes de la rúbrica (Dimensionalidad, Coherencia, Capacidad de Relato).
En la dimensión de Originalidad, el efecto se revirtió: los jueces calificaron sus propias selecciones como menos originales que las de otros.
Conclusión: La brecha de preferencia propia observada en bruto en trabajos previos refleja en gran medida las diferencias en la calidad de la salida y la severidad del evaluador, más que un sesgo genuino hacia el contenido autogenerado.

2. Los rótulos por sí solos inducen un sesgo bidireccional (Experimento 2)

Cuando se introdujeron los rótulos de autoría, estos desplazaron sistemáticamente las puntuaciones independientemente de la fuente real del contenido:

Desplazamiento Bidireccional: El efecto del rótulo ( $\beta_L$ ) fue significativo y positivo en todas las dimensiones. Los jueces inflaron las puntuaciones para las selecciones etiquetadas como "propias" y las deflactaron para aquellas etiquetadas como "ajenas".
Independencia de la Fuente: La fuente real del contenido ( $\beta_A$ ) y la interacción entre el rótulo y la fuente ( $\beta_{LA}$ ) no fueron significativas. Esto confirma que el sesgo es impulsado por el rótulo en sí, no por el origen del contenido.
Patrones: Nueve de los diez jueces respondieron de manera diferencial a los rótulos. Seis exhibieron un patlo simétrico (inflar los rótulos propios y deflactar los ajenos). Otros mostraron variantes unidireccionales (por ejemplo, solo aumento para lo propio o solo penalización para lo ajeno).

Contribuciones

El artículo realiza dos contribuciones primarias:

La atribución de autoría como un motor distinto: El estudio proporciona evidencia directa de que los rótulos de propio/ajeno por sí solos pueden inducir un sesgo de evaluación bidireccional en los jueces de LLM. Al eliminar estructuralmente los factores de confusión estilísticos y controlar la calidad, los autores demuestran que el trabajo previo puede haber sobreestimado la prevalencia de una preferencia propia genuina.
Instrumento Metodológico: Los autores establecen que las tareas de código abierto y sin verdad de referencia (como la selección de restricciones narrativas) pueden servir como instrumentos controlados para estudiar el comportamiento de los jueces de LLM, aislando eficazmente los efectos de atribución de la calidad del contenido.

Significación y Reivindicaciones

Los autores argumentan que el mecanismo de la preferencia propia es más complejo de lo que se entendía anteriormente. Mientras que las teorías previas sugerían que la preferencia propia surge de pistas internas (por ejemplo, la familiaridad con la propia perplejidad o estilo), este estudio muestra que los marcos de atribución explícitos son suficientes para activar un sesgo sistemático.

Reversión del Sesgo: El hallazgo de que los jueces exhiben autodepreciación en la dimensión de "Originalidad" en condiciones ciegas, pero auto-inflación bajo rótulos de autoría, sugiere que las pistas de atribución externa pueden anular las evaluaciones intrínsecas del contenido.
Implicaciones para la Evaluación: Los resultados indican que los jueces de LLM son altamente susceptibles a las pistas de procedencia superficiales. En dominios de evaluación creativos o subjetivos donde no existe una verdad de referencia, la mera presencia de un rótulo de "propio" puede distorsionar significativamente la puntuación, comprometiendo potencialmente la validez de los sistemas de "LLM-as-a-judge" si la atribución no se gestiona cuidadosamente o si los rótulos son manipulados.

El artículo concluye con modestia, señalando que estos hallazgos se limitan actualmente a un dominio de selección creativa y que la generalizabilidad a tareas de razonamiento o seguimiento de instrucciones sigue siendo una pregunta abierta. También reconoce que los despliegues en el mundo real suelen implicar una atribución implícita en lugar de explícita, lo que justifica una mayor investigación sobre cómo podrían operar las pistas menos explícitas.