💬 NLP

Evaluating Scoring Bias in LLM-as-a-Judge

Este artículo aborda el poco investigado problema del sesgo de puntuación en los sistemas de LLM como juez definiendo y cuantificando tres nuevos tipos de sesgo: sesgo por orden de rúbrica, sesgo por ID de puntuación y sesgo por puntuación de respuesta de referencia, y propone un marco integral para mitigarlos mediante un diseño mejorado de prompts y una evaluación automatizada.

Autores originales: Qingquan Li, Shaoyu Dou, Kailai Shao, Chao Chen, Haixiang Hu

Publicado 2026-05-22

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Qingquan Li, Shaoyu Dou, Kailai Shao, Chao Chen, Haixiang Hu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que has contratado a un robot profesor muy inteligente y automatizado para calificar ensayos. Este robot se supone que debe ser justo, objetivo y consistente. Le entregas el ensayo de un estudiante y una rúbrica (una lista de verificación de lo que hace que un ensayo sea bueno), y le asigna una puntuación del 1 al 5.

Este artículo trata sobre descubrir que incluso los robots profesores más inteligentes son en realidad bastante fáciles de engañar. No solo miran el ensayo; se confunden por cómo están redactadas las instrucciones, incluso si las instrucciones dicen exactamente lo mismo.

Aquí tienes el desglose de los hallazgos del artículo utilizando analogías simples:

El Problema Central: El Efecto "Magic 8-Ball"

Los investigadores descubrieron que si cambias ligeramente el formato de las instrucciones de calificación, sin alterar el significado real, la puntuación que el robot asigna al mismo ensayo puede cambiar drásticamente. Es como preguntar a un amigo: "¿Qué tal está esta película?" y obtener un "5 sobre 5" si preguntas con educación, pero un "2 sobre 5" si preguntas mientras estás de cabeza. La película no cambió, pero la respuesta sí.

El artículo se centra en el Sesgo de Puntuación, que ocurre cuando el robot otorga una puntuación absoluta diferente (como un 3 o un 4) simplemente porque el prompt fue modificado, no porque la respuesta haya cambiado.

Las Tres Maneras en que el Robot se Confunde

Los investigadores identificaron tres "trucos" específicos que alteran la calificación del robot:

El Sesgo del Orden del Menú (Orden de la Rúbrica):
Imagina un menú de restaurante. Por lo general, los aperitivos se listan primero, luego los platos principales. Si inviertes el menú para que los platos principales se listan primero, ¿cambia el sabor de la comida? No. Pero el robot profesor piensa que sí.
- El Hallazgo: Si las reglas de calificación se listan de "1 a 5" (de bajo a alto), el robot califica de manera diferente a como lo haría si se listaran de "5 a 1" (de alto a bajo) o en un orden aleatorio. El robot se confunde con la secuencia.
El Sesgo de la Etiqueta de Nombre (ID de Puntuación):
Por lo general, usamos números como 1, 2, 3, 4, 5. Pero, ¿qué pasaría si usáramos letras (A, B, C, D, E) o números romanos (I, II, III, IV, V)?
- El Hallazgo: El cerebro del robot reacciona de manera diferente a estos diferentes "nombres" para las puntuaciones. A veces, usar números romanos hace que el robot sea un mejor calificador; otras veces, lo hace peor. Es como si el robot tuviera un alfabeto favorito.
El Sesgo del "Ejemplo Perfecto" (Puntuación de la Respuesta de Referencia):
A veces, los profesores dan a los estudiantes un "ejemplo perfecto" de un ensayo para mostrar cómo se ve un "5". Los investigadores probaron qué sucede si asignan una puntuación a ese ejemplo.
- El Hallazgo: Si muestras al robot un ejemplo perfecto y lo etiquetas como "Puntuación 5", el robot se vuelve muy consistente y preciso. Sin embargo, si etiquetas ese mismo ejemplo perfecto como una "Puntuación 3", el robot se confunde y comienza a dar puntuaciones más bajas a todo lo demás, pensando: "Oh, si el ejemplo perfecto es solo un 3, entonces el ensayo de este estudiante debe ser terrible".

Los Experimentos: Probando a los Robots

Los investigadores probaron esto en varios "robots profesores" diferentes (modelos de IA), desde los más potentes (como GPT-4o) hasta los más pequeños y económicos.

Los Robots Grandes vs. Los Robots Pequeños: Los robots más potentes se confundían con menos facilidad. Eran como un profesor senior que conoce el material tan bien que invertir el orden del menú no los desestabiliza. Los robots pequeños eran como profesores estudiantes nerviosos; un cambio minúsculo en las instrucciones hacía que sus puntuaciones fluctuaran salvajemente.
La Sorpresa: ¡A veces, los "trucos" realmente ayudaban! Para algunos robots, usar números romanos o invertir el orden de las reglas los hacía calificar más con precisión que la forma estándar. Resulta que la forma "estándar" en la que los humanos suelen escribir los prompts no siempre es la mejor manera para los robots.

Las Soluciones: Cómo Arreglar la Calificación

Basándose en sus experimentos, los autores sugieren tres formas de hacer que estos jueces robots sean más confiables:

Contrata a los Robots Grandes: Si necesitas una calificación crítica (como para un trabajo o una escuela), utiliza el modelo de IA más potente disponible. Son naturalmente más estables y menos propensos a ser influenciados por trucos de formato.
Rompe las Reglas (Intencionalmente): No solo copies la lista estándar de "1 a 5". Prueba listar las reglas de "5 a 1", o usa letras en lugar de números. El artículo sugiere que hacer algo ligeramente "poco convencional" pero claro puede evitar realmente que el robot caiga en sus trampas habituales de sesgo.
Muestra el Ejemplo Perfecto (con un 5): Si vas a mostrarle al robot una respuesta "estándar de oro" para ayudarle a calificar, asegúrate de etiquetarlo como un "5" (la puntuación más alta). Esto ancla el pensamiento del robot y lo hace mucho más preciso.

La Conclusión

El artículo concluye que "LLM-como-Juez" (usar IA para calificar a la IA) no es tan objetivo como pensábamos. Los robots son sensibles a la presentación de las reglas, no solo a las reglas en sí mismas. Para obtener calificaciones justas, debemos tener mucho cuidado con cómo redactamos las instrucciones, quizás utilizando los modelos más potentes y diseñando nuestros prompts de maneras ligeramente diferentes a lo que estamos acostumbrados.

Resumen Técnico: Evaluación del Sesgo en la Puntuación con LLM como Juez

Definición del Problema

El paradigma "LLM como Juez" utiliza Modelos de Lenguaje Grandes (LLM) como evaluadores automatizados para proporcionar retroalimentación escalable en tareas complejas. Si bien la investigación existente ha investigado exhaustivamente los sesgos en las evaluaciones comparativas (por ejemplo, determinar cuál de dos respuestas es mejor), las evaluaciones basadas en puntuación —donde un LLM asigna una puntuación absoluta a una sola respuesta— permanecen poco investigadas. Los métodos basados en puntuación suelen ser más prácticos para aplicaciones industriales y análisis cuantitativo estandarizado.

Este trabajo identifica una brecha crítica: los jueces LLM basados en puntuación exhiben una inestabilidad significativa cuando sus instrucciones se perturban, incluso cuando el objetivo de la evaluación (la respuesta que se está puntuando) permanece sin cambios. Los autores definen el sesgo en la puntuación como el cambio medible en las puntuaciones que exhibe un juez LLM cuando se somete a perturbaciones en la propia instrucción de puntuación, en lugar de cambios en el objetivo de la evaluación.

Metodología

Marco de Evaluación

Los autores proponen un marco integral para cuantificar el sesgo en la puntuación, inspirado en trabajos anteriores sobre sesgo en las instrucciones. El marco implica:

Perturbación de Instrucciones: Modificar sistemáticamente los componentes no objetivo de la instrucción de puntuación mientras se mantiene constante la instancia del objetivo de evaluación ( $I$ ).
Métricas: Se utilizan tres dimensiones de evaluación:
- Estabilidad: Medida mediante la Tasa de Inversión (FP) (el porcentaje de muestras donde cambia la puntuación) y la Desviación Absoluta Media (MAD) entre las puntuaciones perturbadas y una línea base.
- Precisión: Medida mediante los coeficientes de correlación de Spearman ( $\rho$ ) y Pearson ( $r$ ) entre las puntuaciones del juez y las "puntuaciones doradas" (derivadas de LLM avanzados como GPT-4.1 y anotadores humanos).
- Tendencia de Puntuación: Analizada mediante histogramas de distribución de puntuaciones para detectar preferencias inherentes por categorías de puntuación específicas.

Tipos de Perturbación

El estudio introduce y define tres tipos novedosos de sesgo en la puntuación:

Sesgo por Orden de la Rúbrica: Alterar la secuencia de las descripciones de puntuación en la rúbrica (por ejemplo, ascendente 1–5, descendente 5–1, u orden aleatorio).
Sesgo por ID de Puntuación: Cambiar los identificadores utilizados para las puntuaciones (por ejemplo, números arábigos {1–5}, calificaciones alfabéticas {A–E}, o números romanos {i–v}).
Sesgo por Puntuación de la Respuesta de Referencia: Investigar el impacto de adjuntar puntuaciones específicas (1–5) a las respuestas de referencia proporcionadas en la instrucción, un factor previamente inexplorado en el contexto de la robustez.

Conjuntos de Datos y Modelos

Conjuntos de Datos: La evaluación utiliza cuatro benchmarks establecidos: BiGGen Bench, FLASK, MT Bench y Vicuna Bench. Para los conjuntos de datos que carecían de respuestas de referencia para todos los niveles de puntuación (BiGGen Bench y FLASK), los autores desarrollaron una tubería de síntesis de datos automática (bucle de generación-revisión) para crear respuestas de referencia para las puntuaciones 1 a 4.
Modelos Juez: Los experimentos se realizaron en un conjunto diverso de modelos, incluidos GPT-4o, DeepSeek-V3-671B, Qwen3-32B, Qwen3-8B y Mistral-Small-24B-Instruct.
Puntuaciones Doradas: GPT-4.1 se utilizó para generar puntuaciones doradas, validadas como las que tienen la mayor correlación con las anotaciones humanas entre los modelos probados.

Resultados Clave

1. Ubicuidad del Sesgo en la Puntuación

Incluso los LLM más avanzados sufren sesgos de puntuación sustanciales. Las perturbaciones en la estructura de las instrucciones conducen a inconsistencias significativas:

Estabilidad: Bajo perturbaciones, las Tasas de Inversión (FR) oscilaron entre ~16% y más del 46%, dependiendo del modelo y del tipo de perturbación. Por ejemplo, Qwen3-8B exhibió una FR del 46,22% en BiGGen Bench bajo una perturbación simple de orden de rúbrica descendente, lo que significa que casi la mitad de sus puntuaciones cambiaron.
Sensibilidad del Modelo: Los modelos más grandes y capaces (por ejemplo, GPT-4o, DeepSeek-V3) generalmente demostraron una mayor robustez (menor FR y MAD) en comparación con modelos más pequeños (por ejemplo, Qwen3-8B).

2. Impacto No Lineal en la Precisión

Contrario a la suposición de que el sesgo siempre es perjudicial, el estudio encontró que ciertas perturbaciones pueden mejorar la precisión de la puntuación en relación con las puntuaciones doradas:

ID de Puntuación: El uso de números romanos mejoró la precisión de GPT-4o, mientras que las calificaciones alfabéticas mejoraron la de DeepSeek-V3-671B. Por el contrario, estos cambios a menudo degradaron la precisión de otros modelos.
Orden de la Rúbrica: Los órdenes de rúbrica descendente mejoraron la precisión para DeepSeek-V3 y Mistral-Small, mientras que los órdenes aleatorios generalmente perjudicaron la precisión en todos los modelos.

3. Tendencias de Puntuación y Respuestas de Referencia

Preferencias Inherentes: Diferentes modelos exhiben distribuciones de puntuación distintas (por ejemplo, DeepSeek-V3-671B tendía a asignar puntuaciones altas, mientras que Mistral-Small favorecía la puntuación 4).
Impacto de las Respuestas de Referencia: La inclusión de una respuesta de referencia con una puntuación máxima (Puntuación 5) produjo consistentemente la mayor precisión de puntuación y estabilizó las tendencias de puntuación en todos los modelos. Por el contrario, las respuestas de referencia con puntuaciones más bajas (1–4) a menudo hicieron que los modelos "arrastraran" sus puntuaciones hacia la referencia, reduciendo la precisión.

Contribuciones Clave

Identificación de Sesgos Novedosos: El trabajo define formalmente e investiga tres sesgos de puntuación previamente no estudiados: sesgo por orden de la rúbrica, sesgo por ID de puntuación y sesgo por puntuación de la respuesta de referencia.
Marco de Evaluación: Propone el primer marco dedicado para cuantificar el sesgo en la puntuación, introduciendo una suite de métricas (estabilidad, precisión, tendencia) y una tubería de síntesis de datos automática para crear un corpus de evaluación adaptado.
Evidencia Empírica: El estudio proporciona evidencia empírica de que incluso los LLM más avanzados son susceptibles a estos sesgos, desafiando la fiabilidad de las prácticas actuales de puntuación automatizada.

Significado y Recomendaciones

El trabajo argumenta que la fiabilidad del "LLM como Juez" en aplicaciones industriales se ve comprometida por estos sesgos inducidos por las instrucciones. Los autores ofrecen perspectivas accionables para diseñar instrucciones de puntuación más robustas:

Selección de Modelos: Priorizar modelos más grandes y capaces para evaluaciones de alto riesgo para mitigar el sesgo.
Diseño de Instrucciones: Adoptar una "desviación intencional pero significativa de la convención". Esto incluye el uso de órdenes de rúbrica descendentes o identificadores no numéricos (como calificaciones alfabéticas) cuando sea apropiado, evitando al mismo tiempo la aleatorización caótica.
Respuestas de Referencia: Al utilizar respuestas de referencia, se recomienda una referencia con puntuación máxima (Puntuación 5) para maximizar la precisión y la estabilidad, alineándose con la lógica de métricas como BLEU y ROUGE.

El trabajo concluye que abordar el sesgo en la puntuación es esencial para la equidad y la fiabilidad de la evaluación automatizada con LLM, proporcionando una base para futuras investigaciones sobre estrategias de eliminación de sesgos y ingeniería de instrucciones robusta.