Resumen Técnico: ¿Soy más de tipo Punto o de tipo Par? Revelando el Sesgo de Posición en la Evaluación Basada en Rúbricas con LLM-como-Juez

Declaración del Problema

Mientras que los Modelos de Lenguaje Grande (LLMs) se utilizan cada vez más como evaluadores (LLM-as-a-Judge), la investigación previa se ha centrado predominantemente en los paradigmas de sesgo de punto (puntuación de una sola respuesta) y de par (selección comparativa). Este artículo identifica una fuente de sesgo previamente poco explorada en la evaluación basada en rúbricas, un paradigma donde los modelos asignan puntuaciones basadas en criterios explícitos y rangos de puntuación.

Los autores postulan que la evaluación basada en rúbricas funciona implícitamente como una tarea de opción múltiple: dado un texto, el LLM debe seleccionar la opción de la rúbrica que mejor se alinee con el contenido. En consecuencia, el orden de las opciones de puntuación (por ejemplo, "1. Peor" a "5. Perfecto") o el orden de múltiples criterios dentro de un mismo prompt puede inducir un sesgo de posición. A diferencia de los entornos de pares donde el intercambio de dos respuestas es una mitigación conocida, los entornos basados en rúbricas involucran múltiples opciones, lo que hace que los intercambios simples sean ineficaces. El artículo investiga si los LLMs exhiben preferencias sistemáticas por las opciones de puntuación o los criterios basándose únicamente en su posición en la lista del prompt, y si este sesgo afecta a las clasificaciones posteriores y a la alineación con humanos.

Metodología

El estudio emplea un protocolo de permutación equilibrada para desentrañar el valor semántico de las puntuaciones/criterios de su influencia posicional.

1. Configuraciones Experimentales:

   • Configuración 1 (Orden de las Opciones de Puntuación): El modelo evalúa un texto frente a una rúbrica con $n$ opciones de puntuación (ej. 1–5). El orden de estas opciones se permuta.
   • Configuración 2 (Orden de los Criterios): El modelo evalúa un texto frente a múltiples criterios (ej. Coherencia, Empatía). El orden de estos criterios se permuta.

2. Estrategia de Permutación Equilibrada:
   Para neutralizar el sesgo de posición, los autores construyen ordenamientos equilibrados donde cada puntuación o criterio aparece un número igual de veces en cada posición a través de múltiples ejecuciones de evaluación.

   • Para $n$ opciones, generan $2n$ ordenamientos utilizando rotaciones cíclicas hacia adelante y hacia atrás (ej. para 5 puntuaciones: [1,2,3,4,5], [2,3,4,5,1], ..., [5,4,3,2,1], [4,3,2,1,5]).
   • Esto asegura que si un modelo tiene una preferencia posicional (ej. favorecer la primera opción), esta se neutralice al agregar los resultados a través del conjunto equilibrado.

3. Estrategias de Comparación:
   Los autores comparan tres estrategias con presupuestos equivalentes:

   • BALANCED (Equilibrada): Las $2n$ rotaciones cíclicas.
   • RANDOM (Aleatoria): $K$ variantes ordenadas aleatoriamente (donde $K$ coincide con el presupuesto del conjunto equilibrado).
   • FIXED (Fija): Un único ordenamiento canónico repetido $K$ veces.

4. Conjuntos de Datos y Modelos:

   • Conjuntos de Datos: MT-Bench, Vicuna-Bench, HANNA (generación de historias) y SummEval (resumen).
   • Jueces: Seis modelos de pesos abiertos de tres familias (GPT-OSS, Qwen3.5, Gemma-3) con tamaños variables (9B a 120B).
   • Métricas: Pruebas de bondad de ajuste Chi-cuadrado ($\chi^2$) para uniformidad, $V$ de Cramér para la fuerza del sesgo, correlación de Pearson/Spearman con calificaciones humanas y $\tau$ de Kendall para la estabilidad del ranking descendente.

Resultados Clave

1. Existencia y Naturaleza del Sesgo de Posición

• Significancia Estadística: La evaluación basada en rúbricas exhibe un sesgo de posición estadísticamente significativo en todos los modelos y conjuntos de datos probados. El sesgo no es uniforme; es específico de cada modelo.
  • Algunos modelos (ej. GPT-OSS-20B) presentan un sesgo de primer elemento (prefieren la primera opción).
  • Otros (ej. Gemma-3-27B, Qwen3.5-27B) presentan un sesgo de último elemento (prefieren la última opción).
  • Algunos (ej. GPT-OSS-120B) son casi uniformes.
• Eje de Sesgo Ortogonal: Existe un segundo sesgo independiente respecto al orden de los criterios en prompts de múltiples criterios. La posición de un criterio afecta significativamente su puntuación asignada, pudiendo algunos criterios ganar hasta 0.80 puntos dependiendo de su ubicación.

2. Mitigación y Alineación Humana

• Permutación vs. Aleatorización: El estudio encuentra que la permutación equilibrada no ofrece una ventaja significativa sobre el ordenamiento aleatorio cuando el número de juicios agregados ($K$) es suficiente (ej. $K=10$). La mejora en la correlación con las puntuaciones humanas proviene principalmente de la reducción de la varianza (agregar ordenamientos distintos) más que de la eliminación mecánica del sesgo de posición.
• Mejora Condicional: La mitigación de sesgo (vía permutación) solo mejora la correlación humana para los modelos que exhiben un sesgo inicial fuerte. Para modelos con un sesgo inherente bajo, la permutación no genera ganancias significativas.
• Eficiencia de Presupuesto: Los beneficios de la agregación se saturan rápidamente. Para los modelos que se benefician, aproximadamente dos tercios de la mejora se logra con solo $K=3$ ordenamientos aleatorios, y el 85% con $K=5$.

3. Impacto en el Ranking Descendente

• Reversión de Ranking: Incluso si las correlaciones promedio de las puntuaciones con los humanos se mantienen similares, el sesgo de posición impacta significativamente en el ranking. Cambiar solo el orden de la rúbrica causó que el candidato en el primer lugar (top-1) cambiara en el 16% al 39% de los prompts a través de diferentes jueces.
• Implicaciones: Esta varianza es crítica para aplicaciones como la selección "Best-of-N", el Aprendizaje por Refuerzo a partir de Retroalimentación de IA (RLAIF) y los rankings de tablas de clasificación (leaderboards), donde el candidato específico seleccionado importa más que la puntuación promedio.

Significancia y Reivindicaciones

El artículo redefine la evaluación de LLM-como-Juez basada en rúbricas como un problema implícito de opción múltiple sujeto a un sesgo de posición medible y específico de cada modelo.

• Guía Práctica: Los autores argumentan que, si bien "eliminar el sesgo" es mecánicamente posible mediante permutaciones equilibradas, el objetivo práctico de mejorar la correlación humana se logra mejor mediante la aleatorización simple del orden de la rúbrica. Un pequeño número de permutaciones aleatorias ($K \approx 3$ a $5$) es suficiente para mitigar el error introducido por este sesgo para la mayoría de los modelos.
• Alcance del Impacto: El sesgo es más perjudicial en escenarios de selección (clasificación de candidatos) que en la puntuación absoluta. Los autores advierten que confiar en un único orden de rúbrica canónico puede conducir a decisiones descendentes inestables, incluso si el modelo parece imparcial en promedio.
• Limitaciones: El estudio se limita a modelos de pesos abiertos y no se extiende a los modelos de código cerrado más recientes ni a aplicaciones directas en procesos de entrenamiento de modelos debido a restricciones presupuestarias.

En conclusión, el artículo demuestra que el orden de la rúbrica es una fuente de ruido no trivial en la evaluación de LLMs. Aunque los protocolos de equilibrio complejos son teóricamente sólidos, una estrategia de bajo costo de agregar unos pocos variantes ordenados aleatoriamente es estadísticamente indistinguible del equilibrio exacto y reduce eficazmente el riesgo de reversión de ranking en aplicaciones prácticas.