Contrastive Decoding Mitigates Score Range Bias in LLM-as-a-Judge

1. El Problema: Sesgo del Rango de Puntuación (Score Range Bias)

El artículo identifica un desafío crítico en el uso de Modelos de Lenguaje Grande (LLM) como jueces automáticos para la evaluación directa (asignación de puntuaciones numéricas sin referencias de comparación).

• Definición del Sesgo: Se descubre que los LLMs como jueces sufren de un sesgo de rango de puntuación. Esto significa que la correlación entre las evaluaciones del LLM y las anotaciones humanas cambia drásticamente dependiendo del rango numérico predefinido (ej. 0-4, 1-5, 2-6, 3-7), incluso cuando se evalúa el mismo contenido.
• Manifestación: Los modelos tienden a favorecer puntuaciones específicas dentro de un rango dado, independientemente de la calidad real del texto. Por ejemplo, en el rango 2-6, ciertos modelos de la familia Llama tienden a saturar la puntuación en "4", mientras que los de la familia Qwen2.5 tienden a saturar en "2".
• Consecuencia: Este comportamiento hace que la evaluación sea inestable y poco fiable si se cambia el esquema de puntuación estándar (usualmente 1-5), limitando la utilidad de los LLMs como jueces en configuraciones flexibles.

2. Metodología: Decodificación Contrastiva (Contrastive Decoding)

Para mitigar este sesgo, los autores proponen una estrategia basada en la Decodificación Contrastiva, adaptada para cancelar los sesgos compartidos entre modelos de la misma familia.

• Mecanismo: Se utilizan dos modelos:
  1. Modelo Principal ($p_{main}$): El modelo que realiza la evaluación.
  2. Modelo Asistente ($p_{asst}$): Un modelo más pequeño de la misma familia (ej. Llama-3.2-3B como asistente para Llama-3.1-8B).
• Fórmula de Ajuste: En lugar de usar solo la probabilidad del modelo principal, se ajusta la distribución de logits restando la probabilidad del asistente ponderada por un hiperparámetro $\lambda$:
  $$\text{Logit}_{final} = \log p_{main} - \lambda \log p_{asst}$$
• Fundamento Teórico: La hipótesis central es que los modelos de la misma familia comparten sesgos similares (como la preferencia por ciertos números en rangos específicos). Al usar un modelo más pequeño como asistente, se puede "cancelar" o restar este sesgo compartido del modelo principal, resultando en una distribución de puntuaciones más alineada con la realidad humana.
• Hiperparámetros: Se realiza una búsqueda en cuadrícula (grid search) para optimizar $\lambda$ (escala del asistente) y la temperatura $t$ para cada combinación de modelos y rangos de puntuación.

3. Contribuciones Clave

1. Identificación del Sesgo: Demostración empírica de que el sesgo de rango de puntuación existe a través de diferentes tamaños de modelo (desde 1B hasta 14B) y familias (Llama-3 y Qwen-2.5) en tareas de resumen.
2. Análisis de Logits: Se revela que los modelos de la misma familia codifican sesgos similares en sus distribuciones de logits iniciales (ej. el logit para la puntuación "2" es anormalmente alto en modelos Qwen pequeños y grandes), lo que valida el uso de modelos más pequeños para corregir a los más grandes.
3. Solución Efectiva: La implementación de la decodificación contrastiva logra mitigar significativamente este sesgo, estabilizando la correlación con juicios humanos independientemente del rango de puntuación utilizado.

4. Resultados Experimentales

Los experimentos se centraron en la tarea de resumen (usando el dataset SummEval) y se evaluaron las correlaciones de Pearson, Spearman y Kendall con anotaciones humanas.

• Mejora en Correlación: La decodificación contrastiva logró una mejora relativa promedio de hasta el 11.7% en la correlación de Spearman con juicios humanos a través de diferentes rangos de puntuación.
  • Ejemplo específico: En el rango 2-6 para la familia Llama, la correlación mejoró de .270 (modelo 8B solo) a .310 (con contraste), y en Qwen 14B de .392 a .438.
• Estabilidad: Mientras que los modelos individuales sufren caídas drásticas en correlación al cambiar el rango (ej. de 1-5 a 2-6), el enfoque contrastivo mantiene una correlación estable y robusta.
• Elección del Modelo Asistente:
  • Los modelos asistentes más pequeños (ej. 1B o 3B) funcionaron mejor que los más grandes (ej. 7B o 14B).
  • El uso de un asistente demasiado grande (como Qwen 14B-7B) degradó el rendimiento, penalizando los logits correctos del modelo principal. Esto sugiere que el asistente debe ser lo suficientemente pequeño para capturar el "ruido" o sesgo sin dominar la señal del modelo principal.
• Robustez: El método funcionó consistentemente en múltiples métricas de resumen (coherencia, relevancia, consistencia) y en diferentes conjuntos de datos (incluyendo BigGen-Bench).

5. Significado e Impacto

• Fiabilidad en Evaluación: Este trabajo proporciona una solución práctica para hacer que la evaluación automática mediante LLMs sea más confiable y menos dependiente de la configuración específica del rango de puntuación.
• Expansión de Escenarios: Al mitigar el sesgo, se habilita el uso de LLMs como jueces en rangos de puntuación no estándar (como 0-4 o 3-7), lo cual es crucial para aplicaciones donde el esquema de puntuación puede variar según el dominio.
• Eficiencia Computacional: Aunque la decodificación contrastiva requiere dos pasadas forward (principal + asistente), el artículo nota que esto se alinea con técnicas existentes de inferencia como la decodificación especulativa, donde ya se ejecutan modelos pequeños para acelerar el proceso, haciendo que el costo adicional sea manejable en entornos de producción.

En conclusión, el paper demuestra que los sesgos en los LLMs no son aleatorios, sino estructurales y compartidos dentro de familias de modelos, y que explotar esta similitud mediante decodificación contrastiva es una estrategia efectiva para mejorar la alineación con el juicio humano.