From Rubrics to Reliable Scores: Evidence-Grounded Text Evaluation with LLM Judges

Resumen Técnico: De las Rúbricas a Puntuaciones Confiables (RULERS)

Formulación del Problema
El artículo aborda el desafío de utilizar Modelos de Lenguaje Grandes (LLM) congelados y de caja negra como jueces para la evaluación de textos basada en rúbricas. Aunque los LLM ofrecen escalabilidad, alinearlos con los estándares de puntuación humana sigue siendo difícil debido a tres modos de fallo recurrentes:

1. Deriva en la Ejecución de la Rúbrica: La misma rúbrica se reinterpreta de manera diferente en el momento de la inferencia debido a variaciones en la redacción del prompt, el orden de los criterios o el modelo base, lo que conduce a definiciones de criterios inestables y límites de puntuación fluctuantes.
2. Atribución de Puntuación Inverificable: Las puntuaciones o las justificaciones a menudo se generan sin evidencia que pueda verificarse contra el texto de entrada, lo que hace que las explicaciones de forma libre sean potencialmente infieles o insuficientes para una evaluación confiable.
3. Desalineación a Escala Humana: Las puntuaciones crudas del modelo, los juicios de rasgos o las señales de confianza a menudo no coinciden con las distribuciones de puntuación específicas y las convenciones de límites utilizadas por los evaluadores humanos.

Los autores enmarcan esto no meramente como una tarea de ingeniería de prompts, sino como un problema de transferencia de criterios: el objetivo es transferir la intención de una rúbrica redactada por humanos a un protocolo de puntuación estable, auditable y alineado con humanos para un LLM congelado sin actualizar los parámetros del modelo.

Metodología: El Marco RULERS
El artículo introduce RULERS, un marco de tres etapas en tiempo de inferencia diseñado para abordar los modos de fallo identificados sin ajustar fino el modelo juez.

• Fase I: Especificación y Bloqueo de la Rúbrica
  La rúbrica en lenguaje natural redactada por humanos ($R$) se convierte en un paquete de nivel de tarea estructurado, reutilizable y "bloqueado" ($B$). Este paquete incluye:

  • Rasgos de evaluación ($T$).
  • Una lista de verificación operativa ($C$) donde cada elemento se asigna a una escala de decisión (0, 1, 2) y un tipo de fundamentación de evidencia.
  • Anclas de puntuación específicas de la tarea y descripciones de límites ($S$).
  • Reglas de evidencia ($E$) que definen cómo deben anclarse las citas al texto de entrada.
    Una vez inducido, el paquete se serializa, se hash y se reutiliza sin cambios para todas las instancias de la tarea, evitando la reinterpretación en tiempo de ejecución de los criterios.

• Fase II: Ejecución de la Rúbrica Fundamentada en Evidencia
  El juez congelado ejecuta el paquete bloqueado contra el texto de entrada ($x$), que se segmenta en unidades atómicas. El modelo produce una salida estructurada que contiene:

  • Decisiones de la lista de verificación ($d$).
  • Evidencia citada ($E_x$) que debe satisfacer operadores específicos (por ejemplo, citas textuales de oraciones, rangos de párrafos o diagnósticos a nivel de documento) según el tipo de elemento de la lista de verificación.
  • Indicadores auxiliares de verificación.
    El sistema verifica que la evidencia citada esté fundamentada en el texto de entrada (por ejemplo, comprobando si una cita aparece realmente en la oración citada). Esta etapa agrega las decisiones en puntuaciones de rasgos crudas y genera señales estructuradas para la calibración.

• Fase III: Alineación de Distribución a Escala Humana
  Para abordar la desalineación, un paso de calibración posterior ligero mapea las señales estructuradas del modelo a la escala de puntuación humana.

  • Se ajusta un modelo de regresión de cresta de segundo orden en un conjunto de calibración etiquetado ($D_{cal}$) para predecir una puntuación latente ($z$) a partir de las características estructuradas.
  • Una alineación de distribución monótona (mapeo de cuantiles) transforma la puntuación latente para que coincida con la función de distribución acumulada empírica de las puntuaciones humanas.
  • Este mapeo se fija después de la calibración y se aplica a las instancias de prueba retenidas.

Contribuciones Clave

1. Formulación del Problema: Los autores replantean la evaluación basada en rúbricas como un problema de transferencia de criterios, desplazando el enfoque de si los LLM pueden entender rúbricas hacia si la intención de la rúbrica puede transferirse a procedimientos estables y auditable.
2. Marco RULERS: Proponen un protocolo unificado que combina el bloqueo de rúbricas, la ejecución fundamentada en evidencia y la calibración a escala humana. Este enfoque se dirige específicamente a la deriva en la ejecución, la atribución inverificable y la desalineación de escala.
3. Validación Empírica: El marco se evalúa en cuatro benchmarks diversos gobernados por rúbricas (ASAP 2.0, SummHF, DREsS, WebNLG) y múltiples modelos base congelados (GPT-4o, Llama-3.1).

Resultados

• Alineación Humana: RULERS logra un acuerdo más fuerte con las puntuaciones humanas (medido por el Kappa Ponderado Cuadrático, QWK) en la mayoría de los escenarios evaluados en comparación con líneas base como Puntuación Holística Directa (DHS), Especialización de Rasgos Múltiples (MTS) y CheckEval.
• Alineación Distribucional: El método coincide mejor con las distribuciones empíricas de puntuaciones humanas, preservando tanto la masa central como la dispersión de las calificaciones, y muestra mayor estabilidad a través de diferentes modelos base.
• Robustez: RULERS demuestra robustez ante perturbaciones de rúbricas semánticamente equivalentes (por ejemplo, reordenar criterios o parafrasear), mientras que las líneas base que dependen de la redacción cruda del prompt muestran caídas significativas en el rendimiento.
• Estudios de Ablación: Eliminar cualquiera de las tres fases (bloqueo, fundamentación de evidencia o alineación de distribución) degrada el rendimiento, confirmando que todos los componentes contribuyen a los resultados finales.
• Control de Calibración: Los experimentos muestran que aplicar el paso de calibración solo a las salidas de la línea base no reproduce completamente las ganancias de RULERS, lo que indica que las señales estructuradas y fundamentadas en evidencia aguas arriba son cruciales.

Significado y Afirmaciones
El artículo afirma que la evaluación confiable por LLM requiere criterios fijos, evidencia rastreable e interpretación de puntuación calibrada en lugar de la redacción del prompt o la escala del modelo por sí solos. Al tratar la rúbrica como una estructura de puntuación latente y transferirla a un protocolo bloqueado, RULERS proporciona una alternativa escalable, auditable y alineada con humanos a las métricas tradicionales basadas en referencias y a la promp-tación no estructurada de LLM. Los autores enfatizan que este marco está diseñado para jueces congelados y de caja negra, lo que lo hace aplicable a modelos comerciales sin necesidad de ajuste fino específico de la tarea.

Limitaciones Notadas por los Autores
Los autores reconocen que RULERS depende de la calidad de la rúbrica fuente (la operacionaliza pero no corrige rúbricas defectuosas), se basa en la capacidad del modelo base congelado elegido y requiere un conjunto de calibración etiquetado para la etapa de alineación. También señalan que la generalización a dominios o formatos de rúbrica sustancialmente diferentes requiere una reespecificación y recalibración.