Quantifying the Statistical Effect of Rubric Modifications on Human-Autorater Agreement

Resumen Técnico: Cuantificación del Efecto Estadístico de las Modificaciones de la Rúbrica sobre el Acuerdo entre Humanos y Autoevaluadores

Declaración del Problema
Los autoevaluadores (LLM como jueces) se despliegan cada vez más para la evaluación y la moderación de contenidos debido a su escalabilidad y rentabilidad. Sin embargo, su fiabilidad se valida típicamente mediante el acuerdo con anotaciones humanas. Existe una brecha crítica en la comprensión de cómo las modificaciones a las rúbricas de evaluación —específicamente la transición de formatos holísticos (juicio global) a analíticos (criterios descompuestos), y la inclusión de ejemplos o contexto— afectan el acuerdo estadístico entre humanos y autoevaluadores. Si bien se sabe que las ediciones de la rúbrica mejoran la precisión de la puntuación individual ya sea para humanos o modelos de forma aislada, no está claro si estas modificaciones alinean a ambos evaluadores o introducen nuevas fuentes de desacuerdo. Además, la sensibilidad de los autoevaluadores a las variaciones del prompt (por ejemplo, sesgo de posición, sesgo de verbosidad, formato) sugiere que las rúbricas diseñadas para humanos pueden no ser óptimas para los modelos, y viceversa.

Metodología
El estudio investiga el acuerdo entre humanos y autoevaluadores en dos dominios distintos: Puntuación Automática de Ensayos (AES) y evaluación de Seguimiento de Instrucciones (IF).

• Conjuntos de datos:
  • AES: Se utilizó el conjunto de datos ASAP (Hamner et al., 2012) para puntuaciones holísticas y ASAP++ (Mathias y Bhattacharyya, 2018) para subcriterios analíticos. Se seleccionaron tres prompts de ensayo (1, 4 y 6) que representan complejidad variable y tipos de rúbrica (general vs. específica de la tarea).
  • IF: Se utilizó el conjunto de datos InfoBench (Qin et al., 2024), que proporciona tanto puntuaciones holísticas (escala de 1 a 5) como puntuaciones analíticas descompuestas (sí/no binario) para tareas de seguimiento de instrucciones.
• Autoevaluadores: Los experimentos emplearon GPT-4o-2024-11-20 y Llama-3.1-70B-Instruct. Las puntuaciones se calcularon utilizando un esquema de ponderación de probabilidades para derivar puntuaciones finales a partir de log-probabilidades.
• Diseño Experimental: El estudio manipuló la presentación de la rúbrica a lo largo de dos ejes:
  1. Tipo de Evaluador: Comparando el acuerdo Humano-Humano (HH) frente al acuerdo Humano-Autoevaluador (LLM) ($\Delta$Evaluador).
  2. Tipo de Rúbrica: Comparando rúbricas Holísticas vs. Analíticas ($\Delta$Rúbrica).
  • Modificaciones: Las rúbricas se editaron para incluir ejemplos representativos (3ex: alto, medio, bajo), contexto adicional y estrategias para mitigar el sesgo de posición (llamadas API separadas para cada subcriterio frente a llamadas agrupadas).
• Métricas de Acuerdo: Se utilizó el $\tau$ de Kendall con consideración de empates para medir el acuerdo ordinal. Para las rúbricas analíticas, las puntuaciones se agregaron utilizando dominancia de Pareto (para AES) o ratios de seguimiento de instrucciones (para IF) para permitir la comparación con puntuaciones holísticas. La significancia estadística se determinó mediante bootstrap con intervalos de confianza del 95% y correcciones de Bonferroni para comparaciones múltiples.

Contribuciones y Resultados Clave
El estudio proporciona evidencia empírica sobre cómo las elecciones específicas de ingeniería de rúbricas impactan la alineación entre la puntuación humana y automatizada:

1. Impacto de los Ejemplos y el Contexto:

   • Proporcionar ejemplos representativos e información contextual en rúbricas analíticas editadas aumentó significativamente el acuerdo humano-autoevaluador para tareas AES al utilizar GPT-4o.
   • Estas ediciones también mejoraron el autoacuerdo del autoevaluador (consistencia entre diferentes tipos de rúbrica), superando a menudo los niveles de acuerdo humano-humano en condiciones específicas.
   • En tareas IF, el efecto de los ejemplos fue mixto; mientras que Llama mostró mejora, el acuerdo de GPT-4o no aumentó consistentemente, lo que sugiere dependencia del dominio.

2. Descomposición Holística vs. Analítica:

   • Descomponer juicios holísticos en subcriterios analíticos no mejoró universalmente el acuerdo. En AES, las rúbricas analíticas mejoraron el acuerdo para prompts complejos (Prompt 1) pero a veces lo disminuyeron para prompts más simples (Prompts 4 y 6), probablemente debido a la mayor carga cognitiva o complejidad de agregación.
   • En IF, los prompts analíticos generalmente resultaron en un acuerdo más bajo que los prompts holísticos, potencialmente debido a las limitaciones de los métodos de agregación basados en ratios, que no capturan los pesos variables de los subcriterios inherentes al juicio humano holístico.

3. Mitigación del Sesgo:

   • Reducir el sesgo de confirmación evaluando subcriterios en llamadas API separadas (en lugar de un único prompt agrupado) mejoró significativamente el acuerdo para ambos modelos en tareas AES e IF.
   • Los prompts agrupados exhibieron un sesgo hacia respuestas "sí" en tareas IF binarias, desviándose de las distribuciones de respuesta humana.

4. Papel del Acuerdo Inter-Evaluador Humano:

   • Un alto acuerdo inter-evaluador humano fue un fuerte predictor de un alto acuerdo humano-autoevaluador. Cuando los anotadores humanos discrepaban significativamente, la alineación del autoevaluador con la puntuación humana agregada disminuyó, particularmente en tareas IF.

Significancia y Afirmaciones
Los autores afirman que diseñar autoevaluadores fiables requiere una comprensión matizada de la interacción entre el dominio, el tipo de rúbrica y las características del evaluador. Los hallazgos sugieren que:

• Las Ediciones de la Rúbrica Importan: Añadir ejemplos y contexto, y reducir el sesgo de posición (mediante llamadas separadas), son estrategias efectivas para aumentar el acuerdo humano-autoevaluador, pero su eficacia depende del dominio y el modelo específicos.
• La Descomposición No es una Panacea: Simplemente descomponer rúbricas holísticas en partes analíticas no garantiza una mejor alineación; la complejidad de la tarea de evaluación y el método de agregación utilizado son factores moderadores críticos.
• La Consistencia Humana es Fundamental: Un alto acuerdo inter-evaluador humano es un prerrequisito para un alto acuerdo humano-autoevaluador. Las rúbricas sirven como la herramienta principal para establecer la "verdad fundamental" necesaria para entrenar y evaluar autoevaluadores.

El documento concluye que los profesionales deben analizar cuidadosamente el rendimiento específico del dominio y adaptar las modificaciones de la rúbrica (por ejemplo, selección de ejemplos, reducción de sesgos) en lugar de aplicar un enfoque de talla única al diseño de rúbricas para la evaluación automatizada.

Limitaciones
Los autores reconocen que los hallazgos se limitan a dos dominios (AES e IF) y dos autoevaluadores específicos. El estudio se basa en conjuntos de datos existentes en lugar de una recopilación controlada de anotaciones humanas, lo que puede introducir variabilidad en la experiencia de los anotadores. Además, el alcance se restringe a tareas en inglés de alto recurso, dejando sin explorar la generalización a otros idiomas y contextos de evaluación (por ejemplo, resumen, diálogo).