Improving Reproducibility in Evaluation through Multi-Level Annotator Modeling

Resumen Técnico: Mejora de la Reproducibilidad en la Evaluación mediante Modelado de Anotadores a Múltiples Niveles

Enunciado del Problema
La rápida proliferación de la IA generativa (GenAI) ha puesto de manifiesto una crisis crítica de reproducibilidad en la evaluación del aprendizaje automático. Los protocolos de evaluación actuales suelen basarse en benchmarks donde cada entrada se empareja con una única salida de "estándar de oro", un paradigma que no tiene en cuenta la estocasticidad inherente de la inferencia ni la varianza subjetiva introducida por los anotadores humanos. Las prácticas estándar suelen agregar de 3 a 5 anotaciones por elemento en una única etiqueta, tratando efectivamente el desacuerdo entre evaluadores como ruido en lugar de una señal de complejidad subjetiva. Además, los enfoques estadísticos existentes a menudo asumen que las anotaciones para diferentes elementos son independientes, ignorando la realidad de que los mismos anotadores califican frecuentemente múltiples elementos. Este fracaso en modelar la dependencia jerárquica entre evaluadores y elementos conduce a una sobreestimación del poder estadístico, resultando en valores p subestimados y conclusiones potencialmente poco fiables sobre el rendimiento del modelo.

Metodología
Para abordar estas limitaciones, los autores proponen un marco de re-muestreo (bootstrapping) de múltiples niveles diseñado para modelar de manera realista el comportamiento y la varianza de los anotadores. El estudio utiliza tres conjuntos de datos del mundo real que contienen identificadores de evaluadores persistentes y múltiples anotaciones por elemento: DICES 350 (matriz totalmente cruzada), el conjunto de datos de Toxicidad de Stanford (anotaciones por lotes) y D3code (anotaciones interculturales).

La innovación metodológica central implica tres estrategias distintas de muestreo no paramétrico (S1, S2, S3) implementadas dentro de un marco de simulación basado en el Kit de Estimación de Varianza (VET):

• S1 (Muestrear Elementos y Evaluadores): Asume un diseño totalmente cruzado donde los elementos y los evaluadores se muestrean independientemente con reemplazo. Este enfoque ignora la dependencia de los evaluadores a través de los elementos.
• S2 (Muestrear Elementos y Evaluadores dentro de un Elemento): Muestrea elementos con reemplazo y luego muestrea evaluadores específicamente del grupo de evaluadores que anotaron ese elemento particular. Esto modela la realidad de que los evaluadores anotan subconjuntos de elementos, pero no impone estructuras de lotes.
• S3 (Muestrear Lotes Estratificados): Muestrea lotes de elementos anotados por el mismo conjunto de evaluadores y luego re-muestrea elementos y evaluadores dentro de esos lotes. Esto captura el comportamiento específico del lote de los evaluadores.

El marco de simulación genera datos para un estándar de oro (G) y dos modelos (A y B), donde el Modelo B se perturba en una pequeña cantidad ($\epsilon$) para simular una diferencia de rendimiento. Luego se aplican Pruebas de Significancia de la Hipótesis Nula (NHST) para comparar el Modelo A y el Modelo B bajo estos diferentes regímenes de muestreo, observando cómo cambian los valores p y los tamaños de muestra requeridos (N elementos, K evaluadores).

Contribuciones Clave

1. Modelado a Múltiples Niveles: El artículo introduce un marco que cuenta explícitamente con la estructura jerárquica de las interacciones evaluador-elemento, superando la asunción de independencia condicional entre elementos.
2. Análisis Empírico de Compensaciones: El estudio analiza sistemáticamente las compensaciones entre el número de elementos ($N$) y el número de respuestas por elemento ($K$) requeridas para lograr significancia estadística bajo diferentes supuestos de muestreo.
3. Sensibilidad de la Métrica: Los autores evalúan ocho métricas distintas (incluyendo Precisión, MAE, Victorias, Precisión, Recall, Puntuación F1, Divergencia KL y Distancia Jensen-Shannon) para determinar cómo responden diferentes medidas de evaluación al modelado de la varianza de los evaluadores.

Resultados
Los resultados experimentales demuestran que no tener en cuenta el comportamiento de los evaluadores a través de los elementos conduce a subestimaciones sustanciales de los valores p, inflando así el poder estadístico percibido de un conjunto de datos.

• Impacto del Modelado: Al comparar S1 (muestreo independiente) con S2 (muestreo de evaluadores específico por elemento), S2 produce consistentemente valores p más bajos y requiere presupuestos más altos para lograr significancia. Por ejemplo, en el conjunto de datos DICES con la métrica de Precisión, el valor p bajó de 0.045 (S1) a 0.019 (S2) con un presupuesto fijo de $N \times K = 5000$.
• Requisitos de Presupuesto: Tener en cuenta la varianza de los evaluadores aumenta el presupuesto total de anotación ($N \times K$) requerido para obtener pruebas de significancia de la hipótesis nula fiables. Por ejemplo, en el conjunto de datos de Toxicidad, lograr significancia para la Precisión requirió un presupuesto de 500 bajo S2, pero esto aumentó cinco veces hasta 2500 bajo el enfoque de lotes estratificados (S3).
• Óptimo K vs. N: El estudio encuentra que aumentar el número de respuestas por elemento ($K$) es a menudo más crítico para lograr significancia que aumentar el número de elementos ($N$), particularmente para métricas sensibles a la distribución como MAE y JSD. En varios casos, los valores óptimos de $K$ cambiaron de 40 a 100 al pasar del modelado S1 al S2.
• Efectos del Submuestreo: Los experimentos de submuestreo del conjunto de datos DICES a 5 evaluadores mostraron que grupos pequeños de evaluadores conducen a una separación en las distribuciones de valores p a través de los presupuestos, lo que sugiere que la diversidad limitada de evaluadores impacta significativamente la estabilidad de la estimación.

Significancia y Afirmaciones
El artículo argumenta que la dependencia actual de recuentos pequeños de anotaciones (3–5 por elemento) y la agregación de etiquetas en un único "estándar de oro" oscurece la verdadera varianza en el juicio humano. Al demostrar que tener en cuenta el comportamiento de los evaluadores resulta en estimaciones de valores p más altas, los autores afirman que muchas evaluaciones anteriores pueden haber tenido un poder estadístico insuficiente o haber sido falsamente significativas.

Los autores concluyen que, para garantizar la seguridad y la confiabilidad de los sistemas de GenAI, los conjuntos de datos de evaluación deben ir más allá de las "arquitecturas de voto mayoritario". Recomiendan que los creadores de conjuntos de datos aumenten el número de anotadores que responden a cada entrada (mayor $K$) y proporcionen datos desagregados a nivel de anotador. Si bien reconocen que esto aumenta los costos de evaluación, el artículo postula que esta inversión es necesaria para capturar la distribución completa de las respuestas humanas y evitar marginar las opiniones minoritarias. El trabajo proporciona una hoja de ruta estratégica para optimizar los presupuestos de anotación ($N \times K$) y lograr evaluaciones de IA rigurosas, repetibles y estadísticamente sólidas.