Quantifying and Predicting Disagreement in Graded Human Ratings

Resumen Técnico: Cuantificación y Predicción del Desacuerdo en Calificaciones Humanas Graduales

Enunciado del Problema
Los anotadores humanos frecuentemente muestran desacuerdo en tareas de Procesamiento del Lenguaje Natural (PLN), particularmente en dominios socialmente sensibles como la detección de discurso de odio, lenguaje ofensivo y contenido tóxico. Si bien se reconoce que la variación en la anotación es inherente, el grado de esta divergencia no es uniforme en todas las instancias. Algunos ítems elicitan un consenso fuerte, mientras que otros desencadenan una divergencia significativa de opiniones o posturas opuestas. La literatura actual a menudo trata el desacuerdo como un problema de predicción categórica (por ejemplo, clasificación binaria de si existe desacuerdo) o se centra en etiquetas de tareas específicas (por ejemplo, implicación en NLI). Existe una falta de investigación que examine si el grado de incertidumbre en la anotación y la estructura completa de las distribuciones de anotación de granularidad fina (específicamente calificaciones en escala Likert) pueden inferirse únicamente a partir de características textuales a nivel de ítem. Además, las métricas estándar para la forma de la distribución (como los coeficientes de bimodalidad) a menudo fallan cuando se aplican a datos de anotación dispersos (por ejemplo, 3–5 anotadores por ítem).

Metodología
Los autores investigan la predictibilidad de la variación en la anotación utilizando tres conjuntos de datos anotados con calificaciones en escala Likert: Lenguaje Ofensivo (escala de 3 puntos), Discurso de Odio (escala de 3 puntos) y Toxicidad (escala de 5 puntos). El estudio se centra en dos objetivos principales:

1. Inferencia de la Varianza de Calificación: Estimar la varianza imparcial de las respuestas de los anotadores para un ítem dado basándose en sus características textuales.
2. Identificación de Opiniones Opuestas: Detectar instancias donde los anotadores sostienen posturas genuinamente conflictivas (polarización).

Para abordar estos objetivos, los autores proponen dos enfoques de predicción:

• Predicción Directa de Varianza: Entrenar un modelo de regresión para predecir el valor de la varianza ($\sigma^2$) directamente a partir de las características del ítem.
• Predicción Basada en Distribución: Entrenar modelos para predecir la distribución completa de calificaciones Likert ($p_i$) para un ítem, de la cual se derivan la varianza y otras estadísticas.

El estudio emplea varias funciones de pérdida adaptadas a la naturaleza ordinal de los datos Likert, yendo más allá de la entropía cruzada categórica estándar:

• Distancia del Movimiento de la Tierra (EMD): Cuenta la distancia ordinal entre las categorías de calificación.
• EMD con Regularización de la Media: Combina EMD con un término de error cuadrático medio sobre la calificación esperada para restringir la tendencia central.
• Entropía Cruzada Acumulativa Ordinal: Transforma el problema de múltiples clases en $K-1$ decisiones binarias.
• Divergencia de Kullback–Leibler (KL): Utilizada como línea base para la representación de etiquetas suaves sin consideración explícita de la distancia ordinal.

Para cuantificar las posturas opuestas, los autores introducen el Índice de Oposición. Esta métrica divide la distribución de calificaciones en segmentos bajos, medios y altos ($P_{low}, P_{mid}, P_{high}$). El índice se define como $2 \cdot \min(P_{low}, P_{high}) \cdot (1 - P_{mid})$. Oscila entre 0 (consenso/unimodal) y 1 (polarización máxima, donde la mitad de los anotadores eligen la calificación más baja y la mitad la más alta).

Contribuciones Clave

• Índice de Oposición: Una métrica novedosa diseñada para cuantificar la oposición de perspectivas en configuraciones de anotación dispersas donde las pruebas de bimodalidad tradicionales son inestables.
• Modelado Distribucional: Una demostración de que predecir la distribución completa de Likert (utilizando funciones de pérdida conscientes de la ordenación) es una alternativa viable a la regresión directa de varianza, a menudo recuperando la estructura de la variación de anotación de manera más robusta.
• Análisis Empírico de la Polarización: Una investigación detallada sobre la predictibilidad de los ítems de alta oposición, revelando desafíos específicos en el modelado de la polarización extrema.

Resultados

• Predicción de Varianza: Existe una correlación positiva moderada (Spearman's $r \approx 0.3$ a $0.45$) entre la varianza de anotación estimada y la observada en todos los conjuntos de datos.
  • Rendimiento: La regresión directa de varianza y la predicción basada en distribución (específicamente utilizando EMD+MSE) logran un rendimiento comparable. EMD+MSE supera consistentemente a los modelos estándar EMD y KL-soft.
  • Limitaciones: Los modelos tienden a subestimar los ítems de alta varianza y rara vez predicen valores de varianza exactamente 0, concentrando a menudo las predicciones en un rango medio.
• Predicción de Postura Opuesta: Los modelos distinguen con éxito entre ítems sin oposición y aquellos con oposición moderada. Sin embargo, tienen dificultades con la polarización extrema.
  • Subestimación: Los ítems con valores altos del Índice de Oposición real (acercándose a 1) son frecuentemente subestimados por los modelos, con puntuaciones predichas que a menudo se estabilizan en un rango medio (aprox. 0.4).
  • Causas: Esta subestimación se atribuye a la escasez de ejemplos altamente polarizados en los datos de entrenamiento, a la sensibilidad del índice al ruido en la anotación y al hecho de que la oposición extrema puede derivar de factores (ideología, experiencia personal) no inferibles solo del texto.
• Detección de Desacuerdo: Los modelos logran un rendimiento sólido (F1 > 0.6) en la detección de la presencia de cualquier variación de anotación, aunque el rendimiento varía ligeramente según el conjunto de datos y la función de pérdida.

Significado y Afirmaciones
El artículo afirma que los patrones de anotación a nivel de ítem, específicamente la varianza y la oposición de posturas, pueden inferirse parcialmente a partir de características textuales, aunque con una correlación moderada. Los autores posicionan su trabajo como un paso hacia la caracterización de las estructuras de la variación de anotación humana.

El significado principal radica en la optimización práctica del flujo de trabajo de anotación. Al identificar ítems que probablemente elicitarán una divergencia sustancial de opiniones, los investigadores pueden asignar recursos de manera más eficiente: asignando más anotadores a casos controvertidos o de divergencia de perspectivas para capturar puntos de vista latentes, mientras reducen el esfuerzo en ítems con un consenso fuerte. El estudio también destaca las limitaciones de los modelos actuales para capturar la polarización extrema, sugiriendo que las características puramente basadas en texto pueden ser insuficientes para modelar completamente el juicio humano en dominios socialmente complejos. Los autores permanecen modestos, señalando que los modelos de incrustación pueden no capturar todas las pistas lingüísticas y que la naturaleza discreta de los datos de Likert dispersos limita la granularidad de las estimaciones distribucionales.