Who and What? Using Linguistic Features and Annotator Characteristics to Analyze Annotation Variation

Resumen Técnico: Quién y Qué? Utilizando Características Lingüísticas y Características de los Anotadores para Analizar la Variación en la Anotación

Declaración del Problema
La variación en las etiquetas humanas es un fenómeno central en el Procesamiento del Lenguaje Natural (PLN), particularmente en tareas subjetivas como la detección de lenguaje dañino. Los cambios recientes en las prácticas de recopilación de datos se han orientado hacia el aumento del número de anotadores y la publicación de conjuntos de datos desagregados para capturar las decisiones de etiquetado individuales en lugar de agruparlas en una única etiqueta "de oro". Si bien esto proporciona datos ricos sobre quién anotó (sociodemografía, actitudes), el qué (propiedades lingüísticas de los elementos) y la interacción entre ambos han recibido una atención limitada. La investigación existente a menudo no tiene en cuenta la estructura cruzada-clasificada de los datos de anotación (donde los elementos y los anotadores son factores no anidados) y frecuentemente ignora las interacciones entre las características de los anotadores y las características de los elementos. Este artículo aborda la brecha en la comprensión de "quién difiere en su percepción de qué" mediante un análisis a gran escala y fundamentado de la variación en la anotación a través de cuatro conjuntos de datos de referencia.

Metodología
Los autores analizan cuatro conjuntos de datos en inglés sobre lenguaje dañino (CTDP, MHS, POPQUORN, D3CODE), que comprenden más de 25.000 elementos, 8.000 anotadores y 205.000 anotaciones. El estudio emplea un marco de regresión multinivel bayesiano con los siguientes componentes clave:

1. Estructura de los Datos: Los modelos tienen en cuenta la estructura de datos parcialmente cruzada-clasificada mediante la inclusión de interceptos aleatorios tanto para los anotadores como para los elementos. Esto aborda la variación sistemática presente en ambos niveles.
2. Ingeniería de Características:
   • Características de los Anotadores: Hasta 19 características por conjunto de datos, que incluyen sociodemografía (edad, género, raza, educación, etc.) y actitudes (fundamentos morales, ideología política, actitudes específicas del elemento).
   • Características Lingüísticas: Más de 300 características extraídas utilizando el paquete elfen, que cubren características de superficie, legibilidad, psicolingüísticas, categoría gramatical, riqueza léxica, morfológicas, teóricas de la información, de dependencia, semánticas, de entidades nombradas y de emoción/sentimiento. Además, se extrajeron señales léxicas específicas del dominio (por ejemplo, insultos, vulgaridades) de múltiples léxicos de discurso de odio.
   • Interacciones: Los modelos prueban explícitamente las interacciones entre las características de los anotadores, entre las características lingüísticas y, crucialmente, entre las características de los anotadores y las de los elementos.
3. Enfoque de Modelado: Se utiliza una regresión multinivel bayesiana con priores de herradura para manejar la alta dimensionalidad de los predictores (hasta 5.264 efectos fijos) y la multicolinealidad. Este enfoque de regularización reduce agresivamente los efectos pequeños e inciertos hacia cero, permitiendo la identificación de efectos "sobrevivientes" (aquellos con intervalos creíbles posteriores del 90% que no se superponen con cero).
4. Escenarios Experimentales: El análisis se realiza en tres escenarios realistas:
   • Comparar efectos entre diferentes conjuntos de datos con tareas relacionadas pero conceptualizaciones distintas.
   • Simular nuevos anotadores dividiendo el conjunto de datos D3CODE para evaluar la variación intra-grupo.
   • Simular nuevos lotes dividiendo el conjunto de datos CTDP para evaluar la estabilidad entre lotes.

Resultados Clave
El análisis revela que la variación en la anotación es impulsada por interacciones complejas en lugar de efectos principales simples de la demografía de los anotadores o de las características de los elementos por sí solos:

• Dominio de las Interacciones: Las interacciones entre las características de los anotadores y las características lingüísticas son cruciales. Por ejemplo, en el conjunto de datos POPQUORN, el efecto de las palabras ofensivas sobre las calificaciones de ofensividad varía significativamente según la edad, mostrando los anotadores mayores una correlación más fuerte. En MHS, la postura ideológica interactúa con la edad para producir diferencias marcadas en las calificaciones, particularmente en los extremos del espectro político.
• Pistas Lingüísticas: Las señales léxicas siguen siendo predictores fuertes. Características como el sentimiento negativo, la presencia de tokens ofensivos/vulgares y entidades nombradas específicas (por ejemplo, nacionalidades, grupos religiosos) influyen consistentemente en las anotaciones. Sin embargo, las señales específicas varían según el conjunto de datos y la tarea.
• Actitudes vs. Demografía: En la simulación de D3CODE, los proxies sociodemográficos (como la edad o el género) a menudo no sobrevivieron como efectos principales, mientras que los fundamentos morales (específicamente "cuidado") y las actitudes específicas del elemento (por ejemplo, si un anotador cree que una publicación debería ser eliminada) fueron significativos.
• Interseccionalidad: El estudio identifica efectos interseccionales que a menudo son ignorados en trabajos anteriores. Por ejemplo, la interacción entre ideología y edad en MHS reveló que los anotadores mayores conservadores calificaron el contenido de manera diferente a los anotadores mayores liberales, un patrón no visible al observar la edad o la ideología de forma aislada.
• Especificidad del Conjunto de Datos: Los patrones de efectos varían considerablemente entre conjuntos de datos. Si bien el sentimiento negativo fue un sobreviviente común, otros efectos fueron altamente específicos de las directrices de anotación del conjunto de datos, la composición de los elementos y el grupo de anotadores. Esto sugiere una generalización limitada de los hallazgos de una configuración específica a otra.
• Señales Espurias: El análisis descubrió posibles artefactos de datos, como una interacción donde los anotadores hindúes calificaron los elementos con tokens no estándar (etiquetas X) como menos ofensivos, probablemente debido a coincidencias de muestreo en lugar de un efecto lingüístico genuino.

Significado y Contribuciones
El artículo hace dos contribuciones principales:

1. Metodológica: Establece un enfoque fundamentado para analizar conjuntos de datos desagregados a gran escala, demostrando la necesidad de utilizar modelos multinivel con interceptos aleatorios y regularización para manejar la estructura cruzada-clasificada y los espacios de características de alta dimensionalidad. Destaca la importancia de modelar interacciones para desentrañar la variación.
2. Sustantiva: Proporciona la primera evaluación a gran escala del comportamiento de anotación en la detección de lenguaje dañino desde una perspectiva lingüística, de interacción anotador-elemento e interseccional.

Los autores argumentan que responder a "quién anota qué" es vital para múltiples comunidades de PLN. Para la comunidad de detección de lenguaje dañino, ofrece perspectivas sobre patrones de efectos que pueden informar mejores estrategias de recopilación de datos (por ejemplo, asegurando una representación diversa de anotadores para tipos específicos de elementos). Para la comunidad de variación en etiquetas humanas, subraya la necesidad de considerar tanto el "quién" como el "qué" para comprender la variación y guiar la reanotación dirigida. Finalmente, para las comunidades de modelado y moderación de contenidos, los hallazgos advierten contra tratar la variación de etiquetas como simple ruido; en cambio, las diferencias sistemáticas en cómo grupos específicos perciben elementos de texto específicos deben preservarse para evitar aplanar percepciones matizadas e identificar posibles confusores espurios en el entrenamiento de modelos.

El artículo concluye con una llamada a la precaución respecto a la generalización de los hallazgos entre diferentes conjuntos de datos y tareas, enfatizando que la anotación es un proceso interactivo entre identidades humanas complejas y composiciones lingüísticas específicas.