💬 NLP

Majority Vote Silences Minority Values: Annotator Disagreement at the Hate/Offensive Boundary in HateXplain

Este artículo sostiene que la práctica estándar de colapsar el desacuerdo de los anotadores en etiquetas de voto mayoritario crea un fallo estructural en la detección de discursos de odio al certificar falsamente casos límite en disputa como verdad fundamental, lo que lleva a que los modelos exhiban una alta confianza en errores que las intervenciones posteriores no pueden corregir.

Autores originales: Joshua Muhumuza, Joab Ezra Agaba, Mercy Amiyo

Publicado 2026-06-30

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Joshua Muhumuza, Joab Ezra Agaba, Mercy Amiyo

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Gran Problema: Cuando "La Mayoría" Silencia a la Minoría

Imagina que estás tratando de decidir si un chiste es gracioso o cruel. Le pides a un grupo de 100 personas que vote.

51 personas dicen: "Es solo un chiste, es gracioso".
49 personas dicen: "En realidad es cruel y ofensivo".

En el mundo de la informática y la inteligencia artificial, la regla estándar es: "La mayoría gana". Se le dice a la computadora: "Está bien, 51 personas dijeron que es gracioso, así que es gracioso". La computadora entonces aprende que esa es la verdad absoluta.

Este artículo argumenta que esta regla simple es peligrosa. Trata un desacuerdo humano desordenado y complicado como si fuera un hecho claro. Los autores demuestran que cuando obligas a una computadora a aprender de este "voto de la mayoría", falla estrepitosamente en los mismos posts donde la gente está más confundida.

El Escenario: El Conjunto de Datos "HateXplain"

Los investigadores analizaron un conjunto de datos llamado HateXplain, que contiene publicaciones de redes sociales etiquetadas por trabajadores humanos. Los trabajadores tenían que elegir entre tres categorías:

Normal (inofensivo)
Ofensivo (grosero o hiriente, pero no es discurso de odio)
Discurso de Odio (peligroso, dirigido contra un grupo)

Los investigadores descubrieron que los humanos a menudo tienen dificultades para distinguir entre Ofensivo y Discurso de Odio. Es una línea borrosa, como decidir si un atardecer es "naranja" o "rojo".

Los Hallazgos Clave

1. El Desacuerdo no es Aleatorio; es una "Guerra de Fronteras"

Los autores descubrieron que casi el 43% de todas las discusiones entre los trabajadores humanos ocurrieron precisamente en la frontera entre "Ofensivo" y "Discurso de Odio".

Analogía: Imagina la frontera entre dos países. La mayoría de la gente está de acuerdo en qué hay dentro del País A y qué hay dentro del País B. Pero justo en la línea fronteriza, la gente pelea constantemente.
La Afirmación del Artículo: Los datos muestran que cuando los humanos discrepan, no están simplemente confundidos al azar. Están peleando específicamente por dónde se traza la línea entre lo "grosero" y lo "odiable".

2. El Efecto de "Silenciamiento"

Cuando los creadores del conjunto de datos tomaron los votos y eligieron al ganador (la mayoría), efectivamente silenciaron a la minoría.

Si 2 personas dijeron "Odio" y 1 persona dijo "Ofensivo", la computadora aprende "Odio".
Si 2 personas dijeron "Ofensivo" y 1 persona dijo "Odio", la computadora aprende "Ofensivo".
El Resultado: La computadora nunca aprende que hay un debate legítimo ocurriendo. Piensa que la respuesta es clara, incluso cuando no lo es.

3. La IA se Equivoca con Confianza

Los investigadores entrenaron tres tipos diferentes de modelos de IA para ver si podían solucionar esto:

Modelo A (El Estándar): Aprendió de las etiquetas del "Voto de la Mayoría".
Modelo B (El Aprendiz Suave): Aprendió de los porcentajes (por ejemplo, "60% dijo Odio, 40% dijo Ofensivo").
Modelo C (El Individualista): Intentó aprender lo que pensaba cada trabajador específico, en lugar de solo el promedio del grupo.

El Resultado Sorprendente:

Los tres modelos fueron excelentes etiquetando publicaciones donde los humanos estaban de acuerdo (aprox. 80% de precisión).
Pero en las publicaciones donde los humanos discreparon (los casos de frontera), los tres modelos colapsaron, cayendo a un 55% de precisión aproximadamente.
La Trampa de la "Excesiva Confianza": El modelo estándar (Modelo A) no solo se equivocó en estos casos, sino que lo hizo con alta confianza. Decía: "Estoy 71% seguro de que esto es Discurso de Odio", cuando en realidad era un caso confuso y debatible.
El Modelo "Honesto": El Modelo C (el individualista) fue menos confiado (49%) en estos errores. Fue más honesto sobre su incertidumbre, pero seguía siendo igual de impreciso.

Analogía: Imagina a un pronosticador del clima.

El Modelo A mira un día nublado y dice: "¡Definitivamente lloverá!" (Alta confianza, pero equivocado).
El Modelo C mira el mismo día y dice: "No estoy seguro, tal vez llueva, tal vez no" (Baja confianza, pero aun así no sabe la respuesta).
El Punto: Ser "honesto" sobre no saber algo no ayuda si el sistema sigue tomando la decisión incorrecta.

¿Por qué no podemos simplemente arreglar la IA?

Los investigadores probaron tres arreglos de "aguas abajo" (cambiando cómo la IA aprende o cómo vota). Ninguno funcionó.

La Analogía: Imagina que intentas enseñarle a un estudiante a dibujar un círculo perfecto. Pero el profesor sigue mostrándole la foto de un cuadrado y diciéndole: "Esto es un círculo".
- Puedes intentar enseñarle al estudiante con una voz más suave (Etiquetas Suaves).
- Puedes intentar mostrarle la perspectiva de cada profesor (Cabezales por Anotador).
- Pero no importa. Si la "Verdad Fundamental" (la clave de respuestas) es errónea, el estudiante nunca aprenderá a dibujar un círculo.

El artículo concluye que el problema no es el modelo de IA; el problema es el diseño de la anotación. No puedes arreglar un fundamento roto pintando las paredes.

La Solución Propuesta: Cambiar las Reglas Antes de Empezar

Dado que arreglar la IA no funcionó, los autores dicen que debemos arreglar el proceso humano antes de que la IA siquiera vea los datos. Sugieren tres cambios:

Dejar de usar etiquetas de "Sí/No": En lugar de obligar a los trabajadores a elegir entre "Ofensivo" u "Odio", denles una escala (como del 1 al 5). Esto reconoce que algunas cosas son "un poco ofensivas" y "un poco de odio", en lugar de forzar una elección binaria que crea discusiones.
Marcar los "Casos de Frontera": Cuando la IA vea una publicación en la que no esté segura (baja confianza), no debería tomar una decisión final. Debería marcarla para que un humano la revise.
Incluir a las Personas Afectadas: El artículo sostiene que las personas cuyo contenido está siendo juzgado (por ejemplo, grupos culturales o minoritarios específicos) deberían ser quienes realicen el etiquetado. Su definición de "odio" puede ser diferente de la de la mayoría. Si solo preguntas a la mayoría, siempre perderás la perspectiva de la minoría.

Una Advertencia sobre la Solución

Los autores son cuidadosos al señalar un problema ético importante con el punto #3. Pedir a los miembros de comunidades marginadas que observen el discurso de odio dirigido hacia ellos puede ser psicológicamente dañino. Argumentan que, si hacemos esto, debemos pagarles bien, brindarles apoyo de salud mental y permitir que participen voluntariamente. No debemos simplemente descargar la carga de la moderación sobre las personas que están siendo perjudicadas.

Resumen

El artículo argumenta que el voto por mayoría en el entrenamiento de la IA es una trampa. Convierte los desacuerdos humanos complejos en "hechos" falsos. Esto hace que los modelos de IA sean erróneos con excesiva confianza en los temas más sensibles. La única forma de arreglar esto no es construyendo una IA más inteligente, sino cambiando la forma en que los humanos etiquetan los datos desde el principio.

Resumen Técnico: El voto de la mayoría silencia los valores de las minorías

Planteamiento del problema
Los procesos actuales de detección de discurso de odio tratan la distinción entre "discurso de odio" (hate speech) y "discurso ofensivo" (offensive speech) como un hecho objetivo, agregando las etiquetas de los trabajadores de la multitud (crowdworkers) mediante el voto de la mayoría para crear una única verdad de referencia (ground truth). Este artículo sostiene que esta agregación no es neutral; silencia sistemáticamente los valores de las minorías al colapsar el genuino desacuerdo entre anotadores en una sola etiqueta. Los autores postulan que esta "falsa certeza" es heredada por los modelos de aprendizaje automático, lo que conduce a modos de fallo peligrosos donde los sistemas son tanto incorrectos como altamente confiados en entradas culturalmente disputadas. El problema central es estructural: las métricas de evaluación estándar y las intervenciones posteriores fallan al detectar o recuperar la precisión perdida cuando el voto de la mayoría descarta las perspectivas de las minorías en el límite entre lo ofensivo y el discurso de odio.

Metodología
El estudio utiliza el conjunto de datos HateXplain, que comprende 20,148 publicaciones anotadas por tres trabajadores de la multitud cada uno, con etiquetas de discurso de odio, ofensivo o normal. Los autores definen "desacuerdo" como cualquier publicación donde los anotadores no estuvieron de acuerdo unánimemente y "casos límite" como los desacuerdos que ocurren exclusivamente entre discurso de odio y ofensivo (excluyendo normal).

Para probar el impacto de la agregación, los autores entrenaron tres clasificadores BERT-base-uncased de complejidad creciente en el conjunto de prueba ( $n=1,892$ ):

Modelo A (Hard/Duro): Entrenado con etiquetas estándar de voto de la mayoría utilizando pérdida de entropía cruzada (cross-entropy loss).
Modelo B (Soft/Suave): Entrenado con etiquetas suaves derivadas de la distribución bruta de los anotadores (por ejemplo, una división de 2-1 produce probabilidades de [0.67, 0.0, 0.33]) utilizando pérdida de divergencia KL.
Modelo C (Per-Annotator/Por Anotador): Un codificador compartido con cabezales de clasificación separados para cada uno de los 106 anotadores calificados. Durante la inferencia, los cabezales se combinan mediante el promedio de las probabilidades softmax.

Los autores emplearon análisis estadísticos (pruebas de Chi-cuadrado, pruebas de Mann-Whitney U) para medir la concentración del desacuerdo, las brechas de precisión entre publicaciones acordadas y en desacuerdo, y los niveles de confianza del modelo. También analizaron las anotaciones de racionalidad a nivel de token para distinguir entre el desacuerdo de umbral genuino y el ruido de anotación (error de lectura).

Contribuciones clave

Concentración del desacuerdo: El estudio cuantifica que el 42.6% de todo el desacuerdo de los anotadores se concentra específicamente en el límite entre odio y ofensivo ( $\chi^2 = 135.199, p < 0.0001$ ). Esto no es ruido aleatorio, sino un patrón estructural donde los anotadores aplican diferentes umbrales para el daño. Las publicaciones ofensivas exhiben una tasa de desacuerdo significativamente mayor (67.9%) en comparación con las publicaciones normales (35.5%).
La brecha de acuerdo: Existe una brecha de precisión persistente entre las publicaciones acordadas (~~80% de precisión) y las publicaciones en desacuerdo (~~55–58% de precisión) en todos los modelos ( $p < 0.0001$ ). Esta brecha es oscurecida por las métricas de precisión general estándar.
Fallo de las intervenciones posteriores: Tres intervenciones posteriores cada vez más sofisticadas (etiquetas duras, etiquetas suaves y cabezales por anotador) fallan todas en recuperar la precisión en el límite. De hecho, la base más fuerte (Modelo C) amplía la brecha de acuerdo de 22.2 puntos (Modelo A) a 28.1 puntos, con la precisión del desacuerdo ofensivo colapsando a 0.245.
Sobreconfianza en las etiquetas duras: Los modelos de etiquetas duras estándar (Modelo A) expresan una confianza significativamente mayor en los errores de casos límite (0.710) en comparación con los modelos por anotador (Modelo C, 0.495). Esto indica que las métricas estándar no detectarán el fallo, ya que el modelo está "equivocado y seguro".

Resultados

Precisión: Aunque el Modelo C logró la mayor precisión en publicaciones acordadas (0.826), tuvo el peor desempeño en publicaciones en desacuerdo (0.545). Ningún modelo recuperó la precisión perdida en el límite.
Calibración: La única mejora constante en todos los modelos fue la calibración. El Modelo C se volvió apropiadamente incierto en las entradas límite (la confianza cayó a 0.495), mientras que el Modelo A permaneció sobreconfiado (0.710). Sin embargo, esta mayor incertidumbre no se tradujo en predicciones correctas.
Error de anotación vs. Desacuerdo de umbral: El análisis de las racionalidades a nivel de token mostró que el 73.1% de los pares de etiquetas diferentes resaltaron tokens sustancialmente superpuestos (Jaccard $\ge 0.3$ ), y existió un modo distinto en Jaccard = 1.0 (tokens idénticos, etiquetas diferentes). Esta evidencia sugiere que el desacuerdo proviene de diferentes umbrales sobre evidencia compartida en lugar de la inatención o el error del anotador.
Alineación con la mayoría: Todos los modelos permanecieron fuertemente alineados con la mayoría (~70% de las predicciones en publicaciones en desacuerdo coincidieron con la etiqueta de la mayoría), confirmando que las intervenciones posteriores no recuperan las perspectivas de las minorías.

Significancia y Reclamaciones
El artículo afirma que el fallo al manejar los límites entre odio y ofensivo es estructural, no arquitectónico. El problema reside en el diseño de la anotación, donde el voto de la mayoría presenta un juicio disputado como una verdad de referencia. En consecuencia, los modelos heredan esta "falsa certeza".

Los autores argumentan que las intervenciones posteriores son insuficientes. Debido a que la etiqueta en sí misma es poco fiable en entradas disputadas, ninguna cantidad de sofisticación del modelo o etiquado suave puede recuperar la precisión perdida. La intervención necesaria debe ser ascendente (upstream) en el proceso de anotación. El artículo sugiere tres cambios ascendentes específicos:

Reemplazar las distinciones discretas de odio/ofensivo con escalas de daño graduadas.
Marcar las publicaciones de alto desacuerdo para revisión humana durante la inferencia.
Asegurar que los grupos de anotadores representen a las comunidades objetivo cuyas publicaciones están siendo moderadas, aunque los autores señalan las complejidades éticas y los riesgos de exponer a los anotadores marginados a contenido dañino.

El estudio concluye que la alineación pluralista requiere representación en la etapa de anotación, no solo en la etapa del modelo, para prevenir la clasificación errónea sistemática de las normas lingüísticas específicas de las comunidades minoritarias.