Resumen Técnico: Ofensa Vicaria y Auditoría de Ruido de Clasificadores de Discurso Ofensivo

Declaración del Problema

La detección de discurso ofensivo es un componente crítico de la moderación de contenido, sin embargo, la definición de "ofensivo" sigue siendo altamente subjetiva, lo que genera desacuerdos frecuentes entre los moderadores humanos y las máquinas. La literatura existente ha investigado la generalizabilidad de los sistemas de detección a través de diversos conjuntos de datos, las vulnerabilidades adversarias y los sesgos geográficos, pero carece de evaluaciones exhaustivas en el mundo real sobre los resultados de filtrado en el discurso político a gran escala. Además, los enfoques actuales a menudo no tienen en cuenta el fenómeno de la ofensa vicaria: la capacidad de un individuo para predecir cómo una persona con diferentes afiliaciones políticas percibirá una pieza de contenido específica. Este estudio aborda la brecha en la comprensión del alcance del desacuerdo entre los moderadores automáticos y las limitaciones de los moderadores humanos para predecir las percepciones de ofensa transpartidistas.

Metodología

1. Auditoría de Ruido de Moderadores Automáticos

Los autores realizaron una auditoría de ruido a gran escala para medir la variabilidad de los resultados entre diferentes sistemas de decisión, inspirada en el concepto de "ruido" en el juicio humano de Kahneman et al.

• Conjunto de Datos: Un conjunto de datos masivo que comprende más de 92 millones de comentarios de 241,112 videos de noticias de los canales oficiales de YouTube de CNN, Fox News y MSNBC (2014–2022). Se utilizó una muestra aleatoria de 3 millones de comentarios para la auditoría.
• Moderadores Automáticos (MM): Se evaluaron nueve modelos distintos de identificación de lenguaje ofensivo:
  • Ocho modelos entrenados en conjuntos de datos conocidos (AHSD, HASOC, HatEval, HateXplain, OLID, TRAC, OHS, TCC) utilizando arquitecturas BERT-LARGE-CASED.
  • Un modelo disponible públicamente, Detoxify (ROBERTA-BASE), entrenado en el conjunto de datos de Sesgo No Intencionado de Jigsaw.
• Métrica: El estudio cuantificó el acuerdo de pares mediante la $\kappa$ de Cohen y el acuerdo general mediante la $\kappa$ de Fleiss para determinar la consistencia de las clasificaciones de "ofensivo" vs. "no ofensivo".

2. Anotación Humana y Estudio de Ofensa Vicaria

Para complementar la auditoría de máquinas, los autores introdujeron un nuevo marco de anotación que involucra la ofensa vicaria.

• Construcción del Conjunto de Datos: Se creó un subconjunto representativo de 2,310 publicaciones de la web social, estratificado por el desacuerdo de los moderadores automáticos (subconjuntos de fácil, debatido y ofensivo) y por tema (general, control de armas, derechos reproductivos).
• Anotadores: 753 anotadores humanos únicos reclutados a través de Amazon Mechanical Turk, equilibrados para asegurar la representación de tres identidades políticas: Demócratas (35%), Republicanos (35%) e Independientes (30%).
• Tareas de Anotación: Para cada publicación, los anotadores respondieron a dos tipos de preguntas:
  1. Ofensa Personal (Primera Persona): "¿Le resulta esto ofensivo?"
  2. Ofensa Vicaria (Segunda Persona): "¿Cree que una persona con una identidad política diferente (por ejemplo, un republicano) encontraría esto ofensivo?"
• Línea Base de LLM: El estudio también utilizó la API de ChatGPT (GPT-3.5-turbo) para predecir la ofensa vicaria, instando al modelo a actuar como un miembro de un partido político específico evaluando el contenido para otro partido.

Contribuciones Clave

1. Auditoría de Ruido Sin Precedentes: El artículo presenta una auditoría de ruido exhaustiva que revela una variabilidad significativa en los resultados de la moderación de contenido a través de nueve diferentes moderadores automáticos en datos políticos del mundo real.
2. Dataset VOICED: El lanzamiento del conjunto de datos VOICED (Corpus de Identificación de Ofensa Vicaria para Estimar Desacuerdos). Este es el primer conjunto de datos de su tipo donde los anotadores etiquetan tanto la ofensa en primera persona como la vicaria, cubriendo a Demócratas, Republicanos e Independientes.
3. Marco de Ofensa Vicaria: La introducción de una nueva perspectiva sobre la ofensa que va más allá de la subjetividad individual para analizar qué tan bien comprenden los grupos políticos las sensibilidades de los grupos opuestos.
4. Análisis de Alineación Humano-Máquina: Un análisis detallado de la alineación (y desalineación) entre los moderadores humanos de diversas inclinaciones políticas y los clasificadores automáticos, incluyendo el uso de LLMs como predictores vicarios.

Resultados

Desacuerdo de los Moderadores Automáticos

• Bajo Consenso: Existe un extenso desacuerdo entre los moderadores automáticos. Ningún par de modelos exhibió un acuerdo sustancial ($\kappa \ge 0.81$). Solo un puñado mostró un acuerdo moderado ($0.41 \le \kappa \le 0.60$).
• Ruido General: La $\kappa$ de Fleiss general a través de las tres redes de noticias fue baja (0.27, 0.25 y 0.22), lo que indica que los resultados de la moderación varían drásticamente dependiendo del clasificador específico desplegado.
• Contenido Volátil: Casi la mitad del contenido fue marcado por ningún moderador automático, mientras que una fracción minúscula (0.03%) fue marcada por todos. Una parte significativa (10.1%) cayó en una "zona de disputa" donde exactamente la mitad de los modelos marcaron el contenido, haciendo que los resultados de la moderación sean altamente volátiles.

Desacuerdo de los Moderadores Humanos y Ofensa Vicaria

• Acuerdo en Primera Persona: El acuerdo humano-humano fue generalmente mayor que el acuerdo humano-máquina, aunque todavía fue solo moderado (por ejemplo, $\kappa = 0.43$ entre Independientes y Demócratas). Los Demócratas e Independientes fueron los más alineados.
• Fallo en la Predicción Vicaria: Los moderadores humanos tuvieron dificultades para predecir con precisión cómo los grupos políticos opuestos percibirían la ofensa.
  • Los Republicanos fueron los peores predictores de la ofensa vicaria tanto para Demócratas como para Independientes.
  • Demócratas e Independientes podían predecir el acuerdo de la ofensa de los otros razonablemente bien, pero tenían dificultades para predecir qué encontrarían ofensivo los Republicanos.
  • La "Trampa de la Consistencia": Un grupo de moderadores compuesto solo por Demócratas e Independientes podría mostrar una alta consistencia al predecir lo que los Republicanos encuentran ofensivo, pero esta predicción puede ser fundamentalmente errónea respecto a lo que los Republicanos realmente encuentran ofensivo.

Alineación Humano vs. Máquina

• Alineación Política: Aunque todos los grupos políticos mostraron un acuerdo comparable con las máquinas sobre lo que es ofensivo, los Republicanos se alinearon ligeramente más con las máquinas sobre lo que no es ofensivo.
• Matiz Contextual: Los humanos demostraron la capacidad de detectar la ofensa basada en el contexto y los objetivos (por ejemplo, comentarios despectivos sobre Caitlyn Jenner) que los moderadores automáticos pasaron por alto. Por el contrario, los humanos a veces marcaron contenido como ofensivo basándose en el desacuerdo político en lugar de la toxicidad, mientras que las máquinas a menudo dependían de las palabras soeces.
• Temas Sensibles: El desacuerdo empeoró significamente en temas sensibles como el control de armas y los derechos reproductivos. En estos temas, el acuerdo máquina-humano disminuyó sustancialmente, y algunos pares de moderadores alcanzaron valores de $\kappa$ negativos, indicando un desacuerdo sistemático.

Rendimiento de los LLM

La API de ChatGPT (GPT-3.5) utilizada como predictor vicario mostró patrones de acuerdo similares a los de los moderadores automáticos en lugar de los del grupo humano mayoritario. Concordaba menos con los moderadores humanos y más con la mayoría de las máquinas, resaltando la dificultad que enfrentan los LLM para modelar la matizada subjetividad política humana.

Significado y Reivindicaciones

El artículo afirma que rompe nuevos esquemas al cuantificar el "ruido" en la moderación de contenido a una escala sin precedentes e introduciendo el concepto de ofensa vicaria. Los autores argumentan que:

1. La Subjetividad es Fundamental: En el discurso político altamente polarizado, puede que prácticamente no haya acuerdo entre los grupos de anotadores, lo que conduce a "hechos alternativos" sobre lo que constituye contenido ofensivo.
2. Limitaciones de los Sistemas Actuales: Los moderadores automáticos actuales, e incluso los grandes modelos de lenguaje, fallan al predecir cómo los diferentes grupos políticos perciben la ofensa, lo que sugiere que una etiqueta de "estándar de oro" única es a menudo insuficiente o engañosa.
3. Democracia y Confianza: El estudio destaca la erosión de la confianza en la democracia, señalando que diferentes grupos políticos tienen visiones divergentes sobre la imparcialidad de las elecciones y la tolerancia hacia el discurso ofensivo, lo que complica el papel de las plataformas de redes sociales en la moderación del discurso.

Los autores posicionan su trabajo principalmente como descriptivo, con el objetivo de "cerrar el ciclo" en la comprensión de los desafíos de la moderación de contenido ofensivo tanto desde la perspectiva de las máquinas como de los humanos, y de proporcionar un recurso (VOICED) para desarrollar sistemas de modelado más robustos y de múltiples perspectivas. Declaran explícitamente que sus hallazgos sugieren que la moderación de contenido es un tema matizado donde los niveles de tolerancia varían según el tema y la identidad política, y que los sistemas actuales están mal equipados para manejar esta complejidad sin supervisión humana o un modelado más sofisticado de la subjetividad política.