When Hate Meets Facts: LLMs-in-the-Loop for Check-worthiness Detection in Hate Speech

1. El Problema

El contenido dañino en línea, específicamente el discurso de odio (HS, por sus siglas en inglés) y la desinformación, a menudo se entrelazan. Los mensajes de odio no solo utilizan insultos explícitos, sino que frecuentemente se expresan mediante afirmaciones fácticas (claims) que pueden ser falsas o verdaderas pero mal utilizadas para reforzar estereotipos y prejuicios.

• Desafío actual: Los moderadores de contenido deben evaluar simultáneamente la "perjudicialidad" (odio) y la "veracidad" (desinformación). Esto es laborioso y complejo.
• Brecha de investigación: La mayoría de los conjuntos de datos existentes tratan el discurso de odio y la verificación de hechos como fenómenos separados. Los datasets de odio suelen contener insultos directos sin afirmaciones comprobables, mientras que los datasets de verificación de hechos carecen de anotaciones sobre odio.
• Necesidad: Identificar qué afirmaciones dentro del discurso de odio merecen ser verificadas ("check-worthiness") es crucial para priorizar recursos de fact-checking y desmantelar narrativas de odio basadas en premisas falsas.

2. Metodología

Los autores proponen un enfoque integral que combina la creación de un nuevo dataset con un marco de trabajo innovador para la anotación asistida por IA.

A. Nuevo Dataset: WSF-ARG+

• Base: Extienden el dataset WSF-ARG (que contiene mensajes argumentativos de odio del foro Stormfront).
• Ampliación: Añaden 294 mensajes no odiosos para permitir el estudio de la intersección entre odio y veracidad.
• Estructura: Cada mensaje se desglosa en componentes argumentativos (premisas y conclusiones) y se identifican las afirmaciones (claims) individuales.
• Tarea de Anotación: Se define la "check-worthiness" en tres clases:
  1. CFS (Checkworthy Factual Statement): Afirmación fáctica importante que impacta al público y requiere verificación.
  2. UFS (Unimportant Factual Statement): Afirmación fáctica de bajo interés público.
  3. NFS (Non-Factual Statement): Opiniones, creencias o retórica sin afirmaciones fácticas verificables.

B. Marco de Trabajo: LLMs-in-the-Loop

Para mitigar el alto costo de la anotación humana experta y los errores de los LLMs, proponen un marco híbrido:

1. Annotación Paralela: Un humano experto y un LLM anotan el dataset simultáneamente.
2. Votación Mayoritaria: El LLM genera tres anotaciones independientes por instancia; se asigna una etiqueta provisional basada en la votación mayoritaria.
3. Resolución de Conflictos (Juez):
   • Si la etiqueta del LLM coincide con la del humano, se acepta.
   • Si hay desacuerdo o si las tres predicciones del LLM difieren, un juez humano experto (ciego al origen de la etiqueta) decide la etiqueta final.
4. Estrategias de Mitigación: Uso de zero-shot y one-shot prompting, selección de modelos de diferentes tamaños (7B a 104B) y familias, y validación rigurosa de la consistencia intra e inter-modelo.

3. Contribuciones Clave

1. WSF-ARG+: El primer dataset que combina discurso de odio con anotaciones de "check-worthiness" a nivel de afirmación, incluyendo tanto mensajes odiosos como no odiosos.
2. Marco LLM-in-the-Loop: Un protocolo validado que demuestra cómo integrar LLMs como anotadores auxiliares para reducir el esfuerzo humano sin sacrificar la calidad (logrando etiquetas "Gold" cercanas a las "Platinum" humanas).
3. Análisis de Intersección: Evidencia empírica de que los mensajes de odio que contienen afirmaciones verificables son percibidos como más dañinos y acosadores.
4. Mejora en Detección: Demostración de que incorporar etiquetas de check-worthiness como contexto en los prompts de los LLM mejora significativamente la detección de discurso de odio.

4. Resultados Principales

• Validación del Marco de Anotación:
  • El modelo OLMo2-32B mostró el mejor acuerdo con los anotadores humanos (acuerdo porcentual ~0.59 en zero-shot).
  • El marco redujo la necesidad de intervención humana: solo el 46.69% de las afirmaciones requirieron la decisión de un juez (en comparación con un 100% en anotación puramente humana).
  • La concordancia entre el marco LLM-in-the-loop y la anotación humana completa (platinum) fue alta (Cohen's κ = 0.800), validando la calidad de las etiquetas generadas.
• Análisis de Daño (Hate & Harassment):
  • Los mensajes de odio que contienen al menos una afirmación verificable (CFS) obtuvieron puntuaciones significativamente más altas en las métricas de acoso y odio (según la herramienta de moderación de OpenAI) en comparación con los mensajes sin afirmaciones verificables.
  • Diferencia estadísticamente significativa (p < 0.05), aunque el tamaño del efecto fue moderado.
• Impacto en la Detección de Odio:
  • Al proporcionar las etiquetas de check-worthiness como entrada en el prompt, los modelos grandes (≥70B parámetros) mejoraron su rendimiento en la detección de odio.
  • Mejoras en F1 Macro: Se observaron aumentos de hasta 0.213 en modelos grandes y un promedio de 0.154 en comparación con modelos que no utilizaban estas etiquetas.
  • Modelos como Qwen2.5-72B y Olmo2-32B mostraron mejoras notables al incorporar este contexto factual.

5. Significancia e Impacto

• Avance Científico: Este trabajo cierra la brecha entre la detección de discurso de odio y la verificación de hechos, demostrando que no son tareas aisladas. Proporciona una base sólida para estudiar cómo la desinformación legitima el odio.
• Eficiencia Operativa: El marco LLM-in-the-loop ofrece una solución escalable y rentable para la anotación de datos subjetivos y complejos, reduciendo la carga cognitiva y económica en la creación de datasets de alta calidad.
• Implicaciones Sociales: Al identificar que el odio basado en "hechos" (verificables o no) es percibido como más dañino, el estudio sugiere que las estrategias de moderación deben priorizar la desmontaje de estas premisas fácticas falsas.
• Aplicación Práctica: La mejora en la detección de odio al usar etiquetas de check-worthiness sugiere que los sistemas de moderación automatizada pueden volverse más precisos si entienden el contexto factual de los mensajes, permitiendo intervenciones más dirigidas (como la generación de contra-discurso) en lugar de simples filtrados.

En resumen, el artículo presenta una contribución metodológica y de datos fundamental para entender y combatir la intersección entre el odio y la desinformación, validando un enfoque híbrido humano-IA que es tanto eficiente como de alta calidad.