Improving Implicit Hate Speech Detection via a Community-Driven Multi-Agent Framework

Resumen Técnico: Mejora de la detección de discurso de odio implícito mediante un marco de agentes múltiples impulsado por la comunidad

Planteamiento del problema
La proliferación de contenido dañino en línea constituye una amenaza significativa para los entornos digitales inclusivos. Si bien los sistemas de moderación automatizados que utilizan Modelos de Lenguaje de Gran Escala (LLM) y arquitecturas basadas en Transformers han mejorado la precisión general de la clasificación, presentan dificultades con la equidad y la detección del discurso de odio implícito. Los sistemas actuales suelen exhibir un sesgo conservador: logran Tasas de Verdaderos Negativos (TNR) elevadas al identificar correctamente el contenido benigno, pero sufren de Tasas de Verdaderos Positivos (TPR) bajas, fallando en la detección de discursos de odio sutiles, codificados o dependientes del contexto. Este desequilibrio perjudica desproporcionadamente a las comunidades marginadas. Además, el discurso de odio es un constructo intrínsecamente social y contextual; su interpretación depende fuertemente de las identidades involucradas. Los enfoques automatizados existentes, que a menudo encarnan los puntos de vista dominantes de sus datos de entrenamiento, no logran integrar sistemáticamente las perspectivas de las minorías, lo que provoca clasificaciones erróneas que socavan la confianza en los esfuerzos de moderación.

Metodología
Los autores proponen un marco de detección contextualizado implementado como un sistema de agentes múltiples. La arquitectura consta de dos componentes primarios que operan dentro de la biblioteca AutoGen utilizando el LLM Gemini-2.5-Flash:

1. Agente Moderador: Un agente central responsable de la evaluación semántica y contextual inicial de las publicaciones en redes sociales. Opera de acuerdo con políticas de moderación robustas, produciendo una clasificación inicial (Odio/No Odio/Incierto), una justificación y una bandera metacognitiva que indica si se requiere consulta de expertos.
2. Agentes de la Comunidad: Agentes especializados que representan grupos socioculturales específicos atacados por el discurso de odio. Estos agentes funcionan como asesores expertos.
   • Construcción: Cuando se identifica un grupo objetivo, el sistema genera automáticamente consultas de búsqueda para recuperar información de trasfondo de la base de conocimientos de Wikipedia. Estos datos fácticos se codifican en incrustaciones de tokens (embeddings) mediante un codificador Transformer. Posteriormente, se deriva una incrustación del agente de la comunidad mediante atención cruzada entre la consulta del grupo y el texto recuperado, asegurando que la "persona" del agente esté fundamentada en un contexto sociocultural público y fáctico, en lugar de sesgos alucinados.
   • Flujo de trabajo: El proceso sigue un procedimiento de tres fases:
     1. Evaluación preliminar: El Moderador analiza la publicación.
     2. Consulta condicional: Si el Moderador presenta incertidumbre (dentro de límites definidos), activa una consulta dirigida con el Agente de la Comunidad pertinente.
     3. Síntesis de la decisión: El Moderador integra los conocimientos del Agente de la Comunidad con su evaluación inicial para producir una clasificación y justificación final e informada.

El sistema fue evaluado con el conjunto de datos ToxiGen, el cual está diseñado específicamente para desafiar a los sistemas de moderación con toxicidad implícita (más del 98% de los ejemplos tóxicos son sutiles). El estudio se centró en seis grupos objetivo: personas negras, asiáticos, judíos, musulmanes, mujeres y la comunidad LGBTQ.

Contribuciones clave

1. Marco de agentes múltiples: El artículo introduce un novedoso marco de detección impulsado por la comunidad para el discurso de odio implícito que operacionaliza los principios de equidad mediante la integración de Agentes de la Comunidad especializados que representan a los grupos demográficos atacados.
2. Integración contextual: A diferencia de los métodos de prompting estándar, este enfoque integra explícitamente el contexto sociocultural de fuentes de conocimiento disponibles públicamente (Wikipedia) para permitir una moderación consciente de la identidad.
3. Rigor de evaluación: El estudio mejora la evaluación técnica al priorizar la Precisión Balanceada (bACC) como métrica central. Esta métrica pondera por igual las Tasas de Verdaderos Positivos (TPR) y las Tasas de Verdaderos Negativos (TNR), abordando el compromiso entre la detección del odio y la prevención de la supresión del discurso legítimo.

Resultos
Los resultados experimentales en el conjunto de datos ToxiGen demuestran que el marco de agentes múltiples propuesto supera significativamente a las líneas de base de prompting de vanguardia (Zero-shot, Few-shot y Chain-of-Thought) y a una versión ablada del sistema sin los Agentes de la Comunidad.

• Métricas de rendimiento: El enfoque de Agentes logró un TPR promedio de 0.75, sustancialmente superior a las líneas de base (que oscilan entre 0.42 y 0.59). Mantuvo una TNR alta (0.969), resultando en una Precisión Balanceada (bACC) promedio superior de 0.86 en comparación con el 0.774 de la técnica Chain-of-Thought.
• Equidad: El marco mejoró la equidad de detección en todos los grupos objetivo. El estudio de ablación reveló que, sin la consulta del Agente de la Comunidad, el rendimiento disminuyó significativamente, particularmente para grupos marginados como las personas LGBTQ y las mujeres, donde el Moderador por sí solo tuvo dificultades para detectar el odio implícito.
• Significancia estadística: Las diferencias de rendimiento entre el enfoque de Agentes y otros métodos resultaron ser estadísticamente significativas ($p < 0.001$).

Significancia y Reivindicaciones
Los autores afirman que este trabajo representa un avance práctico en la inteligencia artificial basada en agentes para la moderación de contenidos. Al ir más allá de las mejoras centradas en el texto y en el modelo, el marco aborda la limitación fundamental de los sistemas actuales: la falta de mecanismos explícitos para integrar los ricos contextos sociales y culturales que dan forma al discurso de odio implícito.

El estudio sostiene que un diseño consultivo y dirigido por la comunidad genera beneficios significativos tanto para la precisión de la detección como para la equidad de la moderación. Demuestra que la incorporación de una gobernanza de "experto en el bucle" (expert-in-the-loop) a través de agentes de la comunidad simulados permite al sistema interpretar mejor el lenguaje codificado y las alusiones históricas, produciendo así decisiones de moderación más precisas y socialmente alineadas. El trabajo se posiciona como un paso hacia prácticas de moderación más adaptables y socialmente sensibles que reflejen las experiencias vividas de las comunidades afectadas.