Mod-Guide: An LLM-based Content Moderation Feedback System to Address Insensitive Speech toward Indigenous Ethnic and Religious Minority Communities

Resumen Técnico: Mod-Guide

Planteamiento del Problema
Los Modelos de Lenguaje Extensos (LLM) se despliegan cada vez más para la moderación de contenidos, pero a menudo reflejan y refuerzan las normas culturales de la mayoría, fallando al reconocer el "discurso insensible" dirigido a comunidades históricamente subrepresentadas. A diferencia del discurso de odio manifiesto, el discurso insensible opera a través de la eliminación implícita, la tergiversación y el encuadre normativo que ignora los valores culturales, religiosos y epistémicos de los grupos minoritarios. Esto crea una "injusticia hermenéutica" donde las comunidades minoritarias carecen de los recursos conceptuales dentro de los sistemas de moderación convencionales para que sus experiencias de daño sean reconocidas. El artículo se centra en Bangladesh, específicamente en las comunidades hindú (minoría religiosa) y chakma (minoría étnica indígena), donde estas lesiones lingüísticas son prevalentes pero a menudo pasan desapercibidas para los sistemas automatizados entrenados con perspectivas mayoritarias.

Metodología
La investigación emplea un enfoque de métodos mixtos que involucra tres etapas primarias:

1. Construcción del Corpus mediante Comunidades Remotas Asíncronas (ARC):

   • Los autores colaboraron con 22 miembros de las comunidades hindú y chakma para curar un conjunto de datos de 132 instancias de discurso culturalmente insensible.
   • Utilizando grupos secretos de Facebook y WhatsApp, los participantes compartieron ejemplos de texto, imágenes y videos que consideraban hirientes, proporcionando explicaciones detalladas fundamentadas en textos religiosos, historias orales, rituales culturales y experiencias vividas.
   • Este corpus fue traducido y estandarizado al bengalí, creando una base de conocimientos de origen comunitario que captura la hermenéutica (marcos interpretativos) de las minorías en lugar de las suposiciones de la mayoría.

2. Desarrollo del Sistema (Mod-Guide):

   • Los autores desarrollaron Mod-Guide, un sistema de retroalimentación basado en LLM que utiliza Generación Aumentada por Recuperación (RAG) con GPT-4 de OpenAI.
   • Pipeline: El sistema utiliza un almacén de vectores que contiene incrustaciones (embeddings) del corpus de origen comunitario. Cuando un usuario introduce un texto, el sistema realiza una búsqueda de similitud para recuperar explicaciones comunitarias relevantes.
   • Prompting de Personajes (Persona Prompting): El LLM es instruido para adoptar cinco personajes de moderación distintos (Maestro, Mediador, Juez, Representante, Protector) basados en las metáforas de Seering et al. para la moderación.
   • Configuración: El estudio compara dos configuraciones: (a) GPT-4 utilizando prompting estándar sin contexto externo, y (b) GPT-4 mejorado con RAG, donde las respuestas se fundamentan en las explicaciones comunitarias recuperadas.

3. Evaluación:

   • Análisis Textual Cuantitativo: Se utilizaron BERTScore y la distancia euclidiana de las incrustaciones de texto para medir la divergencia entre las respuestas generadas por el LLM independiente y el sistema mejorado con RAG a través de diferentes personajes.
   • Exactitud Fáctica: Dos expertos en el dominio (uno de cada comunidad minoritaria) evaluaron la exactitud fáctica y el matiz de 10 respuestas seleccionadas al azar de ambas configuraciones.
   • Estudio de Usuario: Un estudio con 15 participantes (de entornos mayoritarios y minoritarios) evaluó la utilidad percibida de la retroalimentación, analizando la influencia del trasfondo demográfico y el personaje de moderación.

Contribuciones Clave

• Contribución de Conjunto de Datos: Un corpus curado y anotado de discurso culturalmente insensible en bengalí, específicamente fundamentado en las perspectivas de las comunidades hindú y chakma. Este conjunto de datos incluye no solo los actos de habla, sino también las justificaciones comunitarias de por qué son perjudicialos.
• Contribución de Artefacto: El diseño y la evaluación de Mod-Guide, un sistema de retroalimentación que integra las perspectivas de las minorías en los flujos de trabajo de moderación de LLM mediante RAG.
• Contribución Metodológica: Demostrar cómo RAG puede utilizarse para operacionalizar la "inclusión hermenéutica", permitiendo que los LLM accedan y utilicen el conocimiento epistémicamente marginado sin necesidad de un ajuste fino (fine-tuning) o actualizaciones irreversibles de pesos.

Resultos

• Diferencias Textuales: El análisis estadístico (pruebas de rango con signo de Wilcoxon) reveló una diferencia significativa ($p = 3.3 \times 10^{-54}$) entre el texto generado por el GPT-4 independiente y el sistema mejorado con RAG. El sistema RAG produjo respuestas que eran contextualmente distintas y estaban fundamentadas en las narrativas comunitarias recuperadas.
• Exactitud Fáctica: La evaluación de los expertos indicó que, si bien las respuestas de GPT-4 independiente eran a menudo correctas fácticamente en un sentido general, carecían de profundidad y matiz. Las respuestas mejoradas con RAG proporcionaron un contexto teológico y cultural más preciso (por ejemplo, explicando el papel de los ídolos en el hinduismo o las sensibilidades específicas en torno al término "upojati"). Sin embargo, el sistema todavía tuvo dificultades con ciertos problemas, como la identificación de jerga vulgar dirigida a mujeres indígenas en contextos de imagen específicos.
• Utilidad Percibida: El estudio encontró una relación estadísticamente significativa ($p = 0.0104$) entre la etnia de un participante y su percepción de qué personaje de moderación era más útil. Los participantes de minorías tendieron a preferir personajes que enfatizaran la protección y la defensa. No se encontró una relación significativa entre la religión y la preferencia de personaje.

Significancia y Reivindicaciones
El artículo afirma que Mod-Guide hace avanzar los campos de la Interacción Humano-Computadora (HCI), la ética de la IA y la computación social al poner en primer plano la justicia restaurativa y la inclusión hermenéutica en el diseño de la moderación de contenidos.

• Justicia Epistémica: El trabajo argumenta que los conjuntos de datos pequeños, de origen comunitario, deben verse como "categorías basadas en prototipos" en lugar de ser descartados debido a su tamaño. Sirven como recursos esenciales para contrarrestar el "ideocidio" (la aniquilación de los marcos epistémicos marginados) en los sistemas de IA.
• Enfoque Restaurativo: Al cambiar la metáfora de la moderación del castigo hacia la educación y el diálogo (a través de personajes como el "Maestro" o el "Mediador"), el sistema busca reparar los daños epistémicos y fomentar el entendimiento intercultural en lugar de simplemente eliminar el contenido.
• Explicabilidad: Los autores abogan por el uso de RAG sobre el fine-tuning en este contexto porque ofrece mayor transparencia y trazabilidad, permitiendo que las decisiones de moderación sean auditadas frente a justificaciones comunitarias específicas.

Los autores concluyen que, si bien su sistema demuestra potencial para hacer que los LLM sean más sensibles a las normas pluralistas, persisten desafíos relacionados con la escalabilidad, la diversidad del corpus y el riesgo de esencializar las identidades minoritarias. Enfatizan que tales sistemas deben permanecer adaptables al diseño participativo y la crítica continua.