Who Decides What Is Harmful? Content Moderation Policy Through A Multi-Agent Personalised Inference Framework

Resumen Técnico: "¿Quién Decide Qué Es Dañino? Política de Moderación de Contenido a Través de un Marco de Inferencia Personalizada Multiagente"

Declaración del Problema
Los sistemas actuales de moderación de contenido automatizado dependen de reglas centralizadas y descendentes que aplican umbrales universales a todos los usuarios. Este enfoque falla al no tener en cuenta la naturaleza subjetiva de la percepción del daño, donde el mismo contenido puede ser percibido como odioso, humorístico o aceptable dependiendo del trasfondo cultural, social e ideológico de un individuo. Si bien los sistemas de recomendación han avanzado en la personalización para la participación, a menudo optimizan métricas que entran en conflicto con el bienestar del usuario o no proporcionan un control granular sobre la exposición al contenido. El artículo identifica una brecha crítica: la falta de mecanismos de filtrado escalables y dirigidos por el usuario que permitan a los individuos definir sus propios "perfiles de sensibilidad" en relación con el contenido dañino, desplazando así el locus de control de la plataforma al usuario.

Metodología: El Marco PRISM
Los autores proponen PRISM (Sistema de Razonamiento e Inferencia Personalizada para la Moderación), un marco con el usuario en el bucle que adapta dinámicamente el filtrado de contenido basándose en perfiles de sensibilidad individuales. La arquitectura del sistema consta de tres etapas principales:

1. Construcción y Gestión del Perfil de Usuario:

   • Cada perfil de usuario ($P_u$) mantiene umbrales y pesos específicos por dimensión a través de diez dimensiones de contenido dañino (por ejemplo, sentimiento, respeto, insulto, deshumanización, violencia, genocidio) derivadas de taxonomías establecidas de discurso de odio.
   • Los nuevos usuarios comienzan con umbrales medianos a nivel de población. A medida que los usuarios proporcionan retroalimentación explícita (marcando contenido como ofensivo o neutral), el sistema actualiza su perfil utilizando un algoritmo de aprendizaje de Media Móvil Exponencial (EMA).
   • El sistema calcula una puntuación de confianza ($\kappa_u$) basada en el volumen de retroalimentación, transitando de la dependencia de priores poblacionales a preferencias de usuario aprendidas a medida que la confianza se aproxima a la unidad (después de aproximadamente 100 interacciones).
   • Los pesos de las dimensiones se calculan en función de la varianza de las puntuaciones de severidad, priorizando las dimensiones donde el usuario demuestra una sensibilidad consistente.

2. Motor de Inferencia Multiagente:
   El razonamiento central se distribuye entre un conjunto coordinado de agentes de Modelos de Lenguaje Grande (LLM) para imitar el juicio deliberativo humano:

   • Agente Gestor: Orquesta el pipeline analizando el contenido, seleccionando de 1 a 3 Agentes Expertos relevantes basándose en las características del contenido y generando instrucciones dinámicas y personalizadas. Traduce umbrales numéricos en descriptores semánticos (por ejemplo, "extremadamente sensible") para guiar a los expertos.
   • Agentes Expertos: Agentes especializados (Sociólogo, Lingüista, Psicólogo) proporcionan análisis específicos del dominio. Por ejemplo, el Agente Sociólogo se centra en la discriminación basada en la identidad, mientras que el Agente Psicólogo evalúa el potencial de angustia emocional.
   • Agente Perfil Fantasma: Un agente dinámico creado para simular la perspectiva específica del usuario cuando los agentes expertos discrepan. Actúa como desempate alineado estrictamente con los umbrales de sensibilidad aprendidos del usuario.
   • Agente de Síntesis: Agrega el razonamiento, las decisiones y las puntuaciones de confianza de todos los agentes invocados para producir una clasificación binaria final (odio/neutral).

3. Flujo de Trabajo de Filtrado de Contenido:
   Al recibir nuevo contenido, el sistema carga el perfil del usuario, orquesta la evaluación multiagente y compara la puntuación de decisión ponderada final con los umbrales personalizados del usuario. El contenido que excede el umbral se oculta; de lo contrario, se muestra.

Contribuciones Clave

• Verdad Terrena Perspectivista: El artículo reencuadra la nocividad no como una propiedad objetiva, sino como una construcción dependiente del usuario, utilizando anotaciones a nivel individual para definir la verdad terrena en lugar de un consenso agregado.
• Arquitectura Personalizada Multiagente: Introduce una arquitectura novedosa que combina el razonamiento experto específico del dominio con un agente "Perfil Fantasma" para simular perspectivas de usuario, abordando las limitaciones de los clasificadores monolíticos para capturar el daño multidimensional.
• Mecanismo de Aprendizaje Dinámico: El sistema emplea una tasa de aprendizaje adaptativa y aprendizaje en línea para refinar continuamente los perfiles de usuario, permitiendo que el sistema evolucione con cambios en las sensibilidades y contextos del usuario.
• Marco de Política: Los autores proponen principios de diseño para la gobernanza de plataformas que equilibran la autonomía del usuario con la seguridad de la plataforma, sugiriendo mecanismos como la "exclusión voluntaria" para toxicidad severa y la delegación de la creación de perfiles a entidades comunitarias de confianza para reducir la carga del usuario.

Resultados
El sistema fue evaluado utilizando el conjunto de datos Measuring Hate Speech, que contiene 39,565 comentarios anotados por 7,912 usuarios, lo que permitió la construcción de 100 perfiles de usuario sintéticos distintos que representan niveles variables de severidad (desde "muy estricto" hasta "muy permisivo").

• Experimento 1 (Universal vs. Personalizado): El sistema multiagente PRISM logró una puntuación F1 promediada macro de 81.5%, lo que representa una mejora relativa del 31.9% sobre la línea base universal (61.8%) y una mejora de 7.0 puntos porcentuales sobre una línea base personalizada de un solo agente (74.5%). El enfoque multiagente mejoró notablemente la precisión (85.2%), lo que sugiere que la descomposición experta reduce eficazmente los falsos positivos.
• Experimento 2 (Comparación con el Estado del Arte): PRISM superó a los modelos transformadores no personalizados más avanzados (BERTweet, TimeLMs, RoBERTa, BERT) en el mismo conjunto de datos. Superó al competidor más cercano, BERTweet (80.5%), por 1.0 punto porcentual, demostrando que la adaptación específica del usuario ofrece valor más allá de la sofisticación arquitectónica o el preentrenamiento específico del dominio.
• Experimento 3 (Dinámica de Aprendizaje): El sistema demostró una convergencia rápida, superando la línea base universal con tan solo dos interacciones de retroalimentación. Esto indica que el sistema mitiga las preocupaciones de "arranque en frío", proporcionando beneficios inmediatos sin períodos de calibración extendidos.

Significado y Afirmaciones
El artículo afirma que la moderación personalizada con el usuario en el bucle es tanto técnicamente viable como socialmente deseable. Al anclar las decisiones de moderación en perfiles de sensibilidad subjetivos, el marco cierra la brecha entre la gobernanza de la plataforma y el empoderamiento individual. Los autores argumentan que este enfoque desafía la suposición de que la nocividad debe ser juzgada a través de políticas universales. Empíricamente, los resultados sugieren que integrar información específica del usuario mejora significativamente el rendimiento del modelo y la equidad entre grupos demográficos. Teóricamente, el trabajo avanza la comprensión de la moderación de contenido híbrida y centrada en el humano, ofreciendo una vía escalable para reconciliar las políticas de moderación con los derechos digitales individuales y el bienestar. Los autores permanecen modestos respecto a la convergencia a largo plazo, señalando que su evaluación se centró en el régimen de adaptación temprana a media, y destacan la necesidad de trabajos futuros sobre el equilibrio entre la autonomía del usuario y la carga cognitiva de la gestión de la seguridad.