Learning Sexism Detection Using Multi-Agent Perspectivist Preference Optimization

Resumen Técnico: Aprendizaje de la Detección de Sexismo mediante la Optimización de Preferencias Perspectivistas Multi-Agente

Planteamiento del Problema

La detección de sexismo en el procesamiento de lenguaje natural (PLN) es inherentemente subjetiva. Los anotadores suelen discrepar sobre si un texto específico contiene sexismo, no debido a un error, sino porque perciben genuinamente el contenido de manera diferente. Los enfoques estándar de PLN suelen descartar este desacuerdo colapsando múltiples anotaciones en una única "verdad fundamental" mediante el voto de la mayoría, tratando las opiniones minoritarias como ruido. La investigación perspectivista argumenta que este desacuerdo es una señal que debe modelarse en lugar de promediarse. El desafío radica en crear sistemas que puedan representar estas diversas perspectivas de los anotadores sin forzar un consenso único, asegurando al mismo tiempo que el sistema esté calibrado con la distribución real de los juicios humanos.

Metodología: MAP-PO

Los autores proponen la Optimización de Preferencias Perspectivistas Multi-Agente (MAP-PO), un marco diseñado para preservar las diversas perspectivas de los anotadores a través de un sistema multi-agente. La metodología se desarrolla en tres etapas principales:

1. Agrupación Conductual (Behavioral Clustering):
   En lugar de agrupar a los anotadores por atributos demográficos (edad, género, etc.), los autores los agrupan según su comportamiento de etiquetado. Utilizando el conjunto de datos EXIST 2024 (tweets en inglés y español), los anotadores se caracterizan por tres rasgos:

   • Tasa de SÍ (YES rate): La frecuencia con la que un anotador etiqueta un texto como sexista.
   • Tasa de acuerdo (Agreement rate): La frecuencia de acuerdo con la mayoría de los anotadores.
   • Entropía de la etiqueta (Label entropy): El equilibrio entre las decisiones de SÍ/NO.
     Se aplica K-means (k=3) por separado para cada idioma, lo que resulta en tres grupos conductuales distintos por idioma.

2. Entrenamiento de Agentes (Ajuste Fino):
   Se entrena un agente de Modelo de Lenguaje Grande (LLM) por cada grupo. El entrenamiento consta de dos fases:

   • Fase 1 (SFT): Los agentes se someten a un Ajuste Fino Supervisado (SFT) sobre las etiquetas mayoritarias de su grupo específico. Para evitar que los agentes se alejen demasiado entre sí, los datos de entrenamiento se mezclan con "ejemplos positivos compartidos" (textos donde todos los grupos coinciden) y "ejemplos de alineación de equipo" (textos etiquetados con la mayoría general de los anotadores).
   • Fase 2 (Optimización de Preferencias): Los autores exploran tres objetivos de optimización para refinar el comportamiento del agente:
     • DPO (Optimización de Preferencia Directa): Entrena a los agentes para que prefieran la etiqueta de su grupo sobre la etiqueta opuesta en textos donde los grupos discrepan.
     • Mars-PO: Adapta DPO para sistemas multi-agente incluyendo pares de preferencia compartidos (textos unánimes) junto con pares individuales.
     • GRPO (Optimización de Política Relativa de Grupo): Utiliza una función de recompensa convexa que combina una recompensa individual (coincidir con la etiqueta del grupo) y una recompensa de equipo (coincidir con la mayoría general de los anotadores). El peso del equipo ($\alpha$) equilibra estos objetivos.

3. Inferencia:
   En la inferencia, los tres agentes realizan predicciones de forma independiente. La prediccción final del equipo se determina mediante un voto de la mayoría entre los agentes. El sistema también utiliza el desacuerdo entre agentes como una señal de confianza; un alto desacuerdo indica textos donde los anotadores humanos también discrepan.

Contribuciones Clave

• Agrupación Conductual vs. Demográfica: El artículo demuestra que las características conductuales (tasa de SÍ, acuerdo, entropía) agrupan a los anotadores de manera más efectiva que los atributos demográficos para la detección de sexismo. Las pruebas estadísticas muestran que no existe una asociación significativa entre la pertenencia al grupo y la demografía como el género o la edad.
• Optimización de Preferencias Multi-Agente: Los autores adaptan el marco Mars-PO para ajustar finamente agentes de LLM especializados para una tarea donde la "verdad fundamental" depende de la perspectiva.
• Análisis del Diseño de Recompensas: A través de una experimentación exhaustiva en cuatro entornos (dos idiomas $\times$ dos modelos base: GPT-4.1-mini y Qwen3-8B), el artículo identifica que entrenar a los agentes únicamente con las etiquetas de su propio grupo conduce a una polarización extrema (los agentes se alejan mucho más allá de los comportamientos que representan). Por el contrario, introducir una señal de equipo compartida a nivel de grupo (ya sea implícita mediante la mezcla de datos en SFT o explícita mediante recompensas Mars-PO/GRPO) es necesario para mantener a los agentes calibrados con sus grupos específicos mientras mantienen la precisión del equipo.

Resultados

La evaluación cubre cuatro entornos: GPT-EN, GPT-ES, Qwen-EN y Qwen-ES. Los hallazgos clave incluyen:

• Necesidad de Ajuste Fino: Sin el ajuste fino, los agentes en modo zero-shot se comportan de manera casi idéntica (cerca del 100% de acuerdo), fallando en capturar las diversas perspectivas.
• Polarización del Entrenamiento de Solo Individuo: La optimización de preferencia puramente individual (por ejemplo, DPO sin señales de equipo) causa un exceso de respuesta, donde los agentes del Grupo 1 etiquetan casi el 0% de los textos como sexistas y los agentes del Grupo 3 etiquetan casi el 100%, independientemente de la distribución real del grupo. Esto conduce a un alto desacuerdo y una mala calibración.
• Efectividad de las Señales de Equipo: Añadir una señal de equipo restaura consistentemente la calibración.
  • En el entorno GPT-EN, el mejor sistema (GRPO con $\alpha=0.17$) logra un 90.3% de Precisión de Equipo y un 89.9 de F1 de Equipo, superando a todas las líneas base.
  • El enfoque SFT-mixed (señal de equipo implícita) también funciona de manera robusta, logrando una alta calibración con un error mínimo.
  • En el modelo base más pequeño, Qwen, el SFT supera ligeramente al GRPO, lo que sugiere un efecto de capacidad donde el muestreo de rechazo en GRPO introduce ruido en relación con las etiquetas supervisadas.
• Generalización: El hallazgo central —que la optimización de solo individuo polariza a los agentes y las señales de equipo los reparan— se mantiene constante en ambos idiomas y en ambos modelos base.

Significado y Reivindicaciones

El artículo afirma que MAP-PO modela con éxito el desacuerdo de los anotadores como una señal en lugar de ruido. Su principal significancia radica en demostrar que:

1. Las perspectivas son conductuales, no demográficas: Las identidades efectivas de los agentes para tareas subjetivas se derivan del comportamiento de etiquetado, no de personas demográficas.
2. La calibración requiere un ancla de equipo: Para evitar que los agentes se desvíen hacia extremos irreales, es esencial un proceso de entrenamiento con una señal compartida a nivel de equipo. Esta señal asegura que, si bien los agentes representan puntos de vista específicos, permanezcan anclados en la distribución más amplia del juicio humano.
3. El desacuerdo es informativo: La capacidad del sistema para producir salidas divergentes sirve como una útil señal de confianza, señalando textos que están genuinamente en disputa y que pueden requerir revisión humana, en lugar de forzar un consenso potencialmente falso.

Los autores posicionan a MAP-PO como una herramienta de asistencia para la moderación de contenidos, destinada a resaltar casos en disputa en lugar de tomar decisiones de moderación autónomas, reconociendo las limitaciones respecto al alcance del conjunto de datos (EXIST 2024) y el diseño de bloques específicos de los datos.