Learning Sexism Detection Using Multi-Agent Perspectivist Preference Optimization

Resumo Técnico: Aprendendo a Detecção de Sexismo Usando Otimização de Preferência Perspectivista Multi-Agente

Declaração do Problema

A detecção de sexismo em processamento de linguagem natural (PLN) é inerentemente subjetiva. Os anotadores frequentemente discordam se um texto específico contém sexismo, não por erro, mas porque percebem o conteúdo de forma genuinamente diferente. As abordagens padrão de PLN geralmente descartam essa discordância, colapsando múltiplas anotações em uma única "verdade fundamental" (ground truth) via voto da maioria, tratando a opinião minoritária como ruído. A pesquisa perspectivista argumenta que essa discordância é um sinal que deve ser modelado, em vez de ser eliminado pela média. O desafio reside em criar sistemas que possam representar essas diversas perspectivas dos anotadores sem forçar um consenso único, garantindo ao mesmo tempo que o sistema permaneça calibrado à distribuição real dos julgamentos humanos.

Metodologia: MAP-PO

Os autores propõem a Otimização de Preferência Perspectivista Multi-Agente (MAP-PO), um framework projetado para preservar diversas perspectivas de anotadores através de um sistema multi-agente. A metodologia procede em três estágios principais:

1. Agrupamento Comportamental (Behavioral Clustering):
   Em vez de agrupar anotadores por atributos demográficos (idade, gênero, etc.), os autores os agrupam com base no comportamento de rotulagem. Usando o conjunto de dados EXIST 2024 (tweets em inglês e espanhol), os anotadores são caracterizados por três características:

   • Taxa de YES (Sim): A frequência com a qual um anotador rotula um texto como sexista.
   • Taxa de concordância: A frequência de concordância com a maioria dos anotadores.
   • Entropia de rótulo: O equilíbrio entre as decisões de YES/NO.
     O agrupamento K-means (k=3) é aplicado separadamente para cada idioma, resultando em três clusters comportamentais distintos por idioma.

2. Treinamento de Agentes (Ajuste Fino/Fine-Tuning):
   Um agente de Modelo de Linguagem de Grande Escala (LLM) é treinado por cluster. O treinamento envolve duas fases:

   • Fase 1 (SFT): Os agentes passam por Ajuste Fino Supervisionado (SFT) nos rótulos majoritários de seu cluster específico. Para evitar que os agentes se afastem demais uns dos outros, os dados de treinamento são misturados com "exemplos positivos compartilhados" (textos onde todos os clusters concordam) e "exemplos de alinhamento de equipe" (textos rotulados com a maioria geral dos anotadores).
   • Fase 2 (Otimização de Preferência): Os autores exploram três objetivos de otimização para refinar o comportamento do agente:
     • DPO (Direct Preference Optimization): Treina os agentes para preferirem o rótulo de seu cluster sobre o rótulo oposto em textos onde os clusters discordam.
     • Mars-PO: Adapta o DPO para sistemas multi-agente, incluindo pares de preferência compartilhados (textos unânimes) ao lado de pares individuais.
     • GRPO (Group Relative Policy Optimization): Utiliza uma função de recompensa convexa que combina uma recompensa individual (correspondendo ao rótulo do cluster) e uma recompensa de equipe (correspondendo à maioria geral dos anotadores). O peso da equipe ($\alpha$) equilibra esses objetivos.

3. Inferência:
   Na inferência, os três agentes realizam previsões independentes. A previsão final da equipe é determinada por um voto da maioria entre os agentes. O sistema também utiliza a discordância dos agentes como um sinal de confiança; uma alta discordância indica textos onde os anotadores humanos também discordam.

Principais Contribuições

• Agrupamento Comportamental vs. Demográfico: O artigo demonstra que características comportamentais (taxa de YES, concordância, entropia) agrupam anotadores de forma mais eficaz do que atributos demográficos para a detecção de sexismo. Testes estatísticos mostram que não há associação significativa entre a participação no cluster e demografia como gênero ou idade.
• Otimização de Preferência Multi-Agente: Os autores adaptam o framework Mars-PO para ajustar agentes de LLM especializados para uma tarefa onde a "verdade fundamental" depende da perspectiva.
• Análise de Design de Recompensa: Através de experimentação extensiva em quatro configurações (dois idiomas $\times$ dois modelos de base: GPT-4.1-mini e Qwen3-8B), o artigo identifica que treinar agentes apenas em seus próprios rótulos de cluster leva a uma polarização extrema (agentes indo muito além dos comportamentos que representam). Inversamente, introduzir um sinal de nível de equipe compartilhado (seja implicitamente via mistura de dados no SFT ou explicitamente via recompensas Mars-PO/GRPO) é necessário para manter os agentes calibrados aos seus clusters específicos enquanto mantêm a precisão da equipe.

Resultados

A avaliação cobre quatro configurações: GPT-EN, GPT-ES, Qwen-EN e Qwen-ES. As principais descobertas incluem:

• Necessidade de Ajuste Fino: Sem o ajuste fino, os agentes zero-shot comportam-se de forma quase idêntica (perto de 100% de concordância), falhando em capturar diversas perspectivas.
• Polarização do Treinamento Apenas Individual: A otimização de preferência puramente individual (ex: DPO sem sinais de equipe) faz com que os agentes ultrapassem o limite, com agentes do Cluster 1 rotulando quase 0% dos textos como sexistas e agentes do Cluster 3 rotulando quase 100%, independentemente da distribuição real do cluster. Isso leva a alta discordância e má calibração.
• Eficácia dos Sinais de Equipe: Adicionar um sinal de equipe restaura consistentemente a calibração.
  • No cenário GPT-EN, o melhor sistema (GRPO com $\alpha=0.17$) atinge 90,3% de Acurácia de Equipe e 89,9 de F1 de Equipe, superando todas as bases de comparação.
  • A abordagem SFT-mixed (sinal de equipe implícito) também performa de forma robusta, alcançando alta calibração com erro mínimo.
  • No modelo de base menor Qwen, o SFT supera ligeiramente o GRPO, sugerindo um efeito de capacidade onde a amostragem de rejeição no GRPO introduz ruído em relação aos rótulos supervisionados.
• Generalização: A descoberta central — que a otimização apenas individual polariza os agentes e os sinais de equipe os reparam — mantém-se verdadeira em ambos os idiomas e em ambos os modelos de base.

Significância e Alegações

O artigo afirma que o MAP-PO modela com sucesso a discordância dos anotadores como um sinal, em vez de ruído. Sua principal significância reside em demonstrar que:

1. Perspectivas são comportamentais, não demográficas: Identidades de agentes eficazes para tarefas subjetivas são derivadas do comportamento de rotulagem, não de personas demográficas.
2. A calibração requer uma âncora de equipe: Para evitar que os agentes derivem para extremos irreais, um sinal de treinamento de nível de equipe compartilhado é essencial. Este sinal garante que, embora os agentes representem pontos de vista específicos, eles permaneçam fundamentados na distribuição mais ampla do julgamento humano.
3. A discordância é informativa: A capacidade do sistema de produzir saídas divergentes serve como um útil sinal de confiança, sinalizando textos que são genuinamente contestados e que podem exigir revisão humana, em vez de forçar um consenso potencialmente falso.

Os autores posicionam o MAP-PO como uma ferramenta assistiva para moderação de conteúdo, destinada a destacar casos contestados em vez de tomar decisões de moderação autônomas, reconhecendo limitações quanto ao escopo do conjunto de dados (EXIST 2024) e ao design de blocos específico dos dados.