Improving Implicit Hate Speech Detection via a Community-Driven Multi-Agent Framework

Resumo Técnico: Melhorando a Detecção de Discurso de Ódio Implícito por meio de uma Estrutura de Multiagentes Impulsionada pela Comunidade

Declaração do Problema
A proliferação de conteúdo prejudicial representa uma ameaça significativa aos ambientes digitais inclusivos. Embora os sistemas de moderação automatizados que utilizam Modelos de Linguagem de Grande Escala (LLMs) e arquiteturas baseadas em Transformers tenham melhorado a precisão geral da classificação, eles enfrentam dificuldades com a equidade e a detecção de discurso de ódio implícito. Os sistemas atuais frequentemente exibem um viés conservador: eles alcançam altas Taxas de Verdadeiros Negativos (TNR) ao identificar corretamente conteúdos benignos, mas sofrem com baixas Taxas de Verdadeiros Positivos (TPR), falhando em detectar discurso de ódio sutil, codificado ou dependente de contexto. Esse desequilíbrio prejudica desproporcionalmente comunidades marginalizadas. Além disso, o discurso de ódio é um constructo intrinsecamente social e contextual; sua interpretação depende fortemente das identidades envolvidas. As abordagens automatizadas existentes, que frequentemente incorporam pontos de vista dominantes de seus dados de treinamento, falham em integrar sistematicamente as perspectivas de minorias, levando a classificações incorretas que minam a confiança nos esforços de moderação.

Metodologia
Os autores propõem uma estrutura de detecção contextualizada implementada como um sistema multiagente. A arquitetura consiste em dois componentes primários operando dentro da biblioteca AutoGen utilizando o LLM Gemini-2.5-Flash:

1. Agente Moderador: Um agente central responsável pela avaliação semântica e contextual inicial de postagens em redes sociais. Ele opera de acordo com políticas de moderação robustas, produzindo uma classificação inicial (Ódio/Não Ódio/Incerteza), uma justificativa e uma flag metacognitiva indicando se uma consulta especializada é necessária.
2. Agentes de Comunidade: Agentes especializados que representam grupos socioculturais específicos visados pelo discurso de ódio. Esses agentes funcionam como consultores especialistas.
   • Construção: Quando um grupo alvo é identificado, o sistema gera automaticamente consultas de busca para recuperar informações de base da Wikipedia. Esses dados fatuais são codificados em embeddings de tokens usando um codificador Transformer. Um embedding de agente de comunidade é então derivado via atenção cruzada (cross-attention) entre a consulta do grupo e o texto recuperado, garantindo que a "persona" do agente seja fundamentada em um contexto sociocultural público e factual, em vez de vieses alucinados.
   • Fluxo de Trabalho: O processo segue um procedimento de três fases:
     1. Avaliação Preliminar: O Moderador analisa a postagem.
     2. Consulta Condicional: Se o Moderador estiver incerto (dentro de limites de incerteza definidos), ele aciona uma consulta direcionada ao Agente de Comunidade relevante.
     3. Síntese de Decisão: O Moderador integra os insights do Agente de Comunidade com sua avaliação inicial para produzir uma classificação e justificativa final e informada.

O sistema foi avaliado no conjunto de dados ToxiGen, que é especificamente projetado para desafiar sistemas de moderação com toxicidade implícita (mais de 98% dos exemplos tóxicos são sutis). O estudo focou em seis grupos alvo: pessoas negras, asiáticos, judeus, muçulmanos, mulheres e a comunidade LGBTQ.

Principais Contribuições

1. Estrutura Multiagente: O artigo introduz uma nova estrutura de detecção impulsionada pela comunidade para discurso de ódio implícito que operacionaliza princípios de equidade ao integrar Agentes de Comunidade especializados que representam grupos demográficos visados.
2. Integração Contextual: Diferente dos métodos de prompting padrão, esta abordagem integra explicitamente o contexto sociocultural de fontes de conhecimento publicamente disponíveis (Wikipedia) para permitir uma moderação consciente da identidade.
3. Rigor de Avaliação: O estudo aprimora a avaliação técnica ao priorizar a Acurácia Balanceada (bACC) como métrica central. Esta métrica pondera igualmente as Taxas de Verdadeiros Positivos (TPR) e de Verdadeiros Negativos (TNR), abordando o compromisso entre detectar o ódio e evitar a supressão do discurso legítimo.

Resultos
Os resultados experimentais no conjunto de dados ToxiGen demonstram que a estrutura multiagente proposta supera significativamente os baselines de prompting de última geração (Zero-shot, Few-shot e Chain-of-Thought) e uma versão ablada do sistema sem os Agentes de Comunidade.

• Métricas de Desempenho: A abordagem Agêntica alcançou uma TPR média de 0,75, substancialmente superior aos baselines (que variaram de 0,42 a 0,59). Ela manteve uma TNR alta (0,969), resultando em uma Acurácia Balanceada (bACC) média superior de 0,86 em comparação com 0,774 para o prompting de Chain-of-Thought.
• Equidade: A estrutura melhorou a equidade de detecção em todos os grupos alvo. O estudo de ablação revelou que, sem a consulta do Agente de Comunidade, o desempenho caiu significativamente, particularmente para grupos marginalizados como indivíduos LGBTQ e mulheres, onde o Moderador sozinho teve dificuldade em detectar o ódio implícito.
• Significância Estatística: As diferenças de desempenho entre a abordagem Agêntica e outros métodos foram consideradas estatisticamente significativas ($p < 0,001$).

Significância e Alegações
Os autores afirmam que este trabalho representa um avanço prático na IA baseada em agentes para moderação de conteúdo. Ao ir além das melhorias centradas em texto e centradas em modelos, a estrutura aborda a limitação fundamental dos sistemas atuais: a falta de mecanismos explícitos para integrar os ricos contextos sociais e culturais que moldam o discurso de ódio implícito.

O estudo afirma que um design consultivo e impulsionado pela comunidade gera benefícios significativos tanto para a precisão da detecção quanto para a equidade da moderação. Demonstra que a incorporação de governança com "especialista no loop" (expert-in-the-loop) através de agentes de comunidade simulados permite que o sistema interprete melhor a linguagem codificada e alusões históricas, produzindo, assim, decisões de moderação mais precisas e socialmente alinhadas. O trabalho posiciona-se como um passo em direção a práticas de moderação mais adaptáveis e socialmente sensíveis que refletem as experiências vividas pelas comunidades visadas.