Who Decides What Is Harmful? Content Moderation Policy Through A Multi-Agent Personalised Inference Framework

Resumo Técnico: "Quem Decide o Que é Prejudicial? Política de Moderação de Conteúdo Através de um Framework de Inferência Personalizada Multi-Agente"

Declaração do Problema
Os sistemas atuais de moderação de conteúdo automatizados dependem de regras centralizadas e de cima para baixo que aplicam limites universais a todos os usuários. Essa abordagem falha em levar em conta a natureza subjetiva da percepção de dano, onde o mesmo conteúdo pode ser percebido como odioso, humorístico ou aceitável, dependendo do background cultural, social e ideológico de um indivíduo. Embora os sistemas de recomendação tenham avançado na personalização para engajamento, eles frequentemente otimizam métricas que conflitam com o bem-estar do usuário ou falham em fornecer controle granular sobre a exposição a conteúdo. O artigo identifica uma lacuna crítica: a falta de mecanismos de filtragem escaláveis e orientados pelo usuário que permitam aos indivíduos definir seus próprios "perfis de sensibilidade" em relação a conteúdo prejudicial, deslocando assim o locus de controle da plataforma para o usuário.

Metodologia: O Framework PRISM
Os autores propõem o PRISM (Sistema de Raciocínio e Inferência Personalizada para Moderação), um framework com o usuário no loop que adapta dinamicamente a filtragem de conteúdo com base em perfis de sensibilidade individuais. A arquitetura do sistema consiste em três etapas principais:

1. Construção e Gestão do Perfil do Usuário:

   • Cada perfil de usuário ($P_u$) mantém limites e pesos específicos por dimensão em dez dimensões de conteúdo prejudicial (por exemplo, sentimento, respeito, insulto, desumanização, violência, genocídio), derivados de taxonomias estabelecidas de discurso de ódio.
   • Novos usuários começam com limites medianos em nível populacional. À medida que os usuários fornecem feedback explícito (sinalizando conteúdo como ofensivo ou neutro), o sistema atualiza seu perfil usando um algoritmo de aprendizado de Média Móvel Exponencial (EMA).
   • O sistema calcula uma pontuação de confiança ($\kappa_u$) com base no volume de feedback, transitando da dependência de priores populacionais para preferências de usuários aprendidas à medida que a confiança se aproxima da unidade (após aproximadamente 100 interações).
   • Os pesos das dimensões são computados com base na variância das pontuações de severidade, priorizando dimensões onde o usuário demonstra sensibilidade consistente.

2. Motor de Inferência Multi-Agente:
   O raciocínio central é distribuído entre um conjunto coordenado de agentes de Modelo de Linguagem de Grande Escala (LLM) para imitar o julgamento deliberativo humano:

   • Agente Gestor: Orquestra o pipeline analisando o conteúdo, selecionando 1 a 3 Agentes Especialistas relevantes com base nas características do conteúdo e gerando prompts dinâmicos e personalizados. Ele traduz limites numéricos em descritores semânticos (por exemplo, "extremamente sensível") para orientar os especialistas.
   • Agentes Especialistas: Agentes especializados (Sociólogo, Linguista, Psicólogo) fornecem análise específica de domínio. Por exemplo, o Agente Sociólogo foca em discriminação baseada em identidade, enquanto o Agente Psicólogo avalia o potencial de sofrimento emocional.
   • Agente Perfil Fantasma: Um agente dinâmico criado para simular a perspectiva específica do usuário quando os agentes especialistas discordam. Ele atua como um desempate alinhado estritamente aos limites de sensibilidade aprendidos do usuário.
   • Agente de Síntese: Agrega o raciocínio, as decisões e as pontuações de confiança de todos os agentes invocados para produzir uma classificação binária final (ódio/neutro).

3. Fluxo de Trabalho de Filtragem de Conteúdo:
   Ao receber novo conteúdo, o sistema carrega o perfil do usuário, orquestra a avaliação multi-agente e compara a pontuação de decisão ponderada final com os limites personalizados do usuário. O conteúdo que excede o limite é ocultado; caso contrário, é exibido.

Principais Contribuições

• Verdade Terrena Perspectivista: O artigo reencena a nocividade não como uma propriedade objetiva, mas como uma construção dependente do usuário, utilizando anotações em nível individual para definir a verdade terrena em vez de um consenso agregado.
• Arquitetura Personalizada Multi-Agente: Introduz uma arquitetura inovadora que combina raciocínio de especialistas específicos de domínio com um agente "Perfil Fantasma" para simular perspectivas de usuários, abordando as limitações de classificadores monolíticos na captura de danos multidimensionais.
• Mecanismo de Aprendizado Dinâmico: O sistema emprega uma taxa de aprendizado adaptativa e aprendizado online para refinar continuamente os perfis de usuários, permitindo que o sistema evolua com mudanças nas sensibilidades e contextos dos usuários.
• Framework de Política: Os autores propõem princípios de design para governança de plataformas que equilibram a autonomia do usuário com a segurança da plataforma, sugerindo mecanismos como "opt-out" para toxicidade severa e a delegação da criação de perfis a entidades comunitárias confiáveis para reduzir a carga sobre o usuário.

Resultados
O sistema foi avaliado usando o conjunto de dados Measuring Hate Speech, que contém 39.565 comentários anotados por 7.912 usuários, permitindo a construção de 100 perfis de usuários sintéticos distintos representando níveis variados de severidade (de "muito estrito" a "muito indulgente").

• Experimento 1 (Universal vs. Personalizado): O sistema multi-agente PRISM alcançou uma pontuação F1 macro-média de 81,5%, representando uma melhoria relativa de 31,9% sobre a linha de base universal (61,8%) e uma melhoria de 7,0 pontos percentuais sobre uma linha de base personalizada de agente único (74,5%). A abordagem multi-agente melhorou notavelmente a precisão (85,2%), sugerindo que a decomposição especializada reduz efetivamente os falsos positivos.
• Experimento 2 (Comparação com o Estado da Arte): O PRISM superou modelos transformadores não personalizados de última geração (BERTweet, TimeLMs, RoBERTa, BERT) no mesmo conjunto de dados. Ele superou o concorrente mais próximo, o BERTweet (80,5%), por 1,0 ponto percentual, demonstrando que a adaptação específica ao usuário oferece valor além da sofisticação arquitetônica ou pré-treinamento específico de domínio.
• Experimento 3 (Dinâmicas de Aprendizado): O sistema demonstrou convergência rápida, superando a linha de base universal com tão poucos quanto dois interações de feedback. Isso indica que o sistema mitiga preocupações de "início frio", fornecendo benefícios imediatos sem períodos de calibração estendidos.

Significado e Alegações
O artigo afirma que a moderação personalizada com o usuário no loop é tecnicamente viável e socialmente desejável. Ao ancorar decisões de moderação em perfis de sensibilidade subjetivos, o framework preenche a lacuna entre governança de plataforma e empoderamento individual. Os autores argumentam que essa abordagem desafia a suposição de que a nocividade deve ser adjudicada por meio de políticas universais. Empiricamente, os resultados sugerem que a integração de informações específicas do usuário melhora significativamente o desempenho do modelo e a justiça entre grupos demográficos. Teoricamente, o trabalho avança a compreensão da moderação de conteúdo híbrida e centrada no ser humano, oferecendo um caminho escalável para reconciliar políticas de moderação com direitos digitais individuais e bem-estar. Os autores permanecem modestos quanto à convergência de longo prazo, observando que sua avaliação focou no regime de adaptação inicial a médio prazo, e destacam a necessidade de trabalhos futuros sobre o equilíbrio entre a autonomia do usuário e a carga cognitiva do gerenciamento de segurança.