🤖 AI

Evaluating Online Moderation Via LLM-Powered Counterfactual Simulations

Este artigo propõe um novo método de avaliação de moderação em redes sociais online utilizando simuladores baseados em Agentes e impulsionados por Modelos de Linguagem de Grande Escala (LLMs) para realizar simulações contrafactuais que demonstram a superioridade de estratégias de moderação personalizadas.

Autores originais: Giacomo Fidone, Lucia Passaro, Riccardo Guidotti

Publicado 2026-04-01

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Giacomo Fidone, Lucia Passaro, Riccardo Guidotti

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é o dono de uma praça pública gigante e barulhenta, onde milhões de pessoas conversam, discutem e compartilham ideias. Infelizmente, algumas dessas pessoas começam a gritar, xingar e espalhar ódio. O dono da praça (a rede social) precisa intervir para acalmar os ânimos, mas como saber qual é a melhor forma de fazer isso?

Se ele proibir todo mundo de falar, a praça fica vazia. Se ele apenas gritar "pare!", talvez ninguém ouça. E se ele tentar conversar com cada pessoa de um jeito diferente, será que funciona melhor?

Testar essas ideias na vida real é caro, demorado e perigoso (você não quer testar uma regra ruim e ver a praça virar um caos). É aqui que entra o COSMOS, o "cérebro" criado pelos pesquisadores deste artigo.

O Que é o COSMOS? (O "Simulador de Praças")

Pense no COSMOS como um simulador de voo para redes sociais, mas em vez de aviões, ele simula pessoas.

Os "Pilotos" (Agentes): O sistema cria centenas de "personas" digitais. Cada uma tem uma personalidade única, como se fosse um ator de teatro. Alguns são calmos, outros são explosivos, alguns são otimistas, outros são pessimistas. Eles são alimentados com dados reais sobre como as pessoas funcionam (idade, humor, traços de personalidade).
O Cenário: Esses "atores" entram na praça virtual e começam a conversar sobre temas polêmicos (como política, clima ou comida).
O Grande Truque (Simulação Paralela): Aqui está a mágica. O COSMOS roda duas simulações ao mesmo tempo, lado a lado:
- A Realidade (Fato): Os agentes conversam livremente. Se alguém xingar, a conversa fica feia.
- O "E Se?" (Contrafactual): É uma cópia exata da primeira, mas com uma diferença: o "moderador" (o dono da praça) interage com os agentes.

Como eles testam as regras?

Os pesquisadores usam o COSMOS para testar três tipos de "policiais" virtuais:

O "Tamanho Único" (One-Size-Fits-All): Imagine um policial que grita a mesma frase de advertência para todo mundo, independente de quem seja. "Ei, pare de gritar!" para todos.
O "Personalizado" (Personalized): Aqui, o policial é um psicólogo. Se o agente é um jovem ansioso, o policial fala com empatia: "Eu sei que você está chateado, mas vamos tentar ser mais gentis". Se o agente é arrogante, o policial pode ser mais firme.
O "Banimento" (Ban): O policial simplesmente expulsa a pessoa da praça após algumas advertências.

O Que Eles Descobriram?

Ao rodar essas simulações milhares de vezes, o COSMOS revelou segredos que seriam impossíveis de descobrir na vida real:

A "Influência" é Real: O sistema mostrou que o ódio é contagioso. Se um agente começa a xingar, os que estão ouvindo tendem a ficar mais agressivos, como uma bola de neve rolando morro abaixo.
Personalização Ganha: A estratégia de "Tamanho Único" funcionou pouco. Mas a estratégia Personalizada foi a campeã! Quando o moderador adaptava a mensagem à personalidade da pessoa, o comportamento agressivo diminuía muito mais. É como tratar uma criança com um abraço e um adulto com um aviso firme: funciona melhor do que tratar todos iguais.
Banir é "Quebrar o Jogo": Banir pessoas (expulsá-las da praça) realmente reduz o ódio, mas tem um custo alto: você perde a conversa. Às vezes, você expulsa pessoas que só estavam um pouco irritadas, perdendo conteúdo bom junto com o ruim.

Por que isso é importante?

Imagine que você é um desenvolvedor de uma rede social. Antes de lançar uma nova regra de moderação para 1 bilhão de usuários, você pode rodar o COSMOS.

Você vê o que acontece em segundos.
Você descobre que "falar com empatia" funciona melhor do que "dar um tapa na mão".
Você evita erros que poderiam causar uma crise na vida real.

Resumo em uma frase

O COSMOS é como um laboratório de realidade virtual para o comportamento humano, onde podemos testar diferentes formas de acalmar uma multidão digital sem precisar arriscar a segurança das pessoas reais, provando que tratar cada pessoa de acordo com sua personalidade é a chave para uma internet mais saudável.

Título: Avaliando Moderação Online Através de Simulações Contrafactuais Impulsionadas por LLMs

Autores: Giacomo Fidone, Lucia Passaro, Riccardo Guidotti (Universidade de Pisa e ISTI-CNR, Itália).
Publicação: AAAI 2026 (Pré-impressão).

1. O Problema

As Redes Sociais Online (OSNs) enfrentam um crescimento significativo de comportamentos tóxicos e discursos de ódio. Embora as plataformas adotem intervenções de moderação (como banimentos ex post ou mensagens de advertência ex ante), avaliar a eficácia real dessas estratégias é extremamente desafiador devido a:

Restrições de Dados: APIs privadas limitam o acesso a grandes volumes de dados empíricos.
Falta de Controle Experimental: Observações de campo não permitem isolar variáveis ou garantir a ausência de fatores de confusão desconhecidos.
Custo: A coleta de evidências empíricas em larga escala é cara e lenta.

Existe uma lacuna na literatura de ferramentas que permitam a avaliação baseada em simulação de estratégias de moderação, onde se possa comparar cenários "com" e "sem" intervenção mantendo todas as outras variáveis constantes.

2. Metodologia: COSMOS

Os autores propõem o COSMOS (COunterfactual Simulations of MOderation Strategies), um simulador de conversas em OSNs baseado em Agentes (ABM) impulsionado por Grandes Modelos de Linguagem (LLMs).

Arquitetura e Funcionamento

O COSMOS executa duas simulações paralelas e idênticas, exceto pela aplicação da moderação:

Simulação Factual: Os agentes interagem livremente no ambiente.
Simulação Contrafactual: Uma réplica exata da factual, onde intervenções de moderação são aplicadas, mas todas as outras condições (perfis, tópicos, interações iniciais) permanecem iguais (ceteris paribus).

Componentes Principais:

Agentes Baseados em LLM: Cada agente é um LLM (utilizando o modelo SOLAR-10B, escolhido por seu baixo perplexidade e capacidade de simular traços psicológicos) dotado de:
- Módulo de Perfil: Informações demográficas (idade, gênero, renda, etc.) e psicológicas (traços do Big Five: OCEAN).
- Módulo Sensorial: Recebe o contexto da conversa (texto do post ou comentário alvo).
- Módulo de Memória: Armazena intervenções de moderação passadas (ex ante) que influenciam o comportamento futuro do agente.
Geração de Conteúdo: Os agentes podem postar ou comentar. O sistema utiliza prompts personalizados que instruem o LLM a agir conforme seu perfil e decidir sobre o uso de linguagem tóxica com base no contexto e na memória de moderação.
Detecção e Moderação:
- Um detector de toxicidade (Google Perspective API) classifica o conteúdo.
- Estratégias Testadas:
  - Banimento (Ex Post): Remoção do agente após um limite de violações ( $e$ ).
  - Intervenção "One-Size-Fits-All" (OSFA): Mensagem padrão para todos.
  - Intervenção Personalizada (PMI): Mensagens geradas por LLM adaptadas ao perfil psicológico do agente (Neutra, Empática ou Prescritiva).

3. Contribuições Principais

Primeiro Simulador Contrafactual para Moderação: COSMOS é a primeira ferramenta capaz de rodar simulações paralelas (factual vs. contrafactual) para isolar o impacto causal de estratégias de moderação em discursos tóxicos.
Realismo Psicológico: Demonstrou que agentes LLM, quando configurados com perfis demográficos e psicológicos detalhados, exibem comportamentos tóxicos consistentes e críveis, correlacionados com traços de personalidade reais (ex: baixa amabilidade e alto neuroticismo associados à toxicidade).
Modelagem de Contágio Social: O sistema captura como a toxicidade se propaga através de threads, permitindo estudar fenômenos de contágio emocional e comportamental.
Novo Uso de Módulos de Memória: Introduz uma interface onde mensagens de moderação ex ante são armazenadas na memória do agente, influenciando gerações futuras de conteúdo de forma dinâmica.

4. Resultados Experimentais

Os experimentos foram realizados com 30 agentes (perfis variados) em 50 passos de tempo, comparando diferentes estratégias.

Validação de Realismo:
- Houve correlações significativas entre toxicidade e traços de personalidade (ex: $\rho = -0.32$ para Amabilidade), espelhando dados reais.
- Confirmou-se o fenômeno de contágio de toxicidade: agentes reagiram à toxicidade de outros, aumentando sua própria toxicidade em threads tóxicas.
Eficácia das Estratégias de Moderação:
- Moderação Personalizada (PMI) é Superior: A estratégia de intervenção personalizada (especialmente a variante "Neutra", que permite adaptação livre) foi a mais eficaz na redução da toxicidade global ( $\Delta M < 0$ ), superando as mensagens padronizadas (OSFA) e as prescritivas.
- Efeito de Banimento (Deplatforming): O banimento reduz a toxicidade massivamente, mas à custa de remover conteúdo saudável (Content Loss Ratio - CLR alto). Por exemplo, com tolerância baixa ( $e=1$ ), 45% do conteúdo foi perdido, incluindo 27% de conteúdo "saudável".
- Sensibilidade a Traços Psicológicos: A moderação foi mais eficaz em agentes com perfis prototipicamente tóxicos (baixa amabilidade, alto neuroticismo).
- Impacto em Toxicidade Extrema: As estratégias afetaram principalmente o comportamento tóxico extremo ( $q \ge 0.8$ ), com a moderação personalizada mostrando capacidade de mitigar a toxicidade em níveis mais baixos também.

5. Significância e Conclusões

O trabalho demonstra que simulações baseadas em LLMs podem servir como um complemento robusto às observações de campo para a pesquisa em ciências sociais e desenvolvimento industrial.

Para Pesquisa: Permite validar hipóteses sobre dinâmicas sociais e contágio comportamental com controle experimental total.
Para Indústria: Oferece um "laboratório digital" para testar sistemas de moderação automatizada antes da implementação real, reduzindo riscos e custos.
Limitações e Futuro: O estudo reconhece limitações, como o custo computacional de escalar para populações reais, a possibilidade de alucinações do LLM (cerca de 7%) e a necessidade de validação humana subjetiva. Futuras versões planejam incluir interações de "likes" e "seguir" para simular homofilia e polarização.

Em suma, o COSMOS estabelece um novo paradigma para a avaliação de políticas de moderação online, provando que intervenções personalizadas e adaptativas são superiores às abordagens genéricas na mitigação de discursos tóxicos.