Resumo Técnico: Ofensa Vicária e Auditoria de Ruído de Classificadores de Discurso Ofensivo

Declaração do Problema

A detecção de discurso ofensivo é um componente crítico da moderação de conteúdo, mas a definição de "ofensivo" permanece altamente subjetiva, levando a frequentes divergências entre moderadores humanos e de máquina. A literatura existente investigou a generalizabilidade dos sistemas de detecção em diferentes conjuntos de dados, vulnerabilidades adversárias e vieses geográficos, mas carece de avaliações abrangentes, em ambiente real (in-the-wild), sobre os resultados de filtragem em discussões políticas de larga escala no mundo real. Além disso, as abordagens atuais frequentemente falham em considerar o fenômeno da ofensa vicária — a capacidade de um indivíduo prever como uma pessoa com diferentes afiliações políticas perceberá um conteúdo específico. Este estudo aborda a lacuna na compreensão da extensão da discordância entre moderadores de máquina e as limitações dos moderadores humanos em prever percepções de ofensa transpartidárias.

Metodologia

1. Auditoria de Ruído de Moderadores de Máquina

Os autores conduziram uma auditoria de ruído em larga escala para medir a variabilidade de resultados entre diferentes sistemas de decisão, inspirada no conceito de "ruído" na tomada de decisão humana de Kahneman et al.

• Conjunto de Dados: Um conjunto de dados massivo compreendendo mais de 92 milhões de comentários de 241.112 vídeos de notícias nos canais oficiais do YouTube da CNN, Fox News e MSNBC (2014–2022). Uma amostra aleatória de 3 milhões de comentários foi utilizada para a auditoria.
• Moderadores de Máquina (MMs): Nove modelos distintos de identificação de linguagem ofensiva foram avaliados:
  • Oito modelos treinados em conjuntos de dados conhecidos (AHSD, HASOC, HatEval, HateXplain, OLID, TRAC, OHS, TCC) utilizando arquiteturas BERT-LARGE-CASED.
  • Um modelo público, Detoxify (ROBERTA-BASE), treinado no conjunto de dados de Viés Não Pretendido (Unintended Bias) da Jigsaw.
• Métrica: O estudo quantificou o acordo pareado usando o $\kappa$ de Cohen e o acordo geral usando o $\kappa$ de Fleiss para determinar a consistência das classificações de "ofensivo" vs. "não ofensivo".

2. Anotação Humana e Estudo de Ofensa Vicária

Para complementar a auditoria de máquina, os autores introduziram uma estrutura de anotação inovadora envolvendo a ofensa vicária.

• Construção do Conjunto de Dados: Um subconjunto representativo de 2.310 postagens da web social foi criado, estratificado por discordância de moderadores de máquina (subconjuntos de fácil, debatido e ofensivo) e tópico (geral, controle de armas, direitos reprodutivos).
• Anotadores: 753 anotadores humanos únicos recrutados via Amazon Mechanical Turk, equilibrados para garantir a representação de três identidades políticas: Democratas (35%), Republicanos (35%) e Independentes (30%).
• Tarefas de Anotação: Para cada postagem, os anotadores responderam a dois tipos de perguntas:
  1. Ofensa Pessoal (Primeira Pessoa): "Você considera isso ofensivo?"
  2. Ofensa Vicária (Segunda Pessoa): "Você acha que uma pessoa com uma identidade política diferente (ex: um Republicano) acharia isso ofensivo?"
• Linha de Base de LLM: O estudo também utilizou a API do ChatGPT (GPT-3.5-turbo) para prever a ofensa vicária, instruindo o modelo a agir como um membro de um partido político específico avaliando o conteúdo para outro partido.

Contribuições Principais

1. Auditoria de Ruído Sem Precedentes: O artigo apresenta uma auditoria de ruído abrangente revelando uma variabilidade significativa nos resultados da moderação de conteúdo entre nove diferentes moderadores de máquina em dados políticos do mundo real.
2. Dataset VOICED: O lançamento do dataset VOICED (Vicarious Offense Identification Corpus for Estimating Disagreements). Este é o primeiro dataset deste tipo onde os anotadores rotulam tanto a ofensa em primeira quanto em segunda pessoa, cobrindo Democratas, Republicanos e Independentes.
3. Estrutura de Ofensa Vicária: A introdução de uma nova perspectiva sobre ofensa que vai além da subjetividade individual para analisar quão bem grupos políticos compreendem as sensibilidades de grupos opostos.
4. Análise de Alinhamento Humano-Máquina: Uma análise detalhada do alinhamento (e desalinhamento) entre moderadores humanos de diferentes inclinações políticas e classificadores de máquina, incluindo o uso de LLMs como preditores vicários.

Resultados

Discordância de Moderadores de Máquina

• Baixo Consenso: Existe uma extensa discordância entre os moderadores de máquina. Nenhum par de modelos exibiu concordância substancial ($\kappa \ge 0,81$). Apenas alguns poucos mostraram concordância moderada ($0,41 \le \kappa \le 0,60$).
• Ruído Geral: O $\kappa$ de Fleiss geral entre as três redes de notícias foi baixo (0,27, 0,25 e 0,22), indicando que os resultados da moderação variam drasticamente dependendo do classificador específico implantado.
• Conteúdo Volátil: Quase metade do conteúdo foi sinalizado por nenhum moderador de máquina, enquanto uma fração minúscula (0,03%) foi sinalizada por todos. Uma parte significativa (10,1%) caiu em uma "zona de disputa" onde exatamente metade dos modelos sinalizou o conteúdo, tornando os resultados da moderação altamente voláteis.

Discordância de Moderadores Humanos e Ofensa Vicária

• Acordo de Primeira Pessoa: O acordo humano-humano foi geralmente maior do que o acordo humano-máquina, embora ainda fosse apenas moderado (ex: $\kappa = 0,43$ entre Independentes e Democratas). Democratas e Independentes foram os mais alinhados.
• Falha de Predição Vicária: Os moderadores humanos tiveram dificuldade em prever com precisão como grupos políticos opostos perceberiam a ofensa.
  • Republicanos foram os piores preditores de ofensa vicária tanto para Democratas quanto para Independentes.
  • Democratas e Independentes conseguem prever a ofência um do outro razoavelmente bem, mas têm dificuldade em prever o que os Republicanos considerariam ofensivo.
  • A "Armadilha da Consistência": Um grupo de moderadores composto apenas por Democratas e Independentes pode apresentar alta consistência ao prever o que os Republicanos acham ofensivo, mas essa previsão pode ser fundamentalmente errada em relação ao que os Republicanos realmente acham ofensivo.

Alinhamento Humano vs. Máquina

• Alinhamento Político: Embora todos os grupos políticos tenham mostrado concordância comparável com as máquinas sobre o que é ofensivo, os Republicanos alinharam-se ligeiramente mais com as máquinas sobre o que não é ofensivo.
• Nuance Contextual: Humanos demonstraram capacidade de detectar ofensa baseada em contexto e alvos (ex: comentários desdenhosos sobre Caitlyn Jenner) que os moderadores de máquina perderam. Por outro lado, humanos às vezes sinalizaram conteúdo como ofensivo com base em discordância política em vez de toxicidade, enquanto máquinas frequentemente dependiam de palavrões.
• Temas Sensíveis: A discordância piorou significamente em tópicos sensíveis como controle de armas e direitos reprodutivos. Nesses tópicos, o acordo máquina-humano caiu substancialmente, e alguns pares de moderadores atingiram valores negativos de $\kappa$ de Cohen, indicando discordância sistemática.

Desempenho de LLM

• O ChatGPT API (GPT-3.5) usado como preditor vicário mostrou padrões de concordância semelhantes aos dos moderadores de máquina, em vez de seguir a maioria humana. Ele concordou menos com os moderadores humanos e mais com a maioria das máquinas, destacando a dificuldade que os LLMs enfrentam ao modelar a subjetividade política humana matizada.

Significância e Alegações

O artigo afirma romper novos campos ao quantificar o "ruído" na moderação de conteúdo em uma escala sem precedentes e ao introduzir o conceito de ofensa vicária. Os autores argumentam que:

1. A Subjetividade é Fundamental: Em discursos políticos altamente polarizados, pode não haver praticamente acordo entre os grupos de anotadores, levando a "fatos alternativos" sobre o que constitui conteúdo ofensivo.
2. Limitações dos Sistemas Atuais: Os atuais moderadores de máquina e até mesmo os grandes modelos de linguagem falham em prever como diferentes grupos políticos percebem a ofensa, sugerindo que um rótulo único de "padrão ouro" é frequentemente insuficiente ou enganoso.
3. Democracia e Confiança: O estudo destaca a erosão da confiança na democracia, observando que diferentes grupos políticos mantêm visões divergentes sobre a justiça eleitoral e a tolerância ao discurso ofensivo, o que complica o papel das plataformas de redes sociais na moderação do discurso.

Os autores posicionam seu trabalho como primordialmente descritivo, visando "fechar o ciclo" na compreensão dos desafios da moderação de conteúdo ofensivo tanto do ponto de vista de máquina quanto de humano, e fornecer um recurso (VOICED) para o desenvolvimento de sistemas de modelagem mais robustos e de múltiplas perspectivas. Eles declaram explicitamente que seus achados sugerem que a moderação de conteúdo é um tópico matizado onde os níveis de tolerância variam por questão e identidade política, e que os sistemas atuais estão mal equipados para lidar com essa complexidade sem supervisão humana ou modelagem mais sofisticada da subjetividade política.