💬 NLP

Self-Explaining Hate Speech Detection with Moral Rationales

Este artigo apresenta o Supervised Moral Rationale Attention (SMRA), um novo framework autoexplicativo que alinha a atenção do modelo com justificativas morais anotadas por especialistas baseadas na Teoria das Fundações Morais para melhorar a robustez e a interpretabilidade da detecção de discurso de ódio, apoiado pelo recém-lançado dataset HateBRMoralXplain em português brasileiro.

Autores originais: Francielle Vargas, Jackson Trager, Diego Alves, Surendrabikram Thapa, Matteo Guida, Berk Atil, Daryna Dementieva, Andrew Smart, Ameeta Agrawal

Publicado 2026-07-21

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Francielle Vargas, Jackson Trager, Diego Alves, Surendrabikram Thapa, Matteo Guida, Berk Atil, Daryna Dementieva, Andrew Smart, Ameeta Agrawal

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está caminhando por uma praça digital gigante e barulhenta, onde pessoas gritam, fazem piadas, discutem e, às vezes, dizem coisas terríveis. No mundo da ciência da computação, especificamente em um campo chamado Processamento de Linguagem Natural (que é apenas uma maneira chique de dizer "ensinar computadores a entender a linguagem humana"), cientistas estão tentando construir seguranças digitais. Esses seguranças são algoritmos projetados para detectar o "discurso de ódio" — os gritos maldosos, prejudiciais e perigosos que visam pessoas com base em quem elas são. Mas aqui está a parte complicada: os computadores costumam ser péssimos em entender o porquê de algo ser maldoso. Eles são como crianças que memorizaram uma lista de "palavras ruins", mas não entendem a diferença entre um insulto brincalhão entre amigos e uma ameaça genuína. Se um computador apenas procurar por palavras específicas ruins, ele pode se confundir com o sarcasmo, piadas culturais ou o ódio disfarçado de forma inteligente. Isso é um grande problema porque, se o segurança digital cometer erros, ele pode silenciar pessoas inocentes ou deixar o ódio perigoso passar despercebido. Para corrigir isso, pesquisadores estão tentando ensinar os computadores não apenas o que sinalizar, mas o porquê de estarem sinalizando, usando um conceito chamado "raciocínio moral" — basicamente, pedindo ao computador para pensar sobre justiça, dano e lealdade, assim como um humano faz.

Entra uma nova equipe de pesquisadores que decidiu parar de adivinhar e começar a ensinar computadores a pensar como filósofos morais. Eles introduziram um novo sistema astuto chamado Supervised Moral Rationale Attention (SMRA). Pense no SMRA como um programa de treinamento para um detetive digital. Em vez de apenas mostrar ao detetive uma lista de "palavras ruins" para procurar, os treinadores (especialistas humanos) mostram frases específicas e dizem: "Olhe aqui! Esta parte é ruim porque fere os sentimentos de alguém", ou "Esta parte é ruim porque quebra as regras de justiça". O computador aprende a prestar atenção a essas "pistas morais" específicas, em vez de apenas escanear palavras-chave superficiais. Para tornar esse treinamento possível, a equipe também criou uma nova e enorme biblioteca de exemplos chamada HateBRMoralXplain. Isso não é apenas uma lista de comentários ruins; é uma coleção de 7.000 comentários reais do Instagram do Brasil, cuidadosamente rotulados por especialistas que explicaram exatamente qual regra moral foi quebrada e o porquê. É como dar ao detetive um livro didático repleto de casos da vida real e as notas manuscritas do especialista nas margens.

Quando colocaram esse novo detetive à prova, os resultados foram promissores. O sistema SMRA não apenas melhorou ligeiramente na detecção de discurso de ódio; ele ficou melhor em explicar por que detectou o ódio. Nos testes, o sistema melhorou sua precisão ao encontrar o discurso de ódio e, mais importante, sua capacidade de apontar as palavras exatas que tornaram o comentário prejudicial. O artigo sugere que, ao focar nessas razões morais mais profundas, o computador torna-se menos propenso a ser enganado por correlações espúrias (como pensar que uma palavra é ruim apenas porque aparece frequentemente perto de outras palavras ruins) e mais propenso a entender o contexto real. Curiosamente, a equipe descobriu que, embora o computador tenha ficado melhor em encontrar as razões "morais", ele não se tornou necessariamente "mais justo" de todas as formas, sugerindo que ensinar um computador a ser moral é uma jornada complexa, não um interruptor mágico. Eles também tentaram usar modelos de IA gigantes e poderosos (como LLMs) para fazer o trabalho, mas descobriram que mesmo esses modelos superinteligentes tinham dificuldade em entender as nuances morais, a menos que recebessem instruções muito específicas e o contexto adequado.

Os pesquisadores também descobriram algo fascinante sobre o "porquê". Quando compararam seu detetive focado em moralidade com um que apenas procurava palavras de "ódio", o focado em moralidade foi muito melhor em alinhar-se com o julgamento humano. No entanto, eles observaram que as explicações tornaram-se mais concisas — mais curtas e diretas — o que é bom, mas às vezes significava que o computador perdia alguns detalhes minúsculos (uma leve queda na "abrangência"). O artigo sugere que essa troca vale a pena porque as explicações são mais fiéis ao processo de pensamento real do modelo. No fim, a equipe conclui que, embora seu novo método não seja uma solução perfeita que resolve todos os problemas, é um passo significativo à frente. Mostra que, se quisermos que os computadores sejam bons cidadãos digitais, precisamos ensiná-los a se importar com o peso moral das palavras, não apenas com as palavras em si. O artigo termina com uma nota de cautela: esta ainda é uma pesquisa inicial e, embora os resultados sejam encorajadores, ainda há muito a aprender sobre como fazer esses sistemas funcionarem em diferentes culturas e idiomas sem introduzir novos vieses.

Resumo Técnico: Detecção de Discurso de Ódio Autoexplicável com Racionais Morais

Declaração do Problema

Os modelos existentes de detecção de discurso de ódio (HS) sofrem de opacidade e dependência excessiva de pistas lexicais superficiais. Essa dependência leva à vulnerabilidade contra correlações espúrias, redução da robustez e falta de contextualização cultural. Além disso, os modelos padrão frequentemente herdam vieses dos dados de treinamento e dos processos de anotação, resultando no direcionamento injusto de grupos marginalizados. Embora existam abordagens de IA explicável, elas são amplamente categorizadas como ou post-hoc (gerando explicações após a predição, muitas vezes infiéis ou computacionalmente caras) ou autoexplicáveis (integrando a explicação ao processo de aprendizado). No entanto, os métodos autoexplicáveis atuais frequentemente falham em capturar o raciocínio normativo e moral essencial para distinguir o discurso de ódio culturalmente contingente de uma linguagem inofensiva. Estudos recentes sugerem que os valores morais constituem uma representação latente transferível entre idiomas, mas os modelos padrão não aproveitam isso explicitamente.

Metodologia: Atenção a Racionais Morais Supervisionada (SMRA)

Os autores propõem a Atenção a Racionais Morais Supervisionada (SMRA), um framework autoexplicável projetado para alinhar a atenção neural com racionais morais anotados por especialistas.

Mecanismo Central

O SMRA modifica classificadores baseados em transformers padrão (ex: BERT) introduzindo uma regularização indutiva normativa no objetivo de treinamento. Em vez de depender apenas de marcadores lexicais, o modelo é guiado para atender a tokens identificados como moralmente salientes por especialistas humanos.

Definição da Tarefa: O framework aborda duas tarefas:
- Classificação Binária de Discurso de Ódio: Predizer se o conteúdo é discurso de ódio.
- Classificação de Sentimento Moral Multirrótulo: Identificar quais categorias da Teoria das Fundações Morais (MFT) (Cuidado/Dano, Justiça/Trapaça, Lealdade/Traição, Autoridade/Subversão, Pureza/Degradação) estão presentes.
Perda de Alinhamento de Atenção: Para instâncias de treinamento com racionais morais disponíveis, o SMRA minimiza o Erro Quadrático Médio (MSE) entre a distribuição de atenção normalizada do modelo ( $a$ ) e uma máscara de racional binária ( $r$ ) derivada de anotações humanas.
Função Objetivo: A perda total ( $\ell_{total}$ ) combina a perda de entropia cruzada padrão ( $\ell_{CE}$ ) para classificação com a perda de alinhamento de atenção supervisionada ( $\ell_{MSE}$ ):
$\ell_{total} = \ell_{CE} + \alpha \cdot \ell_{MSE}$
Onde $\alpha$ controla a força da supervisão da atenção. Esta perda é aplicada apenas às amostras com racionais morais anotados.

Dataset: HateBRMoralXplain

Para suportar este framework, os autores introduzem o HateBRMoralXplain, uma extensão do benchmark HateBR de português brasileiro.

Composição: 7.000 comentários do Instagram (3.500 ofensivos, 3.500 não ofensivos) anotados por três especialistas.
Anotações: Inclui rótulos de ódio, categorias MFT e racionais morais ao nível de token (extensões de texto mínimas que justificam o rótulo moral).
Metadados: Enriquecido com metadados sociopolíticos (partido político, gênero do autor do post original) para facilitar a análise de viés.
Acordo Inter-anotador: Acordo substancial a quase perfeito para os rótulos morais primários ( $\kappa = 0,811$ ), com concordância moderada a substancial para rótulos secundários e terciários.

Principais Contribuições

Framework SMRA: O primeiro framework de detecção de discurso de ódio autoexplicável que alinha a atenção do modelo diretamente com racionais morais anotados por especialistas, visando melhorar a interpretabilidade, a robustez e a contextualização cultural.
Dataset HateBRMoralXplain: Um corpus de larga escala, anotado por especialistas para o português brasileiro de baixos recursos, unicamente enriquecido com categorias morais, racionais anotados por humanos e metadados sociopolíticos.
Avaliação Empírica: Uma avaliação abrangente do SMRA contra baselines (ajuste fino padrão, métodos post-hoc como LIME/SHAP e outros métodos autoexplicáveis como SRA) e Modelos de Linguagem de Grande Escala (LLMs) usando várias estratégias de prompting.

Resultados

Experimentos foram conduzidos em detecção binária de discurso de ódio e classificação de sentimento moral multirrótulo usando mBERT e BERTimbau.

Melhorias de Desempenho

Desempenho Preditivo: O SMRA melhorou consistentemente o desempenho sobre os baselines. Na classificação binária, aumentou a Acurácia (+0,0004) e o Macro F1 (+0,0082). Na classificação de sentimento moral multirrótulo, melhorou o Macro F1 (+0,015) e o AUROC (+0,002).
Qualidade da Explicação (Plausibilidade): O SMRA aumentou significativamente o alinhamento com os racionais humanos.
- IoU F1: Melhorias de +0,0743 (binário) e +0,241 (moral) sobre os baselines.
- Token F1: Melhorias de +0,0503 (binário) e +0,241 (moral) sobre os baselines.
Qualidade da Explicação (Fidelidade):
- Abrangência (Comprehensiveness): Diminuiu ligeiramente (−0,0203), indicando que as explicações tornaram-se mais concisas.
- Suficiência (Sufficiency): Melhorou (−0,0231, observando a definição da métrica onde uma queda na probabilidade é melhor, ou interpretado como o contexto do artigo de "melhoria" significando racionais mais compactos porém fiéis). O artigo nota que o SMRA produz explicações mais concisas que permanecem fiéis.
Equidade (Fairness): Métricas de equidade (GMB-Sub, GMB-BPSN, GMB-BNSP) permaneceram estáveis, sugerindo que as melhorias na qualidade da explicação não introduziram vieses significativos.

Análise Comparativa

SMRA vs. SRA (Supervised Rational Attention): O SMRA alcançou plausibilidade substancialmente maior (IoU F1 +0,1195, Token F1 +0,1508) comparado ao SRA, que depende de racionais lexicais. O SRA mostrou fidelidade instável (Suficiência negativa), enquanto o SMRA manteve Suficiência positiva, indicando um alinhamento causal mais estável entre os racionais e as predições.
Desempenho de LLMs: LLMs (GPT-4o-mini, Llama-3.1-70B) mostraram melhorias notáveis na classificação de discurso de ódio (aprox. 2–3%) quando estimulados com racionais morais e definições. No entanto, os LLMs tiveram um desempenho ruim na classificação de sentimento moral (F1 máximo de 0,38). A tradução de prompts para o inglês resultou em quedas de desempenho, destacando a importância do contexto específico da língua.

Significância e Alegações

O artigo afirma que o SMRA representa um passo significativo em direção a uma detecção de discurso de ódio mais interpretável e culturalmente consciente. Ao integrar o raciocínio moral diretamente no objetivo de treinamento, o framework vai além de pistas lexicais superficiais para capturar as estruturas normativas subjacentes ao discurso de ódio.

Os autores afirmam que:

Racionais Morais são Superiores a Pistas Lexicais: Alinhar a atenção com racionais morais reduz a dependência de correlações espúrias e melhora a generalização transcultural em comparação com métodos que utilizam apenas racionais lexicais.
Interpretabilidade Inerente: Diferente dos métodos post-hoc, o SMRA produz explicações inerentemente interpretáveis que são fiéis ao processo de decisão do modelo.
Sem Troca de Viés (Bias Trade-off): Aumentar a qualidade da explicação e a robustez não necessariamente degrada a equidade; o modelo manteve métricas de equidade estáveis.
Necessidade de Contexto: O estudo destaca que a detecção de discurso de ódio requer contexto cultural e moral, particularmente para línguas de baixos recursos e casos sutis envolvendo sarcasmo ou contexto político, que os modelos padrão frequentemente perdem.

Os autores concluem que, embora o SMRA melhore a robustez e a interpretabilidade, ele depende de anotação humana custosa e é atualmente avaliado principalmente em dados de português brasileiro, necessitando de trabalhos futuros sobre escalabilidade e generalização translinguística.