Causality Guided Representation Learning for Cross-Style Hate Speech Detection

Resumo Técnico: Aprendizado de Representação Guiado por Causalidade para Detecção de Discurso de Ódio Transestilístico (CADET)

Definição do Problema
A proliferação do discurso de ódio online apresenta um desafio significativo para a moderação de conteúdo, particularmente no que diz respeito à detecção de discurso de ódio implícito. Enquanto o discurso de ódio explícito é caracterizado por insultos óbvios e ataques diretos, o ódio implícito baseia-se em sarcasmo, ironia, estereótipos e linguagem codificada, tornando difícil a detecção por modelos treinados em pistas linguísticas de nível superficial. Os sistemas de detecção atuais sofrem de uma generalização deficiente através de diversas variações estilísticas e plataformas. Os modelos frequentemente dependem de correlações espúrias entre características estilísticas específicas (ex: insultos específicos ou sintaxe específica de uma plataforma) e rótulos de ódio, falhando quando confrontados com expressões implícitas ou quando implantados em plataformas com diferentes contextos demográficos e de moderação. O problema central é distinguir a verdadeira intenção de ódio (o fator causal) da manifestação estilística (o fator de confusão) que varia entre domínios.

Metodologia: O Framework CADET
Os autores propõem o CADET (Causality Guided Representation Learning for Cross-Style Hate Speech Detection), um framework fundamentado em um grafo causal hipotetizado de geração de discurso de ódio.

1. Hipótese Causal: A geração de discurso de ódio é modelada como um processo envolvendo:

   • Ambiente Contextual ($U$): Um confundidor não observado (ex: políticas de plataforma, demografia) que influencia a motivação do criador, a seleção do alvo e as escolhas estilísticas.
   • Fatores Latentes:
     • Motivação do Criador ($M$): A intenção de causar dano.
     • Alvo ($T$): O grupo ou indivíduo visado.
     • Estilo ($S$): A expressão linguística (explícita vs. implícita).
   • Verdadeira Motivação ($M^*$): Uma variável latente invariante ao domínio que representa a genuína intenção de ódio, independente do ambiente contextual $U$.
   • Rótulo ($Y$): Determinado pela verdadeira motivação $M^*$ e pelo contexto $U$.

2. Componentes da Arquitetura:

   • Desentrelaçamento Alinhado Causalmente: O modelo utiliza um codificador pré-treinado (RoBERTa) para mapear o texto em um espaço latente. Em seguida, ele desentrelaça essa representação em quatro fatores latentes: variáveis contínuas para motivação ($z_m$) e confundidor ($z_u$), e variáveis discretas para alvo ($z_t$) e estilo ($z_s$) usando Gumbel-Softmax.
   • Mitigação de Confundidores: Para evitar que os fatores latentes codifiquem correlações espúrias com o contexto, o framework emprega:
     • Reconstrução de Confundidor Adversária: Uma camada de reversão de gradiente (GRL) é utilizada onde discriminadores tentam recuperar o confundidor $U$ a partir dos fatores latentes fundidos. O codificador é treinado para minimizar essa recuperação, removendo efetivamente $U$ dos fatores causais.
     • Restrições de Ortogonalidade: Projeções garantem que os fatores latentes ($M, T, S, U$) sejam mutuamente ortogonais, impondo independência estatística.
     • Reconstrução de Entrada: Um decodificador reconstrói o texto original a partir dos fatores latentes fundidos para garantir que o desentrelaçamento preserve o significado semântico.
   • Raciocínio Contrafactual Latente: Para impor a invariância de estilo, o modelo intervém na variável latente de estilo ($S$) dentro do espaço latente. Uma "rede de inversão de estilo" inverte o estilo (ex: explícito para implícito) enquanto mantém a motivação e o alvo fixos. O modelo é treinado para garantir que a previsão de ódio permaneça consistente, independentemente da intervenção de estilo (Perda de Consistência Contrafactual).

3. Objetivo de Treinamento: O modelo é otimizado usando uma função de perda multiobjetivo combinando perda de tarefa (classificação de ódio), classificação de alvo/estilo, ortogonalidade, deconfundimento adversário, reconstrução e perdas de consistência contrafactual. Um currículo de treinamento em estágios é empregado para estabilizar a otimização desses objetivos concorrentes.

Principais Contribuições

• Grafo Causal Principado: O artigo introduz um modelo causal formal que separa explicitamente o processo gerativo do discurso de ódio em fatores latentes interpretáveis (motivação, alvo, estilo, contexto), unificando a detecção de ódio explícito e implícito.
• Framework CADET: A implementação de um framework de aprendizado de representação que operacionaliza este grafo, utilizando raciocínio contrafactual e deconfundimento adversário para isolar a intenção de ódio de artefatos estilísticos.
• Validação Empírica: Experimentos extensos em quatro datasets do mundo real (IsHate, IHC, AbuseEval, DynaHate) demonstrando desempenho superior em tarefas de generalização transestilística comparado a baselines de estado da arte, incluindo modelos de NLP tradicionais, detectores especializados de discurso de ódio e modelos de linguagem de grande escala (LLMs).

Resultados

• Generalização Transestilística: O CADET atinge um macro-F1 médio de 0,81 em tarefas de transferência de explícito para implícito, representando uma melhoria relativa de 13% sobre o baseline mais forte. Na transferência de implícito para explícito, mantém um F1 médio forte de 0,885.
• Robustez: Ao contrário de modelos convencionais que exibem alta revocação (recall), mas baixa precisão em configurações implícitas (ou vice-versa), o CADET mantém um desempenho equilibrado. Ele supera significativamente os baselines causais (PEACE, HateWATCH) e os detectores baseados em LLM (ShieldGemma, Llama Prompt Guard), que apresentam desempenho errático ou falha em cenários transestilísticos.
• Estudos de Ablação: Remover a perda contrafactual ($L_{cf}$) resulta na queda de desempenho mais significativa (redução de 24 pontos no F1), confirmando o papel crítico da intervenção de estilo no aprendizado de representações invariantes.
• Visualização: Visualizações t-SNE confirmam que o espaço latente de motivação ($z_m$) separa claramente postagens odiosas de não odiosas, enquanto os espaços de alvo, estilo e confundidor não o fazem, validando o desentrelaçamento bem-sucedido dos fatores causais.

Significância
O artigo afirma que o CADET oferece uma solução fundamentada para o desafio da detecção de discurso de ódio invariante ao estilo. Ao mudar o foco de padrões linguísticos superficiais para a intenção causal subjacente, o framework aborda a fragilidade dos modelos atuais contra o ódio implícito e mudanças de domínio. O trabalho destaca o potencial do desentrelaçamento causal e do raciocínio contrafactual na criação de sistemas de moderação de conteúdo mais robustos, interpretáveis e generalizáveis, fornecendo um caminho para ambientes online mais seguros que podem se adaptar às formas evolutivas de discurso de ódio.