Decoding Islamophobic Discourse: Using LLMs to Identify Tropes and Semi-Coded Hate Speech

Resumo Técnico: Decodificando o Discurso Islamófobo Usando LLMs

Declaração do Problema
O artigo aborda a prevalência crescente de discurso de ódio islamófobo em plataformas de mídia social extremistas (por exemplo, 4Chan, Gab, Telegram). Um desafio principal identificado é a transição do discurso de ódio explícito para terminologia "semi-codificada" e Fora do Vocabulário (OOV). Esses termos (por exemplo, muzrat, pislam, mudslime, mohammedan) são linguisticamente manipulados para parecerem lexicalmente neutros ou ambíguos fora de contextos específicos, evadindo assim a detecção tanto por moderadores humanos quanto por sistemas automatizados tradicionais. Os autores argumentam que, embora esses termos possam parecer inofensivos isoladamente, eles carregam conotações depreciativas específicas dentro de comunidades extremistas. Além disso, o artigo postula que as estratégias atuais de moderação lutam para distinguir entre uso benigno e discurso de ódio quando o contexto é sutil, e que os níveis de toxicidade do discurso islamófobo podem diferir significativamente de outras formas de discurso de ódio, como o Antissemitismo.

Metodologia
O estudo emprega uma abordagem de métodos mistos combinando coleta de dados em larga escala, anotação manual e avaliação de Modelos de Linguagem de Grande Porte (LLM).

1. Coleta de Dados: Os autores utilizaram o software Pyrra para raspar publicações de várias plataformas de mídia social alternativas entre 2024 e 2025, resultando em um conjunto de dados de aproximadamente 63.628 instâncias. Os dados foram filtrados usando termos semente, incluindo insultos OOV conhecidos (muzrat, pislam, etc.).
2. Anotação e Tropos: Um subconjunto dos dados foi rotulado manualmente por pesquisadores graduandos e especialistas em terminologia islâmica. O processo de rotulagem categorizou o conteúdo em cinco tropos islamófobos específicos:
   • Opressão das Mulheres
   • Ataques ao Profeta Muhammad
   • Ódio contra o Islã (como sistema de crenças)
   • Retórica Anti-Imigrante
   • Viés Racial
3. Teste de Hipóteses:
   • H1 (Compreensão de LLM de Termos OOV): Os autores utilizaram o GPT-4 para classificar publicações contendo termos semi-codificados, atribuindo uma pontuação de negatividade (0–1) para determinar se o modelo conseguia identificar o discurso de ódio sem palavras-chave tóxicas explícitas.
   • H2 (Comparação de Toxicidade): Usando a API Perspective do Google, o estudo comparou as pontuações de toxicidade de publicações islamófobas contra um conjunto de dados de base de publicações antissemitas (350 amostras cada).
   • H3 (Classificação de Tropos): Os autores avaliaram a capacidade do GPT-4 de classificar os tropos específicos presentes no discurso, comparando as previsões do modelo com a verdade fundamental rotulada por humanos usando precisão, recall e escores F.

Principais Resultados

• Compreensão de LLM de Termos OOV: O GPT-4 demonstrou uma forte capacidade de identificar a intenção hostil por trás de termos semi-codificados. A pontuação média de toxicidade atribuída pelo GPT-4 a insultos islamófobos foi de 0,8767, significativamente maior que uma linha de base neutra de 0,5 (t = 10,78, p < 0,05). No entanto, a precisão do modelo dependeu fortemente do contexto; por exemplo, o termo mohammedan foi às vezes classificado como neutro quando faltavam outros sinais agressivos, e o nome Abdul foi ocasionalmente mal identificado como uma referência benigna em vez de um insulto.
• Níveis de Toxicidade: O estudo descobriu que o discurso islamófobo exibe toxicidade significativamente maior do que o discurso antissemita. A pontuação média de toxicidade para amostras islamófobas foi de 0,67, comparada a 0,40 para amostras antissemitas (t = 17,01, p ≈ 0). Os tropos mais tóxicos foram identificados como aqueles que visam imigrantes muçulmanos e o Profeta Muhammad.
• Limitações na Classificação de Tropos: Embora o GPT-4 tenha se saído bem na identificação de tropos relacionados ao Profeta Muhammad (escore F: 0,88) e ao ódio contra a religião do Islã (escore F: 0,76), ele teve dificuldades com tropos envolvendo Viés Racial, Imigração e Opressão das Mulheres. A matriz de confusão revelou que o modelo frequentemente falhava em distinguir entre essas categorias, provavelmente devido à dependência de associações específicas de palavras-chave (por exemplo, "pedófilo" para o tropo do Profeta) em vez de uma compreensão profunda das narrativas ideológicas subjacentes.

Significado e Alegações
O artigo alega ser um dos primeiros estudos em larga escala focando especificamente em termos semanticamente codificados e OOV no contexto da islamofobia. Suas principais contribuições são:

1. Demonstração da Capacidade de LLM: Mostrar que LLMs de última geração (especificamente o GPT-4) possuem a compreensão contextual necessária para reconhecer insultos semi-codificados que filtros baseados em palavras-chave tradicionais poderiam perder.
2. Disparidade de Toxicidade: Destacar que o conteúdo islamófobo em plataformas extremistas é estatisticamente mais tóxico e violento do que o conteúdo antissemita, sugerindo a necessidade de estratégias de moderação diferenciadas.
3. Identificação de Lacunas: Os autores concluem modestamente que, embora os LLMs possam identificar os termos, eles ainda exibem limitações em distinguir os tropos ideológicos específicos que impulsionam o discurso, particularmente quando o ódio é sutil ou depende de estereótipos culturais complexos.

Os autores sugerem que as plataformas de mídia social devem integrar esses termos OOV e semi-codificados específicos em suas estratégias de moderação. Eles também observam que trabalhos futuros devem envolver o treinamento de modelos especializados para detectar essas terminologias e expandir a análise para outros insultos codificados (por exemplo, pajeet, chink) para fomentar ambientes online mais seguros.