Decoding Islamophobic Discourse: Using LLMs to Identify Tropes and Semi-Coded Hate Speech

Sintesi Tecnica: Decodifica del Discorso Islamofobo Utilizzando LLM

Enunciato del Problema
Il documento affronta la crescente prevalenza di discorsi d'odio islamofobi sulle piattaforme social estremiste (ad es. 4Chan, Gab, Telegram). Una sfida primaria identificata è il passaggio da un linguaggio d'odio esplicito a una terminologia "semi-codificata" e Fuori dal Vocabolario (OOV). Questi termini (ad es. muzrat, pislam, mudslime, mohammedan) sono manipolati linguisticamente per apparire lessicalmente neutri o ambigui al di fuori di contesti specifici, eludendo così la rilevazione sia da parte di moderatori umani che di sistemi automatizzati tradizionali. Gli autori sostengono che, sebbene questi termini possano sembrare innocui in isolamento, portano connotazioni dispregiative specifiche all'interno delle comunità estremiste. Inoltre, il documento ipotizza che le attuali strategie di moderazione faticino a distinguere tra un uso benigno e il discorso d'odio quando il contesto è sottile, e che i livelli di tossicità del discorso islamofobo possano differire significativamente da altre forme di discorso d'odio, come l'antisemitismo.

Metodologia
Lo studio adotta un approccio a metodi misti che combina raccolta dati su larga scala, annotazione manuale e valutazione tramite Modelli Linguistici di Grande Dimensione (LLM).

1. Raccolta Dati: Gli autori hanno utilizzato il software Pyrra per raccogliere post da varie piattaforme social alternative tra il 2024 e il 2025, ottenendo un dataset di circa 63.628 istanze. I dati sono stati filtrati utilizzando termini seme che includevano insulti OOV noti (muzrat, pislam, ecc.).
2. Annotazione e Topoi: Un sottoinsieme dei dati è stato etichettato manualmente da ricercatori universitari e esperti di terminologia islamica. Il processo di etichettatura ha categorizzato i contenuti in cinque specifici topoi islamofobi:
   • Oppressione delle donne
   • Attacchi al Profeta Maometto
   • Odio verso l'Islam (come sistema di credenze)
   • Retorica anti-immigrati
   • Bias razziale
3. Test delle Ipotesi:
   • H1 (Comprensione degli LLM dei Termini OOV): Gli autori hanno utilizzato GPT-4 per classificare i post contenenti termini semi-codificati, assegnando un punteggio di negatività (0–1) per determinare se il modello potesse identificare il discorso d'odio senza parole chiave tossiche esplicite.
   • H2 (Confronto sulla Tossicità): Utilizzando la Google Perspective API, lo studio ha confrontato i punteggi di tossicità dei post islamofobi con un dataset di base di post antisemiti (350 campioni ciascuno).
   • H3 (Classificazione dei Topoi): Gli autori hanno valutato la capacità di GPT-4 di classificare i topoi specifici presenti nel discorso, confrontando le previsioni del modello con la verità fondamentale etichettata da umani utilizzando precisione, richiamo e punteggi F.

Risultati Chiave

• Comprensione degli LLM dei Termini OOV: GPT-4 ha dimostrato una forte capacità di identificare l'intento ostile dietro i termini semi-codificati. Il punteggio medio di tossicità assegnato da GPT-4 agli insulti islamofobi è stato di 0,8767, significativamente più alto di una linea di base neutra di 0,5 (t = 10,78, p < 0,05). Tuttavia, l'accuratezza del modello dipendeva fortemente dal contesto; ad esempio, il termine mohammedan è stato talvolta valutato come neutro in assenza di altri segnali aggressivi, e il nome Abdul è stato occasionalmente identificato erroneamente come un riferimento benigno piuttosto che come un insulto.
• Livelli di Tossicità: Lo studio ha rilevato che il discorso islamofobo presenta una tossicità significativamente più elevata rispetto al discorso antisemita. Il punteggio medio di tossicità per i campioni islamofobi è stato di 0,67, rispetto a 0,40 per i campioni antisemiti (t = 17,01, p ≈ 0). I topoi più tossici sono stati identificati come quelli che prendono di mira gli immigrati musulmani e il Profeta Maometto.
• Limitazioni nella Classificazione dei Topoi: Sebbene GPT-4 abbia funzionato bene nell'identificare i topoi relativi al Profeta Maometto (punteggio F: 0,88) e all'odio verso la religione dell'Islam (punteggio F: 0,76), ha faticato con i topoi riguardanti il Bias razziale, l'Immigrazione e l'Oppressione delle donne. La matrice di confusione ha rivelato che il modello spesso non riusciva a distinguere tra queste categorie, probabilmente a causa della dipendenza da associazioni specifiche di parole chiave (ad es. "pedofilo" per il topos del Profeta) piuttosto che da una profonda comprensione delle narrazioni ideologiche sottostanti.

Significato e Affermazioni
Il documento afferma di essere uno dei primi studi su larga scala focalizzati specificamente su termini semanticamente codificati e OOV nel contesto dell'islamofobia. I suoi contributi principali sono:

1. Dimostrazione delle Capacità degli LLM: Mostrare che gli LLM all'avanguardia (in particolare GPT-4) possiedono la comprensione contestuale necessaria per riconoscere insulti semi-codificati che i filtri tradizionali basati su parole chiave potrebbero perdere.
2. Disparità di Tossicità: Evidenziare che i contenuti islamofobi sulle piattaforme estremiste sono statisticamente più tossici e violenti dei contenuti antisemiti, suggerendo la necessità di strategie di moderazione differenziate.
3. Identificazione delle Lacune: Gli autori concludono con modestia che, sebbene gli LLM possano identificare i termini, mostrano ancora limitazioni nel distinguere i specifici topoi ideologici che guidano il discorso, specialmente quando l'odio è sottile o si basa su stereotipi culturali complessi.

Gli autori suggeriscono che le piattaforme social dovrebbero integrare questi specifici termini OOV e semi-codificati nelle loro strategie di moderazione. Notano inoltre che il lavoro futuro dovrebbe coinvolgere l'addestramento di modelli specializzati per rilevare queste terminologie e l'espansione dell'analisi ad altri insulti codificati (ad es. pajeet, chink) per promuovere ambienti online più sicuri.