Causality Guided Representation Learning for Cross-Style Hate Speech Detection

Sintesi Tecnica: Apprendimento di Rappresentazioni Guidato dalla Causalità per il Rilevamento di Hate Speech Cross-Style (CADET)

Definizione del Problema
La proliferazione dell'hate speech online presenta una sfida significativa per la moderazione dei contenuti, in particolare per quanto riguarda il rilevamento dell'hate speech implicito. Mentre l'hate speech esplicito è caratterizzato da insulti accertati e attacchi diretti, l'implicito si basa su sarcasmo, ironia, stereotipi e linguaggio in codice, rendendo difficile per i modelli addestrati su indizi linguistici superficiali il loro rilevamento. Gli attuali sistemi di rilevamento soffrono di una scarsa capacità di generalizzazione attraverso diverse variazioni stilistiche e piattaforme. I modelli spesso si affidano a correlazioni spurie tra specifiche caratteristiche stilistiche (ad esempio, termini offensivi specifici o sintassi tipica di una piattaforma) e le etichette di odio, fallendo quando si confrontano con espressioni implicite o quando vengono distribuiti su piattaforme con diversi contesti demografici e di moderazione. Il problema centrale è distinguere il reale intento d'odio (il fattore causale) dalla manifestazione stilistica (il fattore di confondimento) che varia tra i diversi domini.

Metodologia: Il Framework CADET
Gli autori propongono CADET (Causality Guided Representation Learning for Cross-Style Hate Speech Detection), un framework basato su un ipotizzato grafo causale della generazione di hate speech.

1. Ipotesi Causale: La generazione di hate speech è modellata come un processo che coinvolge:

   • Ambiente Contestuale ($U$): Un confonditore non osservato (ad esempio, politiche della piattaforma, demografia) che influenza la motivazione del creatore, la selezione del bersaglio e le scelte stilistiche.
   • Fattori Latenti:
     • Motivazione del Creatore ($M$): L'intento di causare danno.
     • Bersaglio ($T$): Il gruppo o l'individuo preso di mira.
     • Stile ($S$): L'espressione linguistica (esplicita vs implicita).
   • Vera Motivazione ($M^*$): Una variabile latente invariante rispetto al dominio che rappresenta il genuino intento d'odio, indipendente dall'ambiente contestuale $U$.
   • Etichetta ($Y$): Determinata dalla vera motivazione $M^*$ e dal contesto $U$.

2. Componenti dell'Architettura:

   • Disentanglement Allineato alla Causalità: Il modello utilizza un encoder pre-addestrato (RoBERTa) per mappare il testo in uno spazio latente. Successivamente, disincapsula (disentangle) questa rappresentazione in quattro fattori latenti: variabili continue per la motivazione ($z_m$) e il confonditore ($z_u$), e variabili discrete per il bersaglio ($z_t$) e lo stile ($z_s$) tramite Gumbel-Softmax.
   • Mitigazione del Confonditore: Per evitare che i fattori latenti codifichino correlazioni spurie con il contesto, il framework impiega:
     • Ricostruzione Avversaria del Confonditore: Viene utilizzato un livello di inversione del gradiente (Gradient Reversal Layer - GRL) dove i discriminatori tentano di recuperare il confonditore $U$ dai fattori latenti fusi. L'encoder viene addestrato per minimizzare questo recupero, rimuovendo efficacementamente $U$ dai fattori causali.
     • Vincoli di Ortogonalità: Le proiezioni assicurano che i fattori latenti ($M, T, S, U$) siano mutuamente ortogonali, imponendo l'indipendenza statistica.
     • Ricostruzione dell'Input: Un decoder ricostruisce il testo originale dai fattori latenti fusi per garantire che il disentanglement preservi il significato semantico.
   • Ragionamento Controfattuale Latente: Per imporre l'invarianza dello stile, il modello interviene sulla variabile latente dello stile ($S$) all'interno dello spazio latente. Una "rete di flipping dello stile" inverte lo stile (ad esempio, da esplicito a implicito) mantenendo fissi la motivazione e il bersaglio. Il modello è addestrato per garantire che la previsione dell'odio rimanga coerente indipendentemente dall'intervento sullo stile (Counterfactual Consistency Loss).

3. Obiettivo di Addestramento: Il modello è ottimizzato tramite una funzione di perdita multi-obiettivo che combina la perdita del task (classificazione dell'odio), la classificazione del bersaglio/stile, l'ortogonalità, il deconfounding avversario, la ricostruzione e le perdite di coerenza controfattuale. Viene impiegato un curriculum di addestramento a stadi per stabilizzare l'ottimizzazione di questi obiettivi competitivi.

Contributi Chiave

• Grafo Causale Principled: Il documento introduce un modello causale formale che separa esplicitamente il processo generativo dell'hate speech in fattori latenti interpretabili (motivazione, bersaglio, stile, contesto), unificando il rilevamento dell'hate speech esplicito e implicito.
• Framework CADET: L'implementazione di un framework di apprendimento di rappresentazioni che operazionalizza questo grafo, utilizzando il ragionamento controfattuale e il deconfounding avversario per isolare l'intento d'odio dalle componenti stilistiche.
• Validazione Empirica: Esperimenti estesi su quattro dataset reali (IsHate, IHC, AbuseEval, DynaHate) dimostrano una performance superiore nei compiti di generalizzazione cross-style rispetto ai baseline allo stato dell'arte, inclusi i modelli NLP tradizionali, i detector specializzati di hate speech e i modelli linguistici di grandi dimensioni (LLM).

Risultati

• Generalizzazione Cross-Style: CADET raggiunge un macro-F1 medio di 0,81 nei compiti di trasferimento da esplicito a implicito, rappresentando un miglioramento relativo del 13% rispetto al baseline più forte. Nel trasferimento da implicito a esplicito, mantiene un solido F1 medio di 0,885.
• Robustezza: A differenza dei modelli convenzionali che mostrano un alto recall ma bassa precisione nelle impostazioni implicite (o viceversa), CADET mantiene prestazioni bilanciate. Supera significativamente i baseline causali (PEACE, HateWATCH) e i detector basati su LLM (ShieldGemma, Llama Prompt Guard), che mostrano performance erratiche o fallimenti negli scenari cross-style.
• Studi di Ablazione: La rimozione della perdita controfattuale ($L_{cf}$) provoca il calo di performance più significativo (una diminuzione di 24 punti di F1), confermando il ruolo critico dell'intervento sullo stile nell'apprendimento di rappresentazioni invarianti.
• Visualizzazione: Le visualizzazioni t-SNE confermano che lo spazio latente della motivazione ($z_m$) separa chiaramente i post odiosi da quelli non odiosi, mentre gli spazi di bersaglio, stile e confonditore no, validando il riuscito disentanglement dei fattori causali.

Significatività
Il paper sostiene che CADET offra una soluzione fondata per la sfida del rilevamento di hate speech invariante rispetto allo stile. Spostando l'attenzione dai pattern linguistici superficiali all'intento causale sottostante, il framework affronta la fragilità degli attuali modelli di fronte all'hate speech implicito e ai cambiamenti di dominio. Il lavoro evidenzia il potenziale del disentanglement causale e del ragionamento controfattuale nel creare sistemi di moderazione dei contenuti più robusti, interpretabili e generalizzabili, fornendo una via verso ambienti online più sicuri e capaci di adattarsi alle forme evolutive di hate speech.