Improving Implicit Hate Speech Detection via a Community-Driven Multi-Agent Framework

Sintesi Tecnica: Miglioramento del rilevamento dell'hate speech implicito tramite un framework multi-agente guidato dalla comunità

Problematica
La proliferazione di contenuti dannosi online pone una significativa minaccia agli ambienti digitali inclusivi. Sebbene i sistemi di moderazione automatizzata che utilizzano modelli linguistici di grandi dimensioni (LLM) e architetture basate su Transformer abbiano migliorato l'accuratezza complessiva della classificazione, essi faticano con l'equità (fairness) e il rilevamento dell'hate speech implicito. Gli attuali sistemi mostrano spesso un bias conservativo: ottengono elevati tassi di Veri Negativi (TNR) identificando correttamente i contenuti benigni, ma soffrono di bassi tassi di Veri Positivi (TPR), fallendo nel rilevare l'hate speech sottile, codificato o dipendente dal contesto. Questo squilibrio danneggia sproporzionatamente le comunità marginalizzate. Inoltre, l'hate speech è un costrutto intrinsecamente sociale e contestuale; la sua interpretazione dipende fortemente dalle identità coinvolte. Gli approcci automatizzati esistenti, che spesso incarnano i punti di vista dominanti presenti nei loro dati di addestramento, non riescono a integrare sistematicamente le prospettive delle minoranze, portando a errori di classificazione che minano la fiducia negli sforzi di moderazione.

Metodologia
Gli autori propongono un framework di rilevamento contestualizzato implementato come un sistema multi-agente. L'architettura consiste in due componenti primarie che operano all'interno della libreria AutoGen utilizzando il modello Gemini-2.5-Flash:

1. Agente Moderatore: Un agente centrale responsabile della valutazione semantica e contestuale iniziale dei post sui social media. Opera secondo robuste policy di moderazione, producendo una classificazione iniziale (Hate/Not Hate/Unsure), una giustificazione e un flag metacognitivo che indica se è necessaria una consulenza esperta.
2. Agenti di Comunità: Agenti specializzati che rappresentano specifici gruppi socio-culturali bersaglio dell'hate speech. Questi agenti fungono da consulenti esperti.
   • Costruzione: Quando viene identificato un gruppo target, il sistema genera automaticamente query di ricerca per recuperare informazioni di base dalla base di conoscenza di Wikipedia. Questi dati fattuali vengono codificati in embedding di token tramite un encoder Transformer. Un embedding dell'agente di comunità viene poi derivato tramite cross-attention tra la query del gruppo e il testo recuperato, garantendo che la "persona" dell'agente sia ancorata a un contesto socio-culturale pubblico e fattuale, piuttosto che a bias allucinati.
   • Workflow: Il processo segue una procedura in tre fasi:
     1. Valutazione Preliminare: Il Moderatore analizza il post.
     2. Consulenza Condizionale: Se il Moderatore è incerto (entro limiti di incertezza definiti), attiva una consulenza mirata con il relativo Agente di Comunità.
     3. Sintesi Decisionale: Il Moderatore integra gli approfondimenti dell'Agente di Comunità con la propria valutazione iniziale per produrre una classificazione e una giustificazione finale informata.

Il sistema è stato valutato sul dataset ToxiGen, che è progettato specificamente per sfidare i sistemi di moderazione con tossicità implicita (oltre il 98% degli esempi tossici è sottile). Lo studio si è concentrato su sei gruppi target: persone nere, asiatici, ebrei, musulmani, donne e la comunità LGBTQ.

Contributi Chiave

1. Framework Multi-Agente: Il documento introduce un nuovo framework di rilevamento guidato dalla comunità per l'hate speech implicito che operazionalizza i principi di equità integrando Agenti di Comunità specializzati che rappresentano i gruppi demografici bersaglio.
2. Integrazione Contestuale: A differenza dei metodi di prompting standard, questo approccio integra esplicitamente il contesto socio-culturale da fonti di conoscenza pubblicamente disponibili (Wikipedia) per abilitare una moderazione consapevole dell'identità.
3. Rigore della Valutazione: Lo studio migliora la valutazione tecnica dando priorità alla Accuratezza Bilanciata (bACC) come metrica centrale. Questa metrica pesa equamente i tassi di Veri Positivi (TPR) e i tassi di Veri Negativi (TNR), affrontando il compromesso tra il rilevamento dell'odio e l'evitare la soppressione del discorso legittimo.

Risultati
I risultati sperimentali sul dataset ToxiGen dimostrano che il framework multi-agente proposto supera significativamente i baseline di prompting allo stato dell'arte (Zero-shot, Few-shot e Chain-of-Thought prompting) e una versione ablativa del sistema senza Agenti di Comunità.

• Metriche di Performance: L'approccio Agentic ha raggiunto un TPR medio di 0,75, sensibilmente superiore ai baseline (che variano da 0,42 a 0,59). Ha mantenuto un alto TNR (0,969), risultando in una Accuratezza Bilanciata (bACC) media superiore di 0,86 rispetto allo 0,774 del Chain-of-Thought prompting.
• Equità (Fairness): Il framework ha migliorato l'equità di rilevamento per tutti i gruppi target. Lo studio di ablazione ha rivelato che, senza la consulenza dell'Agente di Comunità, le prestazioni sono diminuite significativamente, in particolare per gruppi marginalizzati come gli individui LGBTQ e le donne, dove il Moderatore da solo faticava a rilevare l'hate speech implicito.
• Significatività Statistica: Le differenze di performance tra l'approccio Agentic e gli altri metodi sono risultate statisticamente significative ($p < 0,001$).

Significatività e Rivendicazioni
Gli autori affermano che questo lavoro rappresenta un avanzamento pratico nell'intelligenza artificiale basata su agenti per la moderazione dei contenuti. Allontanandosi dai miglioramenti puramente testuali e modellistici, il framework affronta il limite fondamentale degli attuali sistemi: la mancanza di meccanismi espliciti per integrare i ricchi contesti sociali e culturali che danno forma all'hate speech implicito.

Lo studio asserisce che un design consultivo guidato dalla comunità produce benefici significativi sia per l'accuratezza del rilevamento che per l'equità della moderazione. Dimostra che l'incorporazione di una governance "expert-in-the-loop" attraverso agenti di comunità simulati permette al sistema di interpretare meglio il linguaggio in codice e gli allusioni storiche, producendo così decisioni di moderazione più accurate e socialmente allineate. Il lavoro si posiziona come un passo verso pratiche di moderazione più adattive e socialmente sensibili che riflettano le esperienze vissute dalle comunità bersaglio.