Navigating the Rabbit Hole: Emergent Biases in LLM-Generated Attack Narratives Targeting Mental Health Groups

Sintesi Tecnica: Navigare nel "Rabbit Hole": Bias Emergenti in Narrazioni di Attacco Generate da LLM che Mirano a Gruppi di Salute Mentale

Definizione del Problema
Sebbene i Large Language Models (LLM) siano noti per esibire bias contro specifici gruppi di identità, il fenomeno degli attacchi mirati non provocati rimane poco esplorato. Nello specifico, manca la comprensione di come gli LLM scalino autonomamente narrazioni dannose contro popolazioni vulnerabili, come i gruppi legati alla salute mentale, anche quando questi gruppi non sono esplicitamente menzionati nei prompt iniziali. Le attuali valutazioni dei bias si affidano spesso all'elicitazione basata su prompt statici e diretti o a controlli di tossicità a singola generazione, fallendo nel catturare la natura ricorsiva e di rete di come la tossicità si dispieghi e si diffonda attraverso le traiettorie generative. Questo articolo affronta il vuoto nella comprensione di come le identità legate alla salute mentale siano sproporzionatamente bersagliate e stigmatizzate all'interno dei "Toxicity Rabbit Holes" (TRH), ovvero catene di generazione ricorsive in cui un LLM viene iterativamente istruito per rendere il contenuto sempre più tossico.

Metodologia
Lo studio utilizza il dataset Toxicity Rabbit Hole (TRH) (Dutta et al., 2024), un corpus su larga scala di 459 milioni di token generati da 10 LLM che prendono di mira 1.266 gruppi di identità. Per questa analisi, gli autori si concentrano sul modello Mistral 7B, comprendente 15.401 catene di generazione e 190.599 output individuali.

La metodologia procede attraverso tre fasi primarie:

1. Curatela dei Dati ed Estrazione delle Entità:

   • Gli autori hanno filtrato il corpus per trattenere solo le generazioni tossiche, escludendo gli output neutrali o di contro-discorso (counter-speech).
   • Utilizzando LLaMA-3.2 3B, hanno estratto le "entità vittime" (gruppi bersaglio degli attacchi) e le entità non partecipanti dal testo.
   • Un processo di consolidamento manuale ha unito le entità morfologicamente e semanticamente ridondanti (es. "Muslims" e "Moslems"), risultando in un vocabolario finale di 24.185 entità vittime uniche (VictimSet).
   • Un lessico specifico di 390 termini relativi alla salute mentale (derivato da ICD-10, Wikipedia e termini colloquiali) è stato utilizzato per filtrare un sottoinsieme di MHSet (195 entità uniche di salute mentale) dal VictimSet.

2. Costruzione della Rete (Rabbit Hole Network):

   • È stata costruita una rete diretta e pesata $G = (V, E)$ dove i nodi rappresentano le entità vittime e gli archi rappresentano le transizioni tra le entità nelle successive generazioni all'interno della stessa catena.
   • I pesi degli archi corrispondono alla frequenza delle transizioni ($u \to v$).
   • L'analisi si è concentrata sulla componente più grande debolmente connessa, contenente 24.184 nodi e 663.433 archi.

3. Framework Analitici:

   • Centralità di Rete (RQ1): Gli autori hanno calcolato la centralità di vicinanza (closeness), di grado (pesata/non pesata), PageRank e di intermediazione (betweenness) per i nodi MHSet rispetto ai nodi Non-MHSet, utilizzando i test di Mann-Whitney U per la significatività.
   • Rilevamento delle Comunità (RQ2): L'algoritmo di Leiden è stato applicato per identificare cluster di entità co-bersagliate. È stato calcolato un coefficiente di Gini per misurare la concentrazione delle entità MH all'interno di specifiche comunità.
   • Analisi della Stigmatizzazione (RQ3): Basandosi sul framework di Link & Phelan (2001), gli autori hanno analizzato l'evoluzione dei componenti dello stigma (Etichettamento, Stereotipizzazione Negativa, Separazione, Perdita di Status/Discriminazione) man mano che le catene progredivano dagli obiettivi iniziali ($V_{init}$) alla prima apparizione dei target di salute mentale ($V_{MH}$). LLaMA-3.2 3B è stato utilizzato per annotare la presenza di questi componenti e sono stati eseguiti test di Wilcoxon signed-rank su campioni appaiati all'interno delle catene.

Contributi Chiave

1. Valutazione Esplicita di Attacchi Non Provocati: Il paper fornisce la prima valutazione esplicita di attacchi generati da LLM che prendono di mira specificamente gruppi di salute mentale altamente vulnerabili all'interno di catene di generazione ricorsiva, dimostrando che questi gruppi vengono bersagliati anche senza un prompting iniziale.
2. Approccio Basato su Reti: Introduce un approccio basato su reti per studiare la propagazione dei bias relativi, modellando come il contenuto tossico transiti tra le entità e identificando "rabbit holes" strutturali dove le entità di salute mentale agiscono come hub centrali.
3. Valutazione della Stigmatizzazione Emergente: Lo studio quantifica il grado relativo di stigmatizzazione che emerge in queste catene, mostrando che l'inquadramento (framing) dei target di salute mentale diventa qualitativamente più severo rispetto ai target iniziali.

Risultati

• Centralità (RQ1): Le entità di salute mentale occupano posizioni significativamente più centrali nella rete rispetto alle entità non-MH.
  • Centralità di Vicinanza (Closeness): Le entità MH hanno una media di vicinanza significativamente più alta (Media = 0,71 vs 0,63, $p = 4,06 \times 10^{-10}$), indicando che sono strutturalmente più facili da raggiungere da altri nodi in meno passaggi.
  • Grado e PageRank: Le entità MH mostrano punteggi di centralità di grado (pesata e non pesata) e PageRank significativamente più alti ($p < 0,001$), suggerendo che sono punti focali frequenti e profondamente radicati in cluster influenti.
  • Intermediazione (Betweenness): Non è stata trovata alcuna differenza significativa, implicando che le entità MH funzionano come hub densi piuttosto che come ponti tra regioni disconnesse.
• Struttura delle Comunità (RQ2): Le entità MH non sono distribuite casualmente ma sono strettamente raggruppate.
  • Il coefficiente di Gini di 0,7 indica un'alta concentrazione.
  • Il 75,9% di tutte le entità MH risiede in sole due comunità: una contenente disturbi clinicamente specifici (es. disturbo bipolare, dislessia) e un'altra contenente termini ampi e socialmente costruiti (es. "persone con problemi di salute mentale").
  • Un sottoinsieme più piccolo di entità riflette il targeting intersezionale (es. "persone nere con malattie mentali").
• Evoluzione della Stigmatizzazione (RQ3): Man mano che le catene generative si spostano dai target iniziali ai target di salute mentale, la severità della stigmatizzazione aumenta significativamente in tutti e quattro i componenti.
  • Perdita di Status e Discriminazione: Hanno mostrato l'aumento più pronunciato (Differenza Proporzionale Media = -0,70, $p = 7,16 \times 10^{-143}$).
  • Etichettamento (Labeling): Ha mostrato anch'esso un forte aumento (Differenza Proporzionale Media = -0,47, $p = 5,44 \times 10^{-81}$).
  • Ciò indica che una volta invocati gli enti MH, il discorso vira verso una forma marcatamente più disumanizzante e discriminatoria.

Significatività e Rivendicazioni
Il paper sostiene che le attuali valutazioni di sicurezza degli LLM possiedono un punto cieco critico: i modelli possono colpire sproporzionatamente i gruppi di salute mentale anche quando questi gruppi sono assenti dal prompt iniziale. Gli autori affermano che la struttura generativa interna del modello, simile a un bias implicito, porta a un targeting ricorrente e all'amplificazione degli stigmi sociali attraverso la generazione ricorsiva.

La significatività di questo lavoro risiede nell'evidenziare che il danno non è semplicemente la presenza di bias, ma la sua escalation ricorsiva. Un singolo passaggio generativo in una traiettoria dannosa può degenerare in narrazioni profondamente disumanizzanti che le attuali barriere di sicurezza a singola generazione non riescono a catturare. Gli autori concludono che i paradigmi di sicurezza degli LLM devono passare da una moderazione reattiva a interventi proattivi e consapevoli delle traiettorie, capaci di rilevare pattern di danno emergenti in tempo reale. Inoltre, il lavoro suggerisce che le future strategie di riduzione del bias dovrebbero utilizzare reti di interazione tra entità per guidare il fine-tuning e gli interventi di contro-stigmatizzazione.

Limitazioni Riconosciute
Gli autori notano che le loro scoperte sono specifiche per il framework TRH e il modello Mistral 7B, il che potrebbe limitarne la generalizzabilità. Inoltre, sebbene i metodi di rete catturino le dipendenze strutturali, essi non tengono pienamente conto delle variazioni nell'intensità o nel framing degli attacchi oltre i componenti annotati. Lo studio si affida ad annotazioni inferite da LLM per la tossicità e lo stigma, che sono state verificate manualmente ma rappresentano comunque una stima del giudizio umano. Infine, l'elenco delle entità è stato compilato da fonti autorevoli, e lavori futuri potrebbero esplorare le biforcazioni basate sulla comunità nel modo in cui lo stigma viene inquadrato tra gli assi diagnostico e sociale.