Beyond the pale: Assessing prevalence and contents of extremist speech in LLM training data

I modelli linguistici di grandi dimensioni sono i motori che alimentano molti degli strumenti di intelligenza artificiale che utilizziamo oggi, dai chatbot che rispondono alle domande ai sistemi che aiutano a scrivere codice. Queste macchine non imparano venendo istruite con delle regole in una classe; invece, imparano leggendo enormi quantità di testo da internet, libri e altre fonti digitali. Questo processo è noto come addestramento. Affinché un modello diventi fluente e colto, deve consumare una biblioteca di testi così vasta che richiederebbe un intero tempo di vita umano per essere letta tutta. I ricercatori si sono concentrati a lungo su come questi modelli vengano costruiti e su come vengano perfezionati dopo il loro apprendimento iniziale per garantire che siano sicuri e utili. Tuttavia, una domanda critica è rimasta in gran parte non posta: esattamente che tipo di materiale sta leggendo il modello, in primo luogo? Se la biblioteca di addestramento contiene idee dannose, d'odio o pericolose, il modello potrebbe imparare a ripeterle, anche se i suoi creatori cercano in seguito di insegnargli un comportamento migliore. Questo non è solo un glitch tecnico; è una questione di sicurezza pubblica, poiché questi sistemi sono sempre più utilizzati da persone di tutte le età, inclusi i bambini, che potrebbero incontrare punti di vista pericolosi senza preavviso.

Un team di ricercatori dell'Università di Manchester si è posto l'obiettivo di investigare sui contenuti dei dati di addestramento per una delle collezioni di testo open-source più significative disponibili per la comunità scientifica. Questa collezione, nota come Dolma, fune da fondamento per una serie di modelli linguistici avanzati chiamati OLMo. I ricercatori volevano sapere se questa enorme biblioteca contenesse discorsi estremisti — testi che promuovono la violenza, l'odio o il rovesciamento dei sistemi democratici. Per rispondere a questo, non si sono limitati a indovinare o a fare affidamento su un singolo programma informatico. Inveve, hanno costruito un processo accurato e multi-fase per trovare questi documenti. Hanno iniziato prendendo un campione casuale di 200.000 documenti dalla collezione Dolma, che rappresenta una fetta minuscola ma statisticamente significativa delle tre trilioni di parole su cui il modello è stato addestrato. Hanno poi utilizzato diversi modelli informatici per scansionare questi documenti, chiedendo a ciascuno di identificare testi che corrispondessero a specifiche definizioni di estremismo. Queste definizioni provenivano da linee guida ufficiali del governo del Regno Unito e da esperti accademici nello studio del terrorismo e della violenza politica.

Il processo è stato progettato per essere conservativo, il che significa che i ricercatori miravano a essere molto sicuri prima di etichettare qualcosa come estremista. Hanno utilizzato una tecnica chiamata "unione di controlli" (union check), in cui hanno chiesto ai modelli informatici di segnalare un documento se corrispondeva a una qualsiasi delle diverse definizioni di estremismo. Ciò ha aiutato a garantire che i modelli stessero comprendendo correttamente il compito. Una volta che i computer avevano segnalato potenziali corrispondenze, i ricercatori le hanno sottoposte a ulteriore scrutinio. Hanno utilizzato un sistema di intelligenza artificiale più potente per filtrare i falsi allarmi e, infine, hanno coinvolto un esperto umano specializzato nello studio del discorso estremista per leggere attentamente un piccolo campione dei testi segnalati. Questa revisione umana è stata cruciale perché il testo trovato "nel mondo reale" è spesso disordinato, pieno di linguaggio in codice o scritto in modo difficile da interpretare per le macchine. L'esperto ha esaminato questi documenti per confermare se contenessero realmente le narrazioni pericolose che i ricercatori stavano cercando.

I risultati di questa investigazione sono stati chiari e preoccupanti. I ricercatori hanno scoperto che la collezione di addestramento Dolma contiene quasi certamente centinaia di migliaia di documenti con contenuti estremisti. In base alle loro stime conservative, hanno calcolato che circa un documento ogni 2.000 nel campione casuale conteneva narrazioni estremiste o discorsi d'odio. Quando hanno proiettato questo tasso sull'intero dataset, che consiste di miliardi di documenti, i numeri indicavano un vasto serbatoio di materiale dannoso. Lo studio ha identificato vari tipi di contenuto pericoloso, tra cui appelli diretti alla violenza, discorsi d'odio rivolti a specifici gruppi razziali o religiosi e narrazioni che cercano di minare le istituzioni democratiche. Interessantemente, i ricercatori hanno scoperto che la specifica definizione di estremismo utilizzata per la ricerca cambiava i risultati. Una definizione, che si concentrava sul conflitto tra "in-group" (gruppi interni) e "out-group" (gruppi esterni), ha gettato una rete molto ampia, catturando molti testi che erano odiosi ma non necessariamente estremisti in senso politico. Un'altra definizione, basata sui criteri ufficiali del governo, era più precisa ma ha comunque identificato una quantità significativa di materiale dannoso.

Una scoperta sorprendente è stata l'assenza di un tipo specifico di estremismo nel campione. Nonostante la natura globale di internet, i ricercatori hanno trovato quasi nessun testo relativo al terrorismo jihadista nel loro campione, con una singola notizia riguardante un tale evento. Ciò suggerisce che le rigide regolamentazioni e le politiche aziendali riguardanti le organizzazioni terroristiche potrebbero aver rimosso con successo questo tipo specifico di contenuto dai dataset pubblici che alimentano questi modelli. Tuttavia, lo studio ha rilevato che le narrazioni estremiste di destra erano molto più prevalenti, apparendo spesso sotto forma di blog politici, commenti nei forum e teorie del complotto. I ricercatori hanno anche notato che gran parte del contenuto trovato era "borderline" — testo altamente polarizzato, violento o odioso, ma che non sempre rientrava in una stretta definizione legale di estremismo. Questa zona grigia è particolarmente pericolosa perché è più difficile da filtrare, eppure può comunque normalizzare le opinioni estreme per i modelli che le leggono.

Le implicazioni di queste scoperte vanno oltre i dettagli tecnici di come vengono costruiti i modelli. I ricercatori sostengono che il problema non possa essere risolto semplicemente cercando di correggere i modelli dopo che hanno già appreso da questi dati. Se un modello ha memorizzato migliaia di documenti che invocano la violenza o promuovono l'odio, potrebbe faticare a "disimparare" tali schemi, anche con un addestramento supplementare sulla sicurezza. Lo studio evidenzia che la composizione dei dati di addestramento è un problema fondamentale che richiede attenzione urgente da parte di coloro che costruiscono questi sistemi. Non basta concentrarsi su come i modelli si comportano una volta rilasciati; la sicurezza del prodotto finale dipende fortemente da ciò che è stato inserito durante la loro fase iniziale di apprendimento. I ricercatori concludono che c'è bisogno di una discussione più ampia su quali tipi di contenuto siano accettabili per l'inclusione nelle librerie di addestramento dell'intelligenza artificiale, specialmente quando quelle librerie vengono utilizzate per creare strumenti che interagiscono con il pubblico ogni giorno.