Internet è un vasto e rumoroso mercato di espressione umana, dove una singola frase può essere uno scherzo innocuo per una persona e un'arma di esclusione per un'altra. Per anni, i computer hanno cercato di sorvegliare questo spazio, ma sono stati spesso goffi, cercando semplici parole brutte piuttosto che comprendere il complesso contesto sociale in cui tali parole appaiono. Faticano a distinguere tra un insulto amichevole tra amici e un vero attacco all'identità di una persona, specialmente quando l'attacco è nascosto dietro lo slang locale, riferimenti culturali o sottili stereotipi. Questa è la sfida centrale del rilevamento dell'hate speech: non si tratta solo di trovare parole offensive, ma di capire chi viene preso di mira, quale sia l'argomento e perché causi un danno. La difficoltà è complicata quando la lingua non è l'inglese, o quando l'odio è codificato in modi che solo le persone di una specifica cultura saprebbero riconoscere.

Un team di ricercatori ha proposto un nuovo modo per risolvere questo problema, allontanandosi da un singolo programma informatico che cerca di dare un giudizio rapido. Inveio, hanno costruito un sistema che imita un panel di esperti umani, dove diversi "agenti" esaminano lo stesso testo da diverse angolazioni prima di raggiungere una conclusione finale. Il loro lavoro, testato sia su testi cinesi che inglesi, suggerisce che scomporre un post lungo in pezzi più piccoli e far sì che più prospettive discutano il proprio caso porti a una comprensione molto più accurata di ciò che sta accadendo. Il sistema non si limita a indovinare; costringe il computer a spiegare il proprio ragionamento, a controllare le proprie prove e a risolvere i disaccordi prima di etichettare un pezzo di testo come incitamento all'odio.

I ricercatori, guidati da Yifan Lyu e colleghi, hanno introdotto un framework chiamato SPAR-Hate. Il nome sta per un processo strutturato che inizia scomponendo un documento lungo in frasi o clausole più piccole e gestibili. Questo è fondamentale perché un singolo post potrebbe attaccare tre gruppi diversi in tre modi diversi, e un computer che tenta di leggere tutto l'insieme in una volta sola spesso si confonde, scambiando chi viene attaccato con ciò che viene detto. Scomponendo il testo in piccole unità, il sistema può concentrarsi su una specifica affermazione alla volta. Una volta isolata una piccola parte di testo, il sistema non chiede a un singolo' IA di decidere se si tratti di hate speech. Invece, chiede a tre diversi agenti virtuali di leggerlo, ognuno con un ruolo specifico.

Il primo agente è la "Vittima". Questa prospettiva è progettata per essere altamente sensibile al danno, all'esclusione e alla sensazione di essere presi di mira. Cerca micro-aggressioni, stereotipi e un linguaggio che faccia sentire un gruppo insicuro o deumanizzato. Il secondo agente è il "Moderatore", che agisce come il libro delle regole di una piattaforma di social media. Questo agente cerca violazioni chiare delle politiche di sicurezza, come insulti espliciti, minacce di violenza o molestie dirette, ignorando i disaccordi soggettivi che non superano il limite dell'abuso. Il terzo agente è il "Bystander Culturale", un esperto di contesto locale. Questo agente è addestrato a riconoscere il linguaggio in codice, i giochi di parole fonetici e lo slang regionale che potrebbero sembrare innocui per un estraneo ma sono profondamente offensivi all'interno di una specifica comunità. Nella versione cinese del sistema, a questo agente viene fornito anche un dizionario specializzato di termini d'odio locali per aiutarlo a individuare insulti nascosti.

Dopo che questi tre agenti hanno letto lo stesso piccolo pezzo di testo, spesso sono in disaccordo. Uno potrebbe dire che è innocuo, mentre un altro vede un chiaro attacco. È qui che avviene l'innovazione più importante del sistema: un "Auditore". Questo quarto agente non si limita a contare i voti. Inveve, agisce come un giudice, esaminando le prove fornite da ciascuno dei tre agenti. Controlla se le loro affermazioni sono fondate sul testo effettivo, se sono coerenti con le regole e se hanno senso nel contesto culturale. Se il "Moderatore" perde di vista un sottile insulto culturale che il "Bystander" ha colto, l'Auditore può scavalcare la visione del Moderatore. Se la "Vittima" è troppo sensibile a una dichiarazione neutrale, l'Auditore può correggere quella posizione. Il sistema costringe gli agenti a fornire citazioni specifiche dal testo per supportare le loro affermazioni, assicurando che la decisione finale sia basata su prove piuttosto che su una vaga sensazione.

I ricercatori hanno testato questo approccio su due benchmark principali, uno per l'inglese e uno per il cinese, che sono set di dati standard utilizzati per misurare quanto bene i computer comprendano l'hate speech. Per il benchmark inglese, il dataset pubblico forniva solo un set di test, quindi i ricercatori hanno rimescolato e ricomposto deterministicamente il set in sottogruppi di addestramento e di test per il loro studio. Hanno confrontato il loro sistema multi-agente con altri metodi, inclusi prompt semplici che chiedono a una singola IA di svolgere il compito e altri complessi framework di ragionamento. I risultati hanno mostrato che il sistema SPAR-Hate ha superato costantemente gli altri, in particolare nei compiti più difficili. È stato molto più bravo nell'identificare correttamente il bersaglio specifico di un attacco, le parole esatte usate come argomento e l'etichetta corretta del danno. I miglioramenti sono stati più evidenti quando la valutazione era rigorosa, richiedendo al computer di ottenere correttamente il bersaglio, l'argomento e l'etichetta contemporaneamente. Ciò suggerisce che il sistema non sta solo indovinando più spesso, ma sta effettivamente comprendendo meglio la struttura dell'hate speech.

Uno dei risultati più sorprendenti è stato che il sistema ha funzionato bene anche senza essere stato specificamente addestrato sui dati. I ricercatori hanno utilizzato un grande modello linguistico che non era stato perfezionato (fine-tuned) per questo compito specifico, facendo affidamento invece sulla struttura del loro framework multi-agente e sulla qualità dei prompt scritti. Questo è significativo perché suggerisce che il modo in cui il problema viene risolto — scomponendolo e utilizzando prospettive diverse — è più importante del semplice avere un modello più grande o più specializzato. Il sistema ha anche dimostrato di poter essere "distillato" in un modello più piccolo e veloce. Insegnando a un computer più piccolo di imitare il ragionamento passo dopo passo del team più grande, i ricercatori hanno creato una versione quasi altrettanto accurata ma molto più efficiente, provando che la logica del sistema poteva essere trasferita a una tecnologia più semplice.

Lo studio ha anche evidenziato i limiti della tecnologia attuale. Anche con questo avanzato framework, il sistema a volte ha avuto difficoltà con i confini di un argomento, includendo occasionalmente troppo testo nella definizione dell' "attacco". Tuttavia, i ricercatori hanno scoperto che il sistema era particolarmente bravo a gestire le sfumature culturali che mettono in difficoltà altri modelli. Ad esempio, nel testo cinese, il sistema ha identificato con successo insulti fonetici — parole che suonano come termini innocui ma che sono scritte diversamente per significare qualcosa di offensivo — utilizzando la conoscenza specializzata del suo agente Bystander Culturale. In inglese, è stato più bravo a distinguere tra lo slang recuperato usato all'interno di una comunità e le stesse parole usate come armi da parte di esterni.

Il lavoro non sostiene di aver risolto interamente il problema del rilevamento dell'hate speech. I ricercatori riconoscono che il loro sistema è attualmente limitato al cinese e all'inglese e che non è stato testato contro ogni possibile lingua o contesto culturale. Notano anche che qualsiasi sistema progettato per segnalare contenuti dannosi comporta il rischio di essere utilizzato per la censura o la sorveglianza. Il documento sottolinea che, sebbene il loro metodo renda il processo decisionale più trasparente e tracciabile, l'implementazione nel mondo reale richiederebbe comunque la supervisione umana, processi di appello e un monitoraggio costante per garantire che non colpisca ingiustamente gruppi specifici.

In definitiva, il paper presenta un cambiamento nel modo in cui pensiamo di insegnare ai computer a comprendere il conflitto umano. Invece di cercare di costruire un singolo algoritmo perfetto che sappia tutto, i ricercatori suggeriscono che un approccio collaborativo, in cui diverse prospettive specializzate vengono pesate e bilanciate, è più efficace. Simulando un processo umano di dibattito e arbitrato, il sistema è in grado di navigare nella natura disordinata, soggettiva e culturalmente dipendente dell'hate speech con un livello di precisione che i metodi precedenti non possedevano. Le scoperte suggeriscono che il futuro della moderazione dei contenuti potrebbe non risiedere in modelli più grandi, ma in modi più intelligenti e strutturati di utilizzare i modelli che già abbiamo a disposizione.