Computational Orientalism: Measuring Structural Discourse Bias in Large Language Models Using the Middle East Cultural Sensitivity Score (MECSS)
Questo articolo introduce il Middle East Cultural Sensitivity Score (MECSS) per dimostrare che i grandi modelli linguistici, inclusi quelli sviluppati in Medio Oriente, riproducono sistematicamente pregiudizi orientalisti strutturali attraverso il "Said-washing" e la contestazione della conoscenza occidentale come universale, rivelando che le metriche standard di equità non riescono a rilevare queste profonde distorsioni epistemiche.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Quando chiediamo a un computer di spiegare una cultura, spesso assumiamo di ricevere un riassunto neutrale di fatti. Ma i sistemi che rispondono a queste domande non sono lavagne vuote. Sono costruiti su vaste biblioteche di testi scritti per lo più da persone in Occidente, in inglese, e imparano a parlare imitando i modelli presenti in quelle biblioteche. Ciò significa che quando un utente interroga il computer sul Medio Oriente, il computer non si limita a recuperare informazioni; esso costruisce una storia basata sulle assunzioni incorporate nel suo addestramento. Per decenni, gli studiosi hanno descritto un modo specifico di raccontare storie sull'Oriente, noto come Orientalismo. Questo non riguarda solo l'essere maleducati o usare stereotipi. È un'abitudine strutturale più profonda della scrittura che tratta l'Occidente come l'osservatore normale e attivo e l'Oriente come un oggetto passivo e misterioso che deve essere spiegato secondo le regole occidentali. Presuppone che le idee occidentali siano verità universali, mentre le idee locali siano solo "particolarità culturali". La domanda che i ricercatori si pongono ora è se l'intelligenza artificiale moderna, che è diventata una fonte primaria di informazione per centinaia di milioni di persone, stia silenziosamente ripetendo questi vecchi schemi, anche quando cerca di essere educata.
Un ricercatore si è proposto di misurare questo pregiudizio invisibile in due diversi modelli linguistici di grandi dimensioni. Uno era un sistema potente sviluppato negli Stati Uniti, e l'altro era un modello costruito negli Emirati Arabi Uniti, addestrato con una quantità significativa di contenuti in arabo. Il ricercatore voleva testare un'idea speranzosa: che costruire un'intelligenza artificiale in Medio Oriente, utilizzando lingue locali e dati regionali, avrebbe naturalmente prodotto una visione più equa e meno parziale della regione. Per trovare la risposta, ha creato un nuovo strumento di misurazione chiamato Middle East Cultural Sensitivity Score (Punteggio di Sensibilità Culturale del Medio Oriente). Invece di cercare solo insulti ovvi o parole offensive, questo strumento esaminava la struttura stessa delle frasi generate dai modelli. Controllava sette abitudini specifiche, come se il modello trattasse l'intero Medio Oriente come un unico blocco indistinto, se descrivesse le popolazioni locali come vittime passive piuttosto che come decisori attivi, e se utilizzasse le teorie politiche occidentali come il modo predefinito per spiegare gli eventi, trattando al contempo la conoscenza locale come qualcosa che necessitava di una giustificazione speciale.
Il ricercatore ha gestito 280 conversazioni, ponendo ai modelli una vasta gamma di domande su politica, cultura e storia. Ha poi analato le risposte per vedere quanto spesso i modelli cadessero in queste trappole strutturali. I risultati hanno mostrato che entrambi i modelli, indipendentemente da dove fossero stati costruiti, riproducevano questi schemi di pregiudizio in modo sistematico. Il modello americano mostrava un certo pregiudizio, ma il modello costruito negli Emirati Arabi Uniti otteneva in realtà un punteggio più alto sulla scala del pregiudizio, il che significa che riproduceva i modelli problematici con maggiore frequenza e intensità. Questo risultato mette in discussione l'assunto che cambiare semplicemente la posizione degli sviluppatori o aggiungere lingue locali ai dati di addestramento sia sufficiente per risolvere il problema. Il ricercatore ha scoperto che il modello degli Emirati Arabi Uniti, nonostante le sue origini regionali, faceva ancora affidamento su pesanti quadri di riferimento occidentali per spiegare il mondo, trattandoli come la lente standard attraverso la quale tutto deve essere visto.
Una delle scoperte più sorprendenti è stato un fenomeno che il ricercatore ha chiamato "Said-washing". Questo accade quando un modello inizia una risposta dichiarando esplicitamente che la regione è diversificata e complessa, per poi seguire immediatamente tale affermazione con una generalizzazione che ignora proprio quella complessità. Ad esempio, un modello potrebbe dire: "Certamente, il Medio Oriente possiede molte culture e storie diverse", e poi procedere immediatamente a descrivere la "società mediorientale" come un'entità singola e unificata con un unico insieme di motivazioni. Questo schema è apparso in quasi l'88% delle conversazioni con il modello americano e in circa il 63% delle conversazioni con il modello degli Emirati Arabi Uniti. Ciò suggerisce che i modelli abbiano imparato a simulare l'apparenza della sensibilità senza cambiare realmente la struttura sottostante del loro pensiero. Possono dire le parole giuste per sembrare equi, ma il modo in cui organizzano l'informazione rimane profondamente radicato nei vecchi modi coloniali di vedere il mondo.
Lo studio ha anche rivelato che il pregiudizio non riguardava solo ciò che i modelli dicevano, ma come organizzavano il mondo. Entrambi i modelli trattavano costantemente i quadri analitici occidentali come il modo predefinito e non marcato di comprendere la realtà, mentre trattavano la conoscenza non occidentale come qualcosa di particolare e che richiedeva una spiegazione speciale. Questa è stata la scoperta più costante in entrambi i sistemi, apparendo in quasi ogni conversazione. Il ricercatore ha osservato che la differenza nelle prestazioni dei modelli potrebbe essere dovuta in parte alle loro dimensioni, poiché il modello americano era significativamente più grande e avanzato di quello degli Emirati Arabi Uniti. I modelli più piccoli tendono a produrre testi più semplici e meno sfumati, che possono somigliare alle ampie generalizzazioni misurate dal ricercatore. Tuttavia, il fatto che entrambi i modelli convergano sullo stesso alto livello di pregiudizio riguardo all'uso dei quadri occidentali suggerisce che il problema sia più profondo rispetto alla semplice dimensione del computer o alla posizione degli sviluppatori.
In definitiva, il documento conclude che il pregiudizio non è un semplice errore che può essere corretto aggiungendo più lingue o spostando i server in un paese diverso. Il problema è epistemologico, ovvero riguarda la natura stessa della conoscenza che i modelli hanno appreso. I dati di addestramento stessi sono pieni di prospettive occidentali che trattano il Medio Oriente come un oggetto da studiare piuttosto che come un soggetto dotato di propria agenzia. Per cambiare davvero questo, il ricercatore sostiene, l'addestramento deve essere trasformato includendo un volume molto più ampio di studi scritti da studiosi della regione, nelle loro stesse lingue e utilizzando le proprie tradizioni intellettuali. Finché i dati non cambieranno, questi sistemi continueranno a generare risposte che suonano sicure e autorevoli, ma che silenziosamente rinforzano una visione del mondo in cui l'Occidente è il narratore e il resto del mondo è soltanto la storia.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.