Institutional Prestige as Geographic Bias in Large Language Models: Evidence from Three Factorial Experiments with Bootstrap Confidence Intervals
Attraverso tre esperimenti fattoriali che hanno coinvolto 4.320 chiamate API su quattro modelli linguistici di grandi dimensioni, questo studio dimostra che il prestigio istituzionale e la sede di pubblicazione esercitano effetti discriminatori significativamente più forti sulle valutazioni dei candidati rispetto all'etnia del nome dell'attore o all'origine geografica, con un "effetto di salvataggio" che mostra come le pubblicazioni ad alto impatto possano compensare in modo sproporzionato il basso prestigio istituzionale.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel mondo moderno, l'intelligenza artificiale è diventata silenziosamente un guardiano. Questi programmi informatici, noti come modelli linguistici di grandi dimensioni, sono sempre più chiamati a prendere decisioni che plasmano le vite umane. Aiutano a decidere chi ottiene un lavoro, chi riceve una sovvenzione per la ricerca e chi ha diritto a un prestito. Lo fanno leggendo le candidature e assegnando punteggi, agendo come giudici automatizzati. Per anni, gli scienziati hanno temuto che questi giudici digitali potessero portare con sé gli stessi pregiudizi degli esseri umani che li hanno creati. Sappiamo che possono essere prevenuti contro le persone in base al loro nome, al loro genere o alla loro razza. Ma è emersa una domanda nuova, più sottile: questi modelli favoriscono i candidati semplicemente per il luogo in cui hanno studiato? Non si tratta della qualità del lavoro svolto da una persona, ma della reputazione dell'istituzione presente sul suo curriculum. Se un programma per computer assegna un punteggio più alto a uno scienziato di un'università famosa rispetto a uno scienziato altrettanto qualificato di un'università meno famosa, non sta essendo neutrale; sta rinforzando le gerarchie esistenti.
Un team di ricercatori si è posto l'obiettivo di testare questo tipo specifico di pregiudizio utilizzando quattro diversi modelli di intelligenza artificiale. Volevano sapere se i modelli stessero reagendo al prestigio di un'università o semplicemente al paese in cui si trovava quell'università. Per trovare la risposta, hanno creato migliaia di false candidature per lavori e sovvenzioni. Hanno mantenuto le competenze e l'esperienza del candidato esattamente identiche in ogni singolo scenario. Le uniche cose che hanno cambiato sono state il nome dell'università frequentata dal candidato e, in alcuni casi, il nome della rivista dove il candidato aveva pubblicato i suoi lavori. Hanno testato candidati provenienti da università americane di alto livello, da istituzioni rispettate in Cile e Colombia, e da un'università in Ecuador che non compare nelle classifiche globali. Hanno anche variato i nomi sulle candidature includendo origini anglosassoni, latine e arabe per vedere se i modelli continuavano a mantenere i vecchi stereotipi.
I risultati sono stati chiari e statisticamente robusti. I modelli di intelligenza artificiale hanno costantemente assegnato punteggi più alti ai candidati provenienti da università prestigiose. Questo divario non era una piccola fluttuazione; era una tendenza costante e misurabile. In tutti i modelli e nei diversi campi professionali, un candidato proveniente da un'università di alto livello riceveva un punteggio quasi di tre decimi di punto superiore rispetto a un candidato proveniente da un'università non classificata. Nel mondo della valutazione automatizzata, questa differenza è significativa. Tuttavia, quando i ricercatori hanno esaminato i nomi sulle candidature, la storia è cambiata. I modelli non hanno mostrato una preferenza statisticamente significativa per i candidati con nomi anglosassoni rispetto a quelli con nomi latini o arabi. I punteggi per questi diversi gruppi di nomi erano così vicini che la differenza poteva essere attribuita al caso. Ciò suggerisce che, sebbene i modelli siano stati addestrati con successo a ignorare i nomi etnici, non sono stati addestrati a ignorare lo status della scuola su un curriculum.
Per capire se questo pregiudizio derivasse dalla reputazione della scuola o dal paese in cui si trovava, i ricercatori hanno eseguito un secondo set di esperimenti. Hanno confrontato un'università altamente classificata in Messico con un'università poco classificata, non classificata, negli Stati Uniti. Se i modelli fossero stati semplicemente prevenuti contro le nazioni in via di sviluppo, avrebbero dovuto preferire l'università americana. Inve che, i modelli tendevano a favorire l'università messicana, anche se era meno famosa delle grandi università americane, ma più famosa della piccola università americana. Ciò ha dimosttato che i modelli stavano reagendo al prestigio dell'istituzione stessa, non solo alla geografia. Il pregiudizio riguardava il marchio dell'università, non il passaporto del candidato.
La scoperta più sorprendente è avvenuta quando i ricercatori hanno introdotto una terza variabile: la rivista dove il candidato aveva pubblicato la sua ricerca. Hanno confrontato candidati che avevano pubblicato nella rivista scientifica più famosa al mondo con quelli che avevano pubblicato in una rivista più piccola e ad accesso aperto. La differenza nei punteggi era enorme. Il prestigio della rivista contava molto di più del prestigio dell'università. Un candidato da un'università meno famosa che aveva pubblicato nella rivista principale riceveva un punteggio molto più alto rispetto a un candidato di un'università di alto livello che aveva pubblicato nella rivista più piccola. Infatti, il incremento derivante da una rivista famosa era quasi sei volte più forte dell'incremento derivante da un'università famosa. Questo ha creato un "effetto salvataggio", in cui pubblicare in una rivista di alto livello compensava completamente la mancanza di prestigio istituzionale. I modelli sembravano considerare una pubblicazione di alto livello come un segnale di qualità così forte da superare il pregiudizio contro la scuola.
I ricercatori hanno anche osservato quanto fossero coerenti i modelli nella loro valutazione. Hanno scoperto che, nel valutare i candidati provenienti da istituzioni meno famose, i modelli erano più incoerenti. Una volta, il modello poteva dare un punteggio basso a un candidato di un'università più piccola, e la volta successiva, poteva dare un punteggio leggermente più alto per lo stesso identico profilo. Questa incoerenza non accadeva altrettanto spesso con i candidati di università di alto livello. Ciò suggerisce che i modelli sono meno sicuri nel giudicare le persone provenienti da istituzioni che conoscono meno, portando a un doppio svantaggio: punteggi medi più bassi e valutazioni più imprevedibili.
In definitiva, questo studio rivela che, sebbene l'intelligenza artificiale abbia fatto progressi nell'evitare alcune forme di discriminazione, ha ereditato un profondo pregiudizio verso lo status. I modelli agiscono come amplificatori delle gerarchie sociali esistenti, premiando il familiare e il prestigioso e penalizzando l'ignoto. Non sembrano interessarsi del paese di origine tanto quanto del nome del marchio della scuola. Tuttavia, lo studio offre anche una strada da seguire. Mostra che il lavoro di alta qualità, quando pubblicato nei luoghi giusti, può abbattere queste barriere. Per i ricercatori provenienti da istituzioni meno famose, la strada verso una valutazione equa da parte di questi giudici digitali non risiede nel cambiare i propri nomi o i propri paesi, ma nel peso innegabile del proprio lavoro pubblicato. Le macchine stanno imparando a dare valore al lavoro, ma solo quando questo viene presentato sul palcoscenico più prestigioso.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.