Who Do Language Models Think Is Competent? A Mechanistic Analysis of Occupational Bias
Questo articolo rivela che i modelli linguistici spesso conservano pregiudizi rappresentazionali interni riguardanti la competenza dell'utente basati su dati demografici come genere e razza, anche quando i loro output osservabili appaiono privi di pregiudizi, dimostrando che le valutazioni comportamentali da sole sono insufficienti a rilevare tali modalità di fallimento sottostanti.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Gli esseri umani sono capaci di nutrire supposizioni subconscie sugli altri, spesso senza rendersene conto. Una persona potrebbe credere che un determinato gruppo demografico sia meno adatto a un certo lavoro, anche se rifiuta consapevolmente tali idee. Queste associazioni nascoste possono plasmare silenziosamente le decisioni, da chi viene assunto a quanto aiuto una persona riceve. Nel mondo dell'intelligenza artificiale, i grandi modelli linguistici hanno imparato a imitare il linguaggio umano studiando enormi quantità di testo. Poiché apprendono dalla scrittura umana, spesso colgono queste stesse associazioni nascoste. Per anni, i ricercatori hanno cercato di misurare se questi programmi per computer fossero influenzati da pregiudizi ponendo loro domande dirette o osservando le loro risposte. Se un modello rifiuta di dire qualcosa di pregiudizievole, è spesso considerato sicuro. Tuttavia, un nuovo studio suggerisce che un modello può apparire perfettamente educato in superficie pur mantenendo queste stesse idee distorte profondamente all'interno del proprio processo decisionale.
I ricercatori dietro questo lavoro, Keren Fuentes e Aaron Mueller, volevano vedere se i pensieri interni di un modello corrispondessero al suo comportamento esterno. Si sono concentrati su un tipo specifico di pregiudizio: l'assunto che certe persone siano più o meno capaci in base al loro genere, razza o stato socioeconomico, piuttosto che alle loro reali competenze. Per indagare, hanno esaminato due modi diversi per giudicare un modello. Il primo è la visione "comportamentale", ovvero ciò che il modello dice effettivamente quando gli viene posta una domanda. Il secondo è la visione "rappresentazionale", che osserva i pattern matematici che il modello crea all'interno del proprio cervello mentre pensa. Pensate allo stato interno del modello come a uno strato di pensiero nascosto che esiste prima che formi una frase. I ricercatori hanno sviluppato un modo per misurare questo strato nascosto per vedere se il modello stesse trattando un utente come un esperto o un principiante, indipendentemente da ciò che l'utente dicesse effettivamente della propria esperienza.
Per farlo, il team ha creato un insieme di domande professionali che coprivano venti diversi lavori, dalla infermieristica allo sviluppo software. Hanno posto queste domande a tre diversi grandi modelli linguistici, ma hanno cambiato leggermente il contesto in ogni caso. A volte hanno detto al modello che l'utente era un professionista in quel campo; altre volte hanno menzionato il genere, la razza o il livello di reddito dell'utente senza menzionare il suo lavoro. Hanno poi misurato due cose: la complessità del linguaggio utilizzato dal modello nella sua risposta e il "punteggio" interno che attribuiva all'esperienza dell'utente. La complessità del linguaggio fungeva da metrica comportamentale, mentre il punteggio interno agiva come una finestra sulla logica nascosta del modello.
I risultati hanno rivelato una discrepanza sorprendente. In molti casi, i modelli producevano risposte che sembravano giuste e prive di pregiudizi. Quando interrogati su come assumere un candidato o rispondere a una domanda tecnica, i modelli non davano sistematicamente risposte diverse in base alla razza o al genere dell'utente. Se si guardava solo il testo finale, i modelli sembravano trattare tutti equamente. Tuttavia, quando i ricercatori hanno sbirciato all'interno dell'elaborazione interna del modello, hanno scoperto una storia diversa. I modelli assegnavano diversi livelli di competenza agli utenti in base a dettagli demografici che non avrebbero dovuto contare. Ad esempio, un modello poteva internamente valutare un utente bianco come più competente di un utente ispanico, anche quando entrambi ponevano la stessa identica domanda e avevano lo stesso titolo professionale. Questo pregiudizio interno esisteva anche quando le parole finali del modello non mostravano alcun pregiudizio.
I ricercatori hanno dimostrato che questi punteggi interni non erano solo rumore casuale; essi controllavano effettivamente il comportamento del modello. Utilizzando una tecnica chiamata "steering" (guida), potevano spingere i pensieri interni del modello per far sì che vedesse un utente come più o meno esperto. Quando facevano questo, le risposte del modello cambiavano. Se spingevano il modello a vedere un utente come un esperto, il modello utilizzava un linguaggio più complesso e forniva consigli tecnici più dettagliati. Se lo spingevano a vedere l'utente come un principiante, le risposte diventavano più semplici. Ciò ha confermato che la rappresentazione interna dell'esperienza era una forza causale reale che guidava l'output del modello. Lo studio ha dimostrato che questi pregiudizi interni erano sensibili ai segnali demografici. Anche quando il modello conosceva la professione dell'utente, sottili differenze nel modo in cui percepiva la competenza in base alla razza o al genere rimanevano rilevabili nel suo stato interno, anche se non sempre si manifestavano nel testo finale.
Questa scoperta suggerisce che gli attuali metodi per testare l'intelligenza artificiale per i pregiudizi potrebbero trascurare molto. Se controlliamo solo ciò che un modello dice, potremmo pensare che sia equo quando non lo è. I modelli studiati, che includevano versioni di Gemma e Llama, hanno mostrato di poter codificare associazioni tra gruppi demografici e competenza nei loro strati nascosti. Queste associazioni potrebbero influenzare le decisioni del modello in modi non immediatamente visibili. Ad esempio, in un compito di assunzione, i punteggi interni dei modelli per i candidati variavano per razza e genere, anche se le decisioni finali di assunzione apparivano statisticamente simili tra i vari gruppi. I ricercatori hanno scoperto che, sebbene i modelli potessero essere guidati per cambiare i loro tassi di assunzione, i pregiudizi interni sottostanti persistevano, suggerendo che i modelli stavano ancora elaborando le informazioni demografiche in un modo che influenzava il loro giudizio.
Le implicazioni di questo lavoro sono significative per il modo in cui valutiamo e miglioriamo l'intelligenza artificiale. Indicano che un modello può superare un test di sicurezza standard pur ospitando pregiudizi profondamente radicati che potrebbero essere innescati da prompt o condizioni specifiche. I ricercatori sostengono che dobbiamo guardare oltre il livello superficiale di ciò che un modello dice ed esaminare come pensa. Misurando queste rappresentazioni interne, potremmo essere in grado di rilevare e correggere i pregiudizi prima che si manifestino in comportamenti dannosi. Questo approccio offre un nuovo modo per garantire che questi potenti strumenti siano davvero equi, non solo nelle loro parole, ma nella loro stessa natura. Lo studio conclude che, sebbene le metriche comportamentali siano necessarie, non sono sufficienti da sole; una comprensione robusta dell'equità richiede di guardare alla macchina nascosta del modello stesso.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.