Readable, Faithful, Used: Three Dissociable Properties of Demographic Identity in a Language Model
Questo articolo dimostra che nei modelli linguistici di grandi dimensioni, le proprietà dell'identità demografica di essere leggibile, strutturata fedelmente e utilizzata causalmente sono tre fenomeni dissociabili, rivelando che sebbene specifici head di attenzione possano codificare differenze di gruppo simili a sondaggi con alta fedeltà, questa codifica non si traduce necessariamente nell'effettivo uso causale del modello per la generazione di risposte.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
I modelli linguistici di grandi dimensioni vengono sempre più spesso chiamati ad agire come sostituti degli esseri umani nella ricerca nelle scienze sociali. Invece di trascorrere mesi e milioni di dollari per intervistare migliaia di persone reali per comprendere come diversi gruppi si sentano riguardo alla politica, alla religione o all'economia, i ricercatori possono semplicemente chiedere a un programma per computer di simulare tali risposte. La speranza è che questi surrogati digitali possano catturare le sottili differenze tra un giovane Democratico e un anziano Repubblicano, o tra un indù e un cristiano, proprio come farebbe un vero sondaggio. Ma una crescente serie di prove suggerisce che queste simulazioni stiano fallendo. Le risposte del computer tendono a essere troppo uniformi, troppo compiacenti e troppo simili tra loro, indipendentemente dall'etichetta demografica attribuita al prompt. Il mistero centrale è stato capire se questo fallimento avvenga perché il modello semplicemente non conosce le differenze tra questi gruppi, o perché le conosce ma sceglie di non usarle quando parla.
Per risolvere questo problema, un ricercatore si è proposto di guardare dentro il "cervello" di un grande modello linguistico per vedere dove risieda effettivamente l'informazione demografica. L'indagine si è concentrata su un modello specifico, Mistral-7B, e ha posto tre domande distinte. Primo, l'informazione su chi sta rispondendo è leggibile dai segnali interni del modello? Secondo, l'informazione è disposta in modo da rispecchiare il mondo reale, dove la distanza tra due gruppi nella mente del computer corrisponde alla distanza tra loro nella realtà? E terzo, il modello utilizza effettivamente questa mappa interna quando genera una risposta? Lo studio ha trattato queste tre domande come proprietà separate, rendendosi conto che un modello potrebbe possedere una mappa interna fedele senza mai consultarla per formare un'opinione.
I ricercatori hanno iniziato mappando il paesaggio interno del modello. Hanno creato dei prompt per 169 diversi gruppi intersezionali, come giovani democratici asiatici o repubblicani indù di mezza età, ed esaminato lo stato interno del modello alla fine del suo processo di elaborazione. Hanno confrontato la disposizione interna dei gruppi nel modello con i dati reali dei sondaggi del Pew Research Center, che fornivano la verità di base su come questi gruppi differiscano effettivamente nelle loro opinioni. I risultati hanno rivelato che il modo standard di leggere la mente del modello — osservando l'ultimo strato di output — era fuorvianteamente debole. Suggeriva che il modello avesse una visione sfocata e indistinta delle differenze demografiche. Tuttavia, quando i ricercatori hanno guardato più a fondo, nei componenti specifici che costituiscono l'elaborazione del modello, hanno trovato un quadro molto più chiaro.
L'informazione non era perduta; era solo nascosta in canali specifici e stretti. Lo studio ha scoperto che la geometria interna del modello è dominata da singole teste di attenzione (attention heads), che sono sottoprocessori specializzati all'interno del modello. In cinque dei sei tipi di attributi demografici testati, la migliore singola testa di attenzione forniva una mappa delle differenze tra i gruppi molto più accurata dell'intero strato di output finale del modello. Una specifica testa di attenzione, situata nell'undicesimo strato del modello, si è distinta come straordinariamente fedele. Conteneva una rappresentazione di tutti i sei tipi demografici — età, istruzione, reddito, religione, partito politico e ideologia politica — che corrispondeva strettamente alla struttura reale di come questi gruppi differiscono. Questo singolo componente portava una mappa in cui le relazioni tra i gruppi erano disposte con una fedeltà che raggiungeva circa il 70% del limite teorico misurabile, anche tenendo conto del fatto che i dati del sondaggio stesso contengono del rumore.
Tuttavia, trovare una mappa fedele all'interno del modello non significava che il modello la stesse usando. I ricercatori hanno quindi testato se questa disposizione interna accurata influenzasse effettivamente le risposte del modello. Hanno eseguito un esperimento causale in cui hanno scambiato l'identità demografica nel prompt e hanno osservato come cambiavano le opinioni predette dal modello. Il risultato è stato netto: cambiare l'intera identità della persona nel prompt spostava le risposte predette dal modello di meno del 2% del loro errore totale. Il modello produceva risposte leggermente diverse, ma ugualmente errate, per gruppi diversi. Ancora più sorprendente, i ricercatori hanno scoperto che il luogo con la mappa più fedele non era il luogo che guidava le risposte. Il percorso causale più chiaro, dove il cambiamento dello stato interno spostava effettivamente la predizione del modello verso la verità, è stato trovato in un tipo demografico che aveva una delle mappe interne più deboli. Al contrario, il tipo più fedelmente disposto non mostrava alcun effetto causale rilevabile quando i ricerci cercavano di intervenire su di esso.
Questa discrepanza suggerisce che il fallimento di questi modelli nel simulare le popolazioni non è semplicemente una mancanza di conoscenza. Il modello possiede la conoscenza, ma non la usa nel modo in cui i ricercatori sperano. Il modello detiene una mappa dettagliata e accurata di come i diversi gruppi differiscano, particolarmente per quanto riguarda i fattori politici ed economici, mentre la sua comprensione dell'etnia e della religione rimane debole e instabile. Tuttavia, il modello non consulta questa mappa quando parla. La geometria interna è fedelmente disposta, ma è causalmente scollegata dall'output finale. Lo studio ha anche scoperto che leggere direttamente questa mappa interna, utilizzando una sonda matematica su quella singola testa di attenzione fedele, produceva risultati che erano dal 21% al 31% più vicini alla verità dei sondaggi reali rispetto alle risposte generate dal modello stesso. Tuttavia, anche questa lettura superiore non riusciva a predire l'ordine specifico delle opinioni per le singole domande meglio delle risposte difettose del modello.
Le implicazioni di queste scoperte sono significative per chiunque cerchi di usare l'intelligenza artificiale per comprendere la società umana. La ricerca dimostra che la capacità di simulare una popolazione non può essere assunta solo perché un modello può essere istruito per agire come una persona specifica. Il modello possiede la conoscenza, ma non la usa nel modo in cui i ricercatori sperano. Inoltre, lo studio avverte che gli attributi demografici non sono intercambiabili; mentre il modello ha una comprensione forte delle identità politiche ed economiche, la sua comprensione delle identità razziali e religiose è fragile e soggetta a rompersi con piccoli cambiamenti nel modo in cui viene posta una domanda. Il lavoro conclude che trattare la conoscenza interna del modello e il suo comportamento esterno come la stessa cosa è ciò che mantiene irrisolto il dibattito sul fatto che questi modelli possano simulare le popolazioni. Il modello ha la mappa, ma non sta seguendo il percorso.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.