Semantic Bandits: In-Context Exploration-Exploitation is Biased by Semantic Priors
Questo articolo introduce il framework del "semantic bandit" per dimostrare che i compromessi tra esplorazione ed esplorazione dei modelli linguistici di grandi dimensioni sono significativamente influenzati dai prior semantici derivanti dal pre-addestramento, dove le etichette informative possono migliorare o degradare le prestazioni a seconda dell'allineamento con le ricompense, e le ricompense negative innescano in modo sproporzionato l'esplorazione a causa di bias di scala attesi.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immaginate un programma informatico che ha letto quasi tutti i libri, gli articoli e i siti web di internet. Può scrivere poesie, risolvere problemi matematici e sostenere conversazioni che sembrano incredibilmente umane. Questo è un grande modello linguistico. Ora, immaginate di dare a questo programma un lavoro in cui deve compiere una serie di scelte per ottenere la migliore ricompensa possibile, come un agricoltore che decide in quale campo piantare i raccolti, o un motore di raccomandazione che sceglie quale camicia mostrare a un cliente. Questo è un compito di processo decisionale. Nel mondo dell'informatica, esiste un modo classico per testare quanto bene un agente impari dall'esperienza: il problema del bandit multi-braccio. Prende il nome dalle file di slot machine in un casinò, ognuna con un pagamento ignoto e differente. Per vincere più soldi, bisogna bilanciare due esigenze contrastanti: attenersi alla macchina che sembra pagare di più in questo momento, e provare le altre macchine nel caso in cui una di esse sia in realtà migliore. Questo equilibrio è chiamato esplorazione contro sfruttamento. Per decenni, i ricercatori hanno studiato come risolverlo matematicamente. Ma quando hanno iniziato a usare questi potenti modelli linguistici come decisori, hanno notato qualcosa di strano. I modelli non stavano solo guardando i numeri; stavano leggendo le parole.
Un team di ricercatori dell'Università McGill e della Mila ha deciso di investigare questo fenomeno creando un nuovo tipo di test chiamato "bandit semantico". In un test standard, le scelte sono etichettate con codici neutri come "Braccio A" o "Braccio B". In questo nuovo test, i ricercatori hanno dato alle scelte nomi che portano un significato, come "divino", "mite" o "schifoso". Volevano vedere se il computer avrebbe permesso al significato di queste parole di prevalere sui dati effettivi che stava raccogliendo. Hanno impostato uno scenario in cui il computer agiva come un agricoltore che sceglieva tra tre campi. Ogni campo produceva una quantità casuale di resa del raccolto, e l'obiettivo era massimizzare il raccolto totale nel tempo. I ricercatori hanno dato ai campi nomi che suggerivano la loro qualità. In una versione, il campo migliore era chiamato "divino" e il peggiore "schifoso". In un'altra versione, avevano scambiato i nomi, in modo che il campo migliore fosse chiamato "schifoso" e il peggiore "divino".
I risultati sono stati sorprendenti. Quando i nomi corrispondevano alla realtà dei campi — quando il campo "divino" produceva effettivamente più raccolto — il computer imparava incredibilmente velocemente. Smetteva quasi immediatamente di provare gli altri campi e si atteneva al campo "divino", ottenendo un punteggio perfetto con pochissimi tentativi ed errori. Tuttavia, quando i nomi erano fuorvianti, il computer commetteva un errore catastrofico. Si convinceva che il campo chiamato "divino" fosse il migliore, anche dopo che i dati avevano mostrato che produceva il raccolto peggiore. Ignorava l'evidenza e continuava a scegliere il campo "divino", mentre il campo chiamato "schifoso" (che era in realtà il migliore) veniva lasciato intoccato. Il computer non stava agendo sui numeri; stava agendo sulle associazioni che aveva appreso leggendo miliardi di parole durante il suo addestramento. Aveva imparato che "divino" di solito significa buono e "schifoso" di solito significa cattivo, e applicava quella regola anche quando i numeri specifici davanti a lui dicevano il contrario.
I ricercatori hanno anche scoperto che il computer reagiva diversamente ai numeri positivi e negativi. Quando il computer riceveva una ricompensa negativa — una perdita o una penalità — diventava improvvisamente molto più curioso. Iniziava a provare tutte le diverse opzioni, esplorando i campi sconosciuti con alta energia. Ma quando riceveva una ricompensa positiva, anche piccola, tendeva a smettere di esplorare e a restare con ciò che conosceva. Ciò suggerisce che il computer non vede i numeri come segnali astratti in un vuoto. Al contrario, sembra avere un'aspettativa interna di cosa sia una ricompensa "normale", probabilmente plasmata dal modo in cui le ricompense vengono descritte nel testo su cui è stato addestrato. Un numero negativo rompe quell'aspettativa in modo così severo da costringere il computer a rivalutare tutto, mentre un numero positivo trasmette sicurezza e lo incoraggia a proseguire la strada tracciata.
Questo comportamento non era limitato a un singolo modello informatico. I ricercatori hanno testato tre diversi grandi modelli linguistici, spaziando da sistemi open-source a versioni commerciali avanzate, e tutti mostravano lo stesso pregiudizio. L'effetto era così forte da poter trasformare un semplice problema decisionale in un fallimento. In un compito in cui un programma informatico classico avrebbe risolto il problema in pochi passaggi, il modello linguistico poteva fallire completamente se le parole erano leggermente fuorvianti. I ricercatori hanno scoperto che potevano correggere parzialmente il problema dicendo esplicitamente al computer nelle sue istruzioni di ignorare i nomi e di continuare a esplorare, ma il pregiudizio era profondo. Anche con gli avvertimenti, i modelli spesso faticavano a separare il significato delle parole dalla realtà dei numeri.
Lo studio conclude che l'uso del linguaggio per descrivere un ambiente decisionale introduce pregiudizi inevitabili. Poiché questi modelli sono addestrati sulla co-occorrenza delle parole nel testo umano, portano con sé un insieme di assunzioni su come funziona il mondo. Quando quelle assunzioni si allineano con il compito, il modello è un genio, imparando più velocemente di qualsiasi algoritmo tradizionale. Quando entrano in conflitto, il modello diventa testardo, ignorando l'evidenza chiara perché è troppo impegnato a seguire la storia che le parole gli stanno raccontando. Questo non è un bug nel codice, ma una caratteristica di come questi sistemi apprendono dal linguaggio. Mentre questi modelli vengono implementati in situazioni reali, dai consigli finanziari alla guida autonoma, comprendere quando la loro intuizione linguistica aiuta e quando li conduce fuori strada è fondamentale. I ricercatori hanno scoperto che, nello scenario decisionale più semplice possibile, un computer può essere indotto a fare la scelta peggiore semplicemente cambiando l'etichetta su un pulsante.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.