Skill Issue: Are Skills Language-Invariant in LLMs?

I grandi modelli linguistici sono i motori che alimentano molti degli strumenti di intelligenza artificiale che utilizziamo oggi, capaci di scrivere storie, risolvere problemi e rispondere a domande in decine di lingue. Per anni, i ricercatori hanno saputo che questi sistemi non si comportano allo stesso modo in ogni lingua; un modello potrebbe essere brillante nel rispondere a una domanda di storia in inglese, ma faticare a trovare lo stesso fatto se interrogato in arabo o cinese. Questa incoerenza è stata solitamente attribuita ai dati su cui i modelli sono stati addestrati, assumendo che alcune lingue abbiano semplicemente meno informazioni disponibili per istruire la macchina. Tuttavia, una nuova linea di ricerca pone una domanda più profonda: il problema riguarda solo ciò che il modello sa, o riguarda ciò che il modello può effettivamente fare? È possibile che la stessa mente artificiale possieda set di abilità differenti a seconda della lingua che sta parlando, anche quando il compito stesso rimane esattamente lo stesso?

Un team di ricercatori si è posto l'obiettivo di rispondere a questo quesito trattando la lingua non come un oggetto di studio, ma come una variabile in un esperimento controllato. Si sono rivolti a un concetto familiare: il gioco. Ponendo due copie identiche dello stesso modello di intelligenza artificiale in un'arena digitale per farle giocare l'una contro l'altra, hanno creato un test di abilità perfetto. In questa configurazione, le regole del gioco, la scacchiera, le carte e le mosse possibili rimanevano congelate e identiche per entrambi i giocatori. L'unica cosa che cambiava era la lingua utilizzata per descrivere la situazione. Un giocatore riceveva istruzioni e vedeva lo stato del gioco in inglese, mentre il suo avversario vedeva la stessa identica scacchiera e le stesse regole tradotte in tedesco, ebraico, cinese o in una delle altre diverse lingue. Poiché i modelli erano identici e le meccaniche di gioco erano fisse, qualsiasi differenza nel vincitore doveva derivare dall'interfaccia linguistica stessa, non da una differenza di conoscenza o intelligenza.

I ricercatori hanno costruito un enorme campo di prova chiamato estensione multilingue di una piattaforma di gioco nota come TextArena, che ha permesso loro di gestire migliaia di partite attraverso sei diversi tipi di giochi. Questi giochi spaziavano da semplici puzzle spaziali come il Tris, dove i giocatori devono visualizzare una griglia, a complessi giochi strategici che coinvolgono l'allocazione di risorse e il bluff. Hanno testato tre diversi modelli open-source, ciascuno di dimensioni simili, mettendo l'uno contro l'altro in otto lingue differenti. I risultati hanno rivelato una realtà sorprendente: lo stesso modello poteva essere un maestro stratega in una lingua e un dilettante goffo in un'altra. In alcuni casi, il modello che giocava in inglese sconfiggeva costantemente la propria versione che giocava in ebraico o arabo, non perché ne sapesse di più sul gioco, ma perché la lingua stessa sembrava sbloccare o bloccare la sua capacità di pensare con chiarezza.

La natura di questi fallimenti era specifica e rivelatrice. Nei giochi che richiedevano il ragionamento spaziale, come collegare linee su una griglia, i modelli che giocavano in lingue che utilizzano alfabeti non latini, come l'arabo o l'ebraico, commettevano frequentemente errori che sembravano un malinteso fondamentale della scacchiera. Spesso non riuscivano a vedere una linea vincente che correva in diagonale o verticalmente, trattando la griglia come se le righe fossero l'unica cosa rilevante. Nei giochi di fortuna e strategia, come una forma semplificata di poker, i modelli cambiavano interamente personalità in base alla lingua. Un modello poteva giocare con cautela e onestà in una lingua, ma diventare aggressivo e incline a rischiosi bluff in un'altra, anche se le carte in mano erano identiche. I ricercatori hanno scoperto che questi non erano errori casuali; erano cambiamenti sistematici di comportamento che dipendevano interamente dalle parole usate per inquadrare il problema.

Forse la scoperta più sorprendente è stata che il problema non riguardava sempre la lingua che il modello stava leggendo, ma la lingua che utilizzava per pensare. In alcuni esperimenti, i ricercatori hanno mantenuto le istruzioni di gioco in una lingua più debole, come il tedesco, ma hanno istruito il modello a eseguire il proprio ragionamento interno in inglese. Questo semplice passaggio ha permesso al modello di recuperare gran parte delle prestazioni perdute, suggerendo che la barriera linguistica non fosse solo un problema di traduzione, ma un problema cognitivo. Il modello poteva accedere al suo pieno potenziale strategico se gli era permesso di "pensare" in una lingua più forte, pur giocando in una più debole. Ciò indica che l'interfaccia linguistica influenza le fasi stesse del processo decisionale, dalla comprensione dello stato attuale del gioco alla selezione della mossa migliore.

Lo studio ha anche esaminato se queste differenze potessero essere spiegate dal volume di testo presente su internet per ogni lingua. Sebbene sia vero che le lingue con più dati disponibili generalmente performavano meglio, questo fattore non raccontava tutta la storia. Alcune lingue con relativamente pochi dati sul web permettevano comunque ai modelli di giocare molto bene, mentre altre con abbondanti dati risultavano in una scarsa prestazione. Ciò suggerisce che il problema non sia solo la quantità di materiale di addestramento, ma come il modello abbia imparato a connettere le abilità attraverso diversi sistemi linguistici. Le conclusioni implicano che, affinché l'intelligenza artificiale sia veramente affidabile ed equa, gli sviluppatori non possono semplicemente presumere che le capacità di un modello siano coerenti in tutte le lingue. La lingua che un modello parla non è solo una finestra sulla sua conoscenza; è una lente che può distorcere le sue abilità, cambiando il modo in cui vede il mondo e il modo in cui gioca la partita.