Non Monotonic Cross Lingual Representational Distances for Culturally Specific Japanese Concepts in Two Transformer Models

All'interno delle menti digitali dell'intelligenza artificiale moderna esiste un vasto, invisibile paesaggio dove parole e idee sono conservate non come definizioni, ma come punti nello spazio. I ricercatori chiamano questi punti "rappresentazioni". Quando un computer legge una frase, traduce il testo in una lunga lista di numeri che descrivono il significato di quella frase rispetto a tutto ciò che sa. Se due idee sono molto simili, i loro punti in questo spazio si trovano vicini; se sono diverse, si trovano lontani. Per anni, gli scienziati hanno saputo che queste macchine possono spostare informazioni tra le lingue, traducendo un pensiero dall'inglese al giapponese o allo spagnolo senza perderne la forma centrale. Ma una domanda persistente rimane: la macchina tratta un'idea culturalmente unica allo stesso modo in cui tratta un'idea standard? Il sapore specifico di una cultura, con le sue uniche regole sociali e i suoi valori, lascia un segno distinto su come la macchina "vede" le parole, o la macchina semplicemente appiattisce queste differenze?

Questa domanda ha guidato uno studio recente che ha esaminato l'interno di due popolari modelli di intelligenza artificiale per vedere come gestiscono venti concetti giapponesi specifici, profondamente radicati nella loro cultura. Questi non sono solo termini ordinari; sono termini come giri, che descrive un profondo senso di dovere sociale, o wa, che si riferisce all'armonia di un gruppo. I ricercatori volevano sapere se la mappa interna di queste idee appariva diversa per la macchina quando il concetto veniva presentato nella sua lingua nativa, il giapponese, rispetto a quando veniva descritto in inglese o spagnolo. Non stavano chiedendo se la macchina potesse tradurre correttamente le parole, ma piuttosto come la distanza tra le idee cambiasse mentre l'informazione viaggiava attraverso i diversi strati del cervello del computer.

Per trovare la risposta, i ricercatori hanno allestito un esperimento accurato utilizzando due diversi modelli di IA, uno leggermente più grande dell'altro. Hanno preso venti di questi concetti giapponesi culturalmente specifici e hanno creato quattro versioni diverse di un prompt per ciascuno. La prima era la frase originale in giapponese. La seconda era una traduzione diretta, parola per parola, in inglese della frase giapponese originale. La terza era una traduzione in spagnolo del baseline standard in inglese. La quarta era una versione rimescolata del testo giapponese, in cui l'ordine del codice interno del computer era stato rimescolato per rompere il significato pur mantenendo le stesse lettere e suoni. Alimentando i modelli con queste quattro versioni, il team ha potuto misurare quanto fossero distanti i punti interni risultanti da un baseline standard in inglese. Hanno misurato questa distanza ad ogni singolo passaggio, o "strato", del processo di elaborazione del modello, dal primo momento in cui il testo è stato letto fino all'ultimo momento prima che venisse generata una risposta.

I risultati hanno rivelato un modello sorprendentemente coerente in tutto il campo, indipendentemente dalla lingua o dal concetto specifico. Mentre l'informazione si muoveva attraverso gli strati dei modelli, la distanza tra le idee non diminuiva o aumentava semplicemente in linea retta. Invece, seguiva una curva. La distanza partiva da un valore alto, scendeva a un punto basso molto presto nel processo e poi ricominciava a salire man mano che l'informazione si muoveva verso la fine. Questo "calo e risalita" accadeva per i prompt in giapponese, per i prompt in spagnolo, per le traduzioni letterali in inglese e persino per il testo giapponese rimescolato. Il fatto che il testo rimescolato, che non aveva alcun vero significato, mostrasse lo stesso schema suggerisce che questo comportamento è una proprietà fondamentale di come questi modelli elaborano qualsiasi sequenza di token, piuttosto che una firma speciale della profondità culturale.

Tuttavia, quando i ricercatori si sono concentrati su una specifica sezione centrale degli strati del modello, è emersa una chiara differenza. In questo intervallo, i prompt in giapponese contenenti i concetti culturalmente specifici erano costantemente più lontani dal baseline inglese rispetto alle altre versioni. Sia confrontando il giapponese con l'inglese letterale, sia il giapponese con lo spagnolo, le idee giapponesi occupavano una posizione più distante nello spazio interno della macchina. La differenza era misurabile e significativa, con i concetti giapponesi che si posizionavano sensibilmente più lontano rispetto ai loro corrispettivi. Ciò era vero per tutti i venti concetti in entrambi i modelli testati. I dati hanno mostrato che la macchina non trattava queste idee culturalmente ricche come identiche alle loro descrizioni inglesi; le manteneva a una distanza distinta, suggerendo che l'inquadramento culturale o la specifica struttura linguistica dell'input in giapponese lasciava un segno duraturo sulla rappresentazione.

Nonostante questa chiara distanza, lo studio si ferma prima di dichiarare che la macchina non comprenda la cultura o che non possa tradurre il significato. I ricercatori sono stati attenti a notare che i prompt in giapponese differivano da quelli in inglese non solo per la cultura, ma anche per la lingua, la struttura della frase e le specifiche motivazioni descritte nel testo. Poiché così tanti fattori cambiavano contemporaneamente, è impossibile dire con certezza che la distanza extra fosse causata esclusivamente dall'unicità culturale delle parole. Potrebbe tranquillamente essere il risultato della lingua stessa o del modo in cui le frasi erano costruite. Inoltre, il fatto che il testo rimescolato mostrasse anche il calo iniziale e la successiva risalita significa che il pattern non monotonico non è un'impronta digitale unica del significato culturale.

Lo studio conclude che, sebbene questi modelli mostrino differenze dipendenti dallo strato nel modo in cui rappresentano concetti giapponesi culturalmente specifici, le ragioni di tali differenze rimangono un mix di linguaggio, struttura e cultura che non può essere pienamente separato con questo esperimento da solo. La macchina non appiattisce semplicemente tutte le sfumature culturali in un unico punto; mantiene una distanza misurabile per queste idee specifiche. Eppure, questa distanza non prova che la macchina abbia perso il significato o che stia lottando con la cultura. Dimostra semplicemente che la geometria interna di questi modelli è complessa e sensibile al modo specifico in cui un concetto viene inquadrato. I risultati offrono una mappa precisa di dove queste idee si trovano nella mente della macchina, ma lasciano la domanda più profonda sul perché si trovino lì, e sul significato reale di quella distanza, come un invito aperto alla ricerca futura.