An Investigation of Translationese in the Generations of Multilingual Large Language Models

Quando una persona parla o scrive in una lingua che non è la sua lingua madre, le sue parole portano spesso un'impronta digitale sottile e invisibile. Potrebbero usare strutture sintattiche che risultano leggermente rigide, scegliere parole che sono tecnicamente corrette ma raramente usate dai locali, o disporre le frasi in un modo che tradisce l'influenza della loro prima lingua. I linguisti chiamano questo fenomeno "translationese" (traduttese). È l'eco persistente della lingua originale, visibile anche quando il testo è stato tradotto con successo. Per decenni, questo concetto è stato studiato nella traduzione umana, dove gli studiosi analizzano come l'atto di tradurre cambi la tessitura di una lingua. Oggi, tuttavia, è emersa una nuova domanda nel campo dell'intelligenza artificiale. I grandi modelli linguistici, i potenti sistemi informatici in grado di scrivere fluidamente in decine di lingue, stanno diventando sempre più comuni. Sebbene queste macchine possano produrre testi che appaiono perfetti in superficie, i ricercatori iniziano a chiedersi se stiano realmente pensando nella lingua in cui scrivono, o se stiano segretamente traducendo tutto da una lingua interna dominante, probabilmente l'inglese, prima di generare il risultato finale. Se lo facessero, il loro output porterebbe le stesse impronte digitali nascoste della traduzione che i traduttori umani lasciano dietro di sé.

Un team di ricercatori ha intrapreso un'indagine per esplorare questa possibilità, trattando il testo generato da questi modelli di intelligenza artificiale come se fosse una traduzione. Volevano sapere se le macchine stessero producendo testi che sembrassero tradotti, anche quando venivano istruite a scrivere direttamente in una lingua specifica. Per farlo, hanno raccolto campioni di testo in cinque lingue diverse: inglese, tedesco, spagnolo, greco e pashto. Hanno creato una vasta collezione di scritti che includeva tre tipi distinti: testi scritti naturalmente da madrelingua, testi genuinamente tradotti da esseri umani e testi generati da due dei modelli di IA più avanzati disponibili. Hanno inoltre incluso un quarto tipo, in cui l'IA scriveva in inglese e un programma informatico separato traduceva il testo nella lingua di destinazione, per vedere come questo si confrontasse con l'IA che scrive direttamente nella lingua di destinazione. I ricercatori hanno poi utilizzato un sofisticato programma informatico addestrato a riconoscere i pattern specifici del "translationese". Questo programma era stato istruito su migliaia di esempi di scrittura umana e di traduzioni umane, imparando a individuare le sottili differenze statistiche che separano un madrelingua da un traduttore.

I risultati hanno rivelato un modello chiaro. Quando i modelli scrivevano in inglese, il loro testo veniva raramente segnalato come tradotto, suggerendo che operassero naturalmente nella loro lingua dominante. Tuttavia, non appena i modelli passavano ad altre lingue, la storia cambiava. In tedesco e spagnolo, il testo generato dall'IA mostrava forti segni di translationese. Il programma informatico ha identificato una porzione significativa del testo tedesco e una grande quantità di quello spagnolo come dotati dei marcatori distintivi della traduzione. Ciò suggerisce che, anche quando i modelli vengono sollecitati a scrivere direttamente in queste lingue, potrebbero fare affidamento su un processo interno che assomiglia alla traduzione, forse pensando prima in inglese e poi convertendo le idee. L'effetto era ancora più pronunciato quando i ricercatori esaminavano le parole specifiche scelte dai modelli. Hanno scoperto che l'IA tendeva a evitare gli errori più ovvi e goffi che gli umani potrebbero commettere, ma che comunque faticava con la distribuzione sottile delle parole comuni. Ad esempio, in tedesco, i modelli utilizzavano certi connettivi comuni in schemi che corrispondevano a testi tradotti piuttosto che al parlato nativo, mentre in spagnolo usavano articoli come "il/lo/la" molto meno frequentemente di quanto farebbe un madrelingua.

Interessante è che il grado di questo effetto di "traduzione" dipendeva fortemente dalla lingua stessa. I modelli si comportavano meglio in greco e pashto, due lingue con meno risorse digitali disponibili per l'addestramento, rispetto a quanto facessero in tedesco e spagnolo. In queste lingue a basse risorse, il testo generato dall'IA era meno propenso a essere segnalato come tradotto. I ricercatori suggeriscono che ciò possa essere dovuto al fatto che i dati di addestramento per il tedesco e lo spagnolo contengono una vasta quantità di materiale tradotto esistente, che i modelli si limitano a imitare. Al contrario, i dati di addestramento per il greco e il pashto possono contenere meno contenuti tradotti, costringendo i modelli a fare maggiore affidamento sulle strutture native a loro disposizione. Il team ha anche chiesto a lettori umani di giudicare un piccolo campione di testo. Sorprendentemente, gli umani erano spesso incapaci di rilevare il translationese che il programma informatico trovava così facilmente. Gli umani notavano principalmente scelte lessicali insolite o combinazioni strane, mentre il computer rilevava i cambiamenti statistici più profondi nel modo in cui le parole erano disposte. Ciò indica che, sebbene l'IA possa nascondere gli errori più evidenti, la struttura sottostante della sua scrittura tradisce una mancanza di fluidità nativa.

Lo studio conclude che questi potenti modelli linguistici non generano ancora testi in modo veramente nativo per le lingue non inglesi. Invece, il loro output porta spesso la firma nascosta della traduzione, suggerendo che il loro processo interno sia ancora ancorato all'inglese. Questo non significa che i modelli stiano fallendo; sono spesso altamente efficaci e utili. Tuttavia, rivela un limite fondamentale nel modo in cui apprendono e operano. Sembrano padroneggiare il livello superficiale di molte lingue pur facendo ancora affidamento su un framework centrale basato sull'inglese per il loro ragionamento. I ricercatori osservano che questo risultato aiuta a spiegare perché questi modelli a volte faticano con le sfumature culturali o il flusso naturale di una lingua che non sia l'inglese. Identificando queste impronte digitali nascoste, lo studio fornisce un nuovo modo per misurare la vera qualità del testo generato dalle macchine, andando oltre la semplice correttezza per valutare la genuina naturalezza della voce che la macchina sta cercando di emulare.