Machine translation of modern Chinese poetry into Japanese: A comparative evaluation of LLMs, neural machine translation systems, and prompt strategies

Il linguaggio è un paesaggio vasto e mutevole dove il significato non è trasportato solo dalle parole, ma anche dal ritmo, dal silenzio e dal peso specifico di una frase. Per decenni, i computer hanno imparato a tradurre questo paesaggio, passando da sistemi rigidi basati su regole a reti neurali che imitano la capacità del cervello umano di trovare schemi. Questi moderni sistemi, noti come traduzione automatica neurale, sono diventati straordinariamente bravi nel trasformare articoli di giornale o manuali tecnici da una lingua all'altra, catturando i fatti con alta precisione. Più recentemente, una nuova generazione di intelligenza artificiale, chiamata grandi modelli linguistici, è entrata nel campo. A differenza dei loro predecessori, che erano addestrati specificamente per tradurre, questi modelli sono pensatori general-purpose capaci di seguire istruzioni complesse e comprendere il contesto in un modo che sembra più simile a una conversazione. Essi promettono di gestire le parti disordinate e creative del linguaggio con cui le macchine solitamente faticano. Ma la poesia rimane la prova suprema. Una poesia non è solo un messaggio da decodificare; è un'esperienza costruita sull'immaginario, sulla sfumatura culturale e su un delicato equilibrio tra ciò che viene detto e ciò che viene lasciato intendere. Tradurre una poesia richiede a un computer di fare più che scambiare parole; deve ricostruire un sentimento. Ciò solleva una domanda difficile: queste nuove macchine conversazionali possono effettivamente tradurre la poesia meglio degli strumenti consolidati che usiamo ogni giorno, e il modo in cui chiediamo loro di lavorare cambia il risultato?

Per scoprirlo, i ricercatori si sono posti l'obiettivo di confrontare le prestazioni di questi diversi sistemi sulla poesia cinese moderna, un genere noto per la sua immagine condensata e la sua profondità emotiva. Hanno scelto una collezione specifica di dodici poesie della poetessa contemporanea Yu Xiuhua, assicurandosi che i testi fossero freschi e non fossero stati precedentemente tradotti da macchine o umani. Il team ha messo l'una contro l'altra due dei più popolari servizi di traduzione online, che si affidano a reti neurali standard, contro due dei principali modelli linguistici di grandi dimensioni. Per vedere se le istruzioni date alle macchine importassero, hanno testato i grandi modelli linguistici sotto due diverse condizioni. Nello scenario in primo luogo, hanno dato ai modelli un comando semplice e diretto per tradurre il testo. Nel secondo, hanno chiesto ai modelli di spiegare prima in dettaglio il significato della poesia prima di tentare la tradazione, una strategia progettata per costringere la macchina a comprendere il contesto prima di generare parole. Le traduzioni risultanti sono state poi valutate da un panel di otto esperti di letteratura cinese e giapponese. Questi esperti hanno valutato le poesie non solo in base alla correttezza del significato, ma anche in base a quanto la traduzione fluisse, se suonasse come una vera poesia e quanto sembrasse essere stata scritta da una macchina.

I risultati hanno rivelato un chiaro vantaggio per i nuovi modelli che seguono le istruzioni. Quando ricevevano il comando semplice di tradurre, i grandi modelli linguistici producevano versioni significativamente più fedeli al significato originale, più fluide in giapponese e molto più vicine allo stile poetico originale rispetto ai traduttori online standard. Gli strumenti standard producevano spesso traduzioni grammaticalmente corrette ma che risultavano piatte, perdendo il ritmo e il peso culturale specifico delle parole. I grandi modelli linguistici, tuttavia, sembravano afferrare la poesia come un'unità totale, preservando la tensione e l'immaginario che rendono la poesia risonante. Ad esempio, laddove un traduttore standard avrebbe potuto trasformare una frase ritualistica in una descrizione letterale di velocità, i grandi modelli linguistici riuscivano a mantenere il senso di un comando solenne, catturando il tono spirituale dell'originale. Mostravano anche molti meno segni di essere generati da un computer, evitando le strutture sintattiche rigide che spesso tradiscono la traduzione automatica.

Tuttavia, la storia si complica quando i ricercatori hanno cambiato le istruzioni. L'idea che dare a una macchina più contesto — chiedere di spiegare prima la poesia — porterebbe sempre a una traduzione migliore si è rivelata falsa. L'effetto di questa strategia di "spiegazione preliminare" dipendeva interamente dal modello specifico utilizzato. Per uno dei grandi modelli linguistici, il passaggio aggiuntivo di spiegare la poesia ha effettivamente peggiorato la traduzione. Le poesie risultanti erano diventate troppo esplicite, perdendo il loro mistero e la loro compressione poetica, come se la macchina avesse sovra-analizzato il testo e ne avesse rimosso l'anima. Per l'altro modello, la stessa strategia è stata un successo; il passaggio della spiegazione ha aiutato il modello a organizzare i propri pensieri, portando a traduzioni più coerenti e stilisticamente più forti. Ciò suggerisce che non esiste un unico modo "migliore" per istruire queste macchine. Ciò che funziona per un sistema può ostacolare un altro, a seconda di come quel sistema specifico elabora le informazioni.

Forse il risultato più sorprendente è stato ciò che è accaduto quando i ricercatori hanno confrontato i due grandi modelli linguistici dopo che entrambi avevano ricevuto le istruzioni dettagliate di spiegazione preliminare. Sotto queste specifiche condizioni, il divario di prestazioni tra i due modelli è scomparso. Sebbene potessero iniziare con punti di forza e debolezze differenti, l'istruzione condivisa li ha guidati verso un livello di qualità simile. Producevano traduzioni statisticamente indistinguibili l'una dall'altra in termini di accuratezza, fluidità e stile. Ciò suggerisce che il modo in cui chiediamo a una macchina di lavorare può essere importante quanto la macchina stessa. Nel campo della traduzione poetica, l'interazione tra il design interno del modello e il prompt umano crea il risultato finale. Lo studio conclude che non possiamo semplicemente scegliere l'intelligenza artificiale più potente e aspettarci che gestisca la letteratura perfettamente. Inveve, tradurre la poesia con le macchine è una delicata negoziazione tra lo strumento e le istruzioni, dove l'obiettivo è trovare la combinazione specifica che permetta alla macchina di fare un passo indietro e lasciare che la poesia respiri.