Analysis of Numerical Localisation in LLM Translations

Immagina di voler spedire una cartolina a un amico in un altro paese. Scrivi la data come "07/04/2024". Per te, è il 4 luglio. Per il tuo amico nel Regno Unito, è il 7 aprile. Se stai inviando una ricetta, un bonifico bancario o una formula scientifica, sbagliare i numeri e le date non è solo un errore di battitura; è un disastro. Questo è il mondo della localizzazione. Mentre la traduzione è come scambiare le parole (cambiare "dog" in "Hund"), la localizzazione è come cambiare l'intero abito delle informazioni per adattarle alla cultura locale. È decidere se indossare un abito elegante o uno smoking, o in questo caso, se usare una virgola o un punto per separare i decimali.

Entrano in gioco i Large Language Models (LLM). Pensate a loro come a robot incredibilmente intelligenti e super veloci che hanno letto quasi tutto su internet. Sono bravissimi a scrivere storie e tradurre frasi, ma a volte inciampano quando si tratta delle regole rigide di numeri e date. Potrebbero sapere che "1,000" significa mille, ma potrebbero dimenticare che in Germania lo stesso numero si scrive come "1.000". Questo articolo esplora un angolo specifico della scienza dell'IA: questi cervelli robotici possono non solo tradurre parole, ma anche "vestire" correttamente numeri e date per un nuovo paese? È una domanda cruciale perché se l'IA sbaglia la localizzazione, potrebbe trasformare un dosaggio medico sicuro in uno pericoloso o un piccolo profitto in una perdita massiccia.

Il Grande Makeover dei Numeri

In questo studio, una ricercatrice di nome Patrizia Kaye ha messo alla prova cinque diversi modelli di IA. Questi non erano i modelli massicci, di dimensioni supercomputer che costano milioni per essere gestiti; al contrario, ha scelto cinque modelli "commodity" più piccoli che potevano girare su hardware standard, come un potente laptop da gaming. Voleva vedere se questi modelli potessero gestire il complicato compito di tradurre testi dall'inglese al tedesco (e viceversa) ottenendo numeri, date e orari esattamente secondo le regole locali.

Per farlo, ha allestito un piccolo esperimento. Ha preso 700 frasi contenenti date, orari e numeri da fonti del mondo reale, come i registri del Parlamento Europeo e documenti medici. Poi, ha chiesto ai modelli di IA di tradurle usando quattro diverse "strategie" o metodi:

1. Traduzione Diretta: Chiedere semplicemente all'IA: "Traduci questa frase".
2. In-Context Learning (ICL): Fornire all'IA un riferimento nel prompt, come dire: "Ricorda, in tedesco usiamo un punto per le migliaia e una virgola per i decimali".
3. Chain-of-Thought (CoT): Chiedere all'IA di "pensare ad alta voce" ed esporre i propri passaggi prima di dare la risposta.
4. Post-Editing: Lasciare che l'IA traduca prima, per poi usare uno script informatico separato per rintracciare i numeri e correggerli manualmente.

La Sorprendente Vincitrice

I risultati sono stati un colpo di scena. In uno studio precedente sulla traduzione di numeri tra inglese e cinese, i ricercatori avevano scoperto che il metodo del "Post-Editing" (correggere i numeri in un secondo momento) era il migliore. Ma quando Patrizia ha testato questo approccio su inglese e tedesco, il Post-Editing è risultato essere la peggiore delle strategie, con un'accuratezza spesso inferiore al 30%. Sembra che quando l'IA si confonde, cercare di correggere i numeri dopo di che crea solo un pasticcio.

Anche il metodo "Chain-of-Thought", in cui l'IA spiega il proprio ragionamento, non ha aiutato molto. Spesso ha portato i modelli a dare risposte errate mentre cercavano di sembrare intelligenti sul modo in cui ci erano arrivati.

La vera campionessa si è rivelata essere l'In-Context Learning. Quando la ricercatrice ha semplicemente aggiunto alcune istruzioni chiare al prompt — dicendo all'IA esattamente come formattare i numeri e le date — i modelli hanno ottenuto prestazioni significativamente migliori. Per il modello con le prestazioni migliori (Qwen3-4B-Instruct-2507), questo semplice "riferimento" ha aumentato l'accuratezza al 91,7% per i numeri nella direzione dall'inglese al tedesco, un leggero miglioramento rispetto al 92,2% ottenuto con la sola traduzione diretta. Lo studio ha scoperto che questo miglioramento non era solo un colpo di fortuna; i test statistici hanno confermato che l'aggiunta di queste regole al prompt ha fatto una differenza reale e misurabile rispetto ad altre strategie.

E per i Cervelli Più Grandi?

Potreste pensare che un modello di IA più grande, con più "potenza cerebrale" (parametri), farebbe sempre un lavoro migliore. Tuttavia, l'articolo ha scoperto che la dimensione non è sempre sinonimo di successo. I modelli testati variavano da 2 a 7 miliardi di parametri. Sorprendentemente, il modello da 4 miliardi di parametri ha superato i modelli da 7 miliardi in molti casi. Ciò suggerisce che, per questo compito specifico, avere le istruzioni giuste è più importante che avere il cervello più grande.

Lo studio ha anche testato se dire all'IA esattamente quale versione di inglese o tedesco utilizzare (come "inglese britannico" rispetto a "tedesco della Germania") aiutasse. Ha aiutato un po', ma non quanto fornire semplicemente le regole di formattazione nel prompt.

In Conclusione

Questo articolo suggerisce che, se volete che un'IA gestisca correttamente numeri e date durante la traduzione, non chiedetele solo di "fare del suo meglio". Non fate affidamento sul fatto che corregga i propri errori in seguito, e non forzatela a spiegare il suo pensiero. Invece, fornitele un insieme chiaro di regole fin dall'inizio. Incorporando i principi di localizzazione direttamente nella conversazione, potete trasformare un robot confuso in un traduttore preciso. Sebbene i risultati siano specifici per i modelli e le coppie linguistiche testate, il metodo offre un modo riproducibile per rendere le traduzioni dell'IA più sicure e accurate per chiunque si occupi di denaro, scienza o scadenze attraverso i confini.