The Effect of Scripts and Formats on LLM Numeracy

Sintesi Tecnica: L'effetto di Script e Formati sulla Numeracia degli LLM

Problema
Sebbene i Large Language Models (LLM) abbiano dimostrato un'impressionante competenza nell'aritmetica di base utilizzando i numeri standard indo-arabi (HA) e le convenzioni di formattazione occidentali, la loro robustezza di fronte a rappresentazioni non standard rimane poco esplorata. Questo lavoro indaga se la numeracia degli LLM rifletta un vero ragionamento matematico o se sia fortemente condizionata dalle specifiche forme superficiali (script e formattazione) prevalenti nei loro corpora di addestramento. Gli autori postulano che le deviazioni dalle convenzioni prevalenti — come l'uso di script numerali alternativi (ad esempio, Devanagari, Bengali) o separatori decimali e di raggruppamento non standard — possano introdurre significativi divari di prestazione, anche quando la logica aritmetica sottostante rimane identica. Inoltre, lo studio esamina come le strategie di tokenizzazione, che determinano come i numeri vengono segmentati in unità di subword, influenzino tali risultati.

Metodologia
Gli autori introducono un framework di valutazione controllato progettato per isolare gli effetti della rappresentazione numerale dalla complessità aritmetica. Il nucleo della loro metodologia consiste in un dataset di 336 espressioni aritmetiche di base (addizione, sottrazione, moltiplicazione, divisione) con operandi interi e decimali da 1 a 8 cifre.

1. Dataset Multiscript: Ogni espressione di base viene tradotta in 20 script numerali distinti, che spaziano da sistemi ad alta risorsa (es. Perso-Arabo, Devanagari) a script a bassissima risorsa (es. Osmanya, Adlam). Ciò consente la valutazione di tre compiti:

   • Identificazione dello Script: Identificare lo script di un dato numero.
   • Traduzione Numerale: Convertire numeri da vari script in cifre HA standard.
   • Calcolo Aritmetico: Eseguire calcoli direttamente su numeri presentati in script non-HA.

2. Dataset di Variazione del Formato: Lo stesso set di 336 espressioni viene mantenuto in cifre HA ma modificato con sei diverse convenzioni di formattazione. Queste variazioni alterano i marcatori decimali (punto vs virgola) e i separatori di raggruppamento delle cifre (virgole, spazi sottili, apostrofi) e i pattern (ad esempio, 3-3-3 vs 3-2-2), riflettendo diversi stili internazionali.

3. Modelli e Valutazione: Lo studio valuta nove LLM, inclusi quattro modelli grandi (Claude Sonnet 4.5, GPT-4o, Gemini 2.5 Pro, Llama-3.3 70B) e cinque modelli open-source più piccoli. La prestazione è misurata tramite il matching esatto rispetto alla verità di base (ground truth). Gli autori impiegano anche Modelli Lineari Generalizzati a Effetti Misti (GLMER) per quantificare statisticamente l'impatto di script, formato, tokenizzazione e strategie di prompting, controllando le misurazioni ripetute sullo stesso problema.

Risultati Chiave
Lo studio rivela che la prestazione degli LLM è altamente sensibile alle variazioni di rappresentazione, soffrendo spesso di sostanziali cali di accuratezza nonostante l'identità dei compiti matematici.

• Tassa dello Script (Script Tax): Il passaggio dalle cifre HA standard a script non-HA comporta un calo medio di prestazione del 66–87% tra i modelli valutati. Sebbene i modelli grandi si comportino generalmente bene nell'identificazione e nella traduzione degli script (spesso con un'accuratezza >90%), le loro capacità aritmetiche degradano significativamente negli script non-HA. Gli script a bassa risorsa (es. Osmanya, Adlam) mostrano un'accuratezza vicina allo zero per i modelli più piccoli e cali significativi per quelli più grandi.
• Impatto della Tokenizzazione: L'analisi statistica conferma che il numero di token per cifra è un predittore significativo della prestazione. Gli script che richiedono più token di subword per cifra (rappresentazioni frammentate) correlano fortemente con una minore accuratezza aritmetica. Ad esempio, Gemini 2.5 Pro, che tokenizza ogni cifra individualmente, mostra una prestazione costantemente inferiore sui numeri formattati rispetto ai modelli che raggruppano le cifre.
• Sensibilità alla Formattazione: Anche con cifre HA, le convenzioni di formattazione non standard (ad esempio, l'uso di un punto come separatore di migliaia o spazi sottili per il raggruppamento) riducono l'accuratezza. I formati che somigliano agli indirizzi IP (es. F2) o a specifiche convenzioni regionali (es. F3, F5) sono particolarmente impegnativi, portando spesso a fallimenti nel seguire le istruzioni, dove il modello non riesce a riprodurre il formato di output richiesto.
• Strategie di Prompting: Lo studio dimostra che il prompting mirato può ridurre significativamente il divario di prestazione.
  • Mappatura Esplicita: Fornire una mappatura esplicita tra le cifre non-HA e le cifre HA (ad esempio, "0:0, 1:1...") produce il maggiore miglioramento nei compiti aritmetici.
  • Few-Shot Learning: Includere esempi di input e output formattati migliora l'accuratezza del 20–60%, mitigando efficacemente la "penalità di formattazione".
  • Prompt in Lingua Nativa: Utilizzare il linguaggio del prompt coerente con lo script del numero aiuta la prestazione, sebbene in modo meno efficace rispetto alla mappatura esplicita.
  • Suggerimento (Hinting): Limitarsi a dichiarare il nome dello script o descrivere le regole di formattazione senza esempi produce un miglioramento trascurabile.

Significatività e Rivendicazioni
Gli autori sostengono che le loro scoperte evidenzino una sfida trascurata nel ragionamento numerico multilingue: la fragilità della numeracia degli LLM sotto variazioni di rappresentazione. Il documento argomenta che la competenza aritmetica osservata negli LLM non è puramente algoritmica, ma è fortemente condizionata dalla prevalenza di specifici script e formati nei dati di pre-addestramento.

La significatività di questo lavoro risiede in:

1. Identificazione della "Tassa dello Script": Stabilire che le rappresentazioni non standard comportano una penalità di prestazione sistematica, suggerendo che le valutazioni attuali potrebbero sovrastimare la robustezza dei modelli in ambienti linguistici reali e diversificati.
2. Insight Azionabili: Dimostrare che questa perdita di capacità non è inevitabile. Gli autori mostrano che interventi semplici, privi di parametri — specificamente il few-shot prompting e la mappatura numerale esplicita — possono colmare efficacemente il divario, permettendo ai modelli di adattarsi a script e formati sconosciuti senza ri-addestramento.
3. Pratiche di Valutazione: Il lavoro sostiene pratiche di valutazione che riflettano la diversità delle rappresentazioni numeriche incontrate nell'uso linguistico reale, andando oltre le convenzioni standard eurocentriche che dominano gli attuali benchmark.

Il documento conclude con modestia, notando che sebbene queste strategie di prompting siano efficaci, esse non affrontano tutti i potenziali metodi di miglioramento (come il chain-of-thought o l'uso di strumenti) e che lo studio si concentra sull'isolare gli effetti della rappresentazione piuttosto che sull'ottimizzazione esaustiva.