ArabicNumBench: Evaluating Arabic Number Reading in Large Language Models

Titolo

ArabicNumBench: Valutazione della Lettura dei Numeri in Arabo nei Modelli Linguistici di Grande Dimensione (LLM)

1. Il Problema

Sebbene i Large Language Models (LLM) abbiano dimostrato eccellenti capacità nei benchmark di ragionamento numerico (come GSM8K o MATH) in inglese, la valutazione di queste competenze in arabo presenta sfide uniche e sottovalutate:

• Dualità dei Sistemi Numerici: L'arabo utilizza due sistemi di numerazione distinti: i numeri arabo-indici orientali (0-9 nella forma araba classica) e i numeri arabi occidentali (0-9 standard internazionali). I modelli devono gestire correttamente entrambi i sistemi a seconda del contesto.
• Divario tra Accuratezza e Formato: I benchmark esistenti valutano se la risposta è corretta semanticamente, ma ignorano come viene generata. Spesso i modelli forniscono la risposta numerica corretta ma falliscono nel seguire le istruzioni di formattazione strutturata (es. output JSON, marcatori specifici), rendendoli inaffidabili per l'implementazione in sistemi di produzione (NLP).
• Mancanza di Benchmark Specifici: Non esisteva una valutazione completa che analizzasse la lettura dei numeri arabi attraverso diversi contesti semantici e strategie di prompting, misurando sia l'accuratezza numerica che la capacità di seguire le istruzioni di output.

2. Metodologia

Gli autori hanno sviluppato ArabicNumBench, un benchmark completo per valutare la capacità dei modelli di leggere e processare numeri in arabo.

• Dataset:

  • Composto da 210 casi di test distribuiti in 6 categorie semantiche:
    1. Numeri puri (Arabo-Indici Orientali).
    2. Numeri puri (Arabi Occidentali).
    3. Indirizzi contestuali (estrazione multipla).
    4. Date contestuali.
    5. Quantità contestuali.
    6. Prezzi contestuali.
  • Il dataset totale genera 59.010 casi di test individuali quando combinato con le diverse strategie di prompting.

• Modelli Valutati:

  • 71 modelli provenienti da 10 fornitori principali (tra cui Qwen, Mistral, OpenAI, Meta, Google, Anthropic, Cohere, DeepCogito, Microsoft, MoonshotAI).
  • Tutti i modelli sono stati interrogati tramite API con temperatura 0.0 per garantire la riproducibilità.

• Strategie di Prompting:
  Sono state testate quattro strategie per ogni modello:

  1. Zero-Shot: Domanda diretta senza esempi.
  2. Zero-Shot CoT: Domanda diretta con istruzione di ragionamento ("Pensa passo dopo passo").
  3. Few-Shot: 3 esempi dimostrativi senza catene di ragionamento esplicite.
  4. Few-Shot CoT: 3 esempi dimostrativi con catene di ragionamento esplicite adattate alle convenzioni arabe.

• Metriche di Valutazione:
  Oltre all'accuratezza numerica standard, il paper introduce due metriche innovative:

  1. Tracciamento del Metodo di Estrazione: Distingue tra output strutturati (estratti tramite pattern specifici come delimitatori GSM8K, marcatori CoT in arabo, o parole chiave) e output non strutturati (fallback, estrazione dell'ultimo numero trovato).
  2. Preservazione del Formato: Misura la capacità di mantenere il sistema numerico corretto (Orientale vs Occidentale) nella risposta.

3. Contributi Chiave

• Primo Benchmark Olistico: La prima valutazione sistematica della lettura dei numeri in arabo che combina accuratezza, gestione di sistemi numerici duali e capacità di seguire istruzioni di formato.
• Nuove Metriche: Introduzione del tracciamento dei metodi di estrazione per quantificare la "strutturazione" dell'output, un aspetto critico spesso ignorato nei benchmark di ragionamento.
• Analisi della Dissociazione: Dimostrazione empirica che l'alta accuratezza numerica non garantisce la capacità di generare output strutturati o seguire le istruzioni di formato.

4. Risultati Principali

L'analisi di 281 combinazioni modello-strategia rivela risultati sorprendenti:

• Impatto del Prompting:

  • La strategia Few-Shot Chain-of-Thought (CoT) è nettamente superiore, raggiungendo un'accuratezza media del 80,06%, contro il 28,76% dello Zero-Shot (un miglioramento di 2,8 volte).
  • Tuttavia, il CoT ha un impatto ancora maggiore sulla struttura: aumenta la generazione di output strutturati da 7,14% (Few-Shot senza CoT) al 34,12% (un aumento di 4,8 volte).

• Il Divario di Capacità (Capability Divide):

  • Solo 6 modelli (8,5% del totale) riescono a generare output strutturati in oltre il 90% dei casi, anche con le migliori strategie di prompting. Questi includono: Qwen3 Max, Llama 3.1 405B, Command A, GPT-4o-mini, Claude 3 Opus, Qwen3 235B.
  • Al contrario, 44 modelli (62,9%) rimangono sotto il 10% di output strutturati, indipendentemente dal prompting.

• Il Paradosso Accuratezza vs Struttura:

  • Modelli ad altissima performance numerica (es. Gemini 2.5 Pro con 99,05% di accuratezza) producono prevalentemente output non strutturati (92,86% di fallback).
  • Questo evidenzia una dissociazione fondamentale: un modello può essere eccellente nel "pensare" (ragionamento numerico) ma scadente nel "eseguire" (seguire istruzioni di formato).

• Fornitori:

  • Google e Qwen mostrano i picchi di accuratezza più alti (99,05%), ma le loro performance medie sono trascinano verso il basso dai modelli più piccoli della famiglia.
  • Fornitori come Cohere e Microsoft mostrano una maggiore coerenza tra i loro modelli.

5. Significato e Implicazioni

• Ridefinizione della "Prontezza per la Produzione": Il paper sfida il paradigma attuale che considera l'accuratezza numerica come l'unico indicatore di qualità. Per i sistemi NLP arabi in produzione, la capacità di generare output strutturati e seguire le istruzioni è tanto importante quanto la correttezza del calcolo.
• Selezione del Modello: La scelta del modello è più critica dell'ingegneria del prompt. Nessun prompt può trasformare un modello debole nel seguire le istruzioni in un modello forte; la capacità di output strutturato è intrinseca all'architettura e al training.
• Raccomandazioni Pratiche:
  • Per applicazioni reali in arabo, si consiglia di utilizzare sempre il Few-Shot CoT.
  • La selezione dei modelli dovrebbe basarsi sulla percentuale di output strutturato e non solo sull'accuratezza grezza.
  • I sei modelli "élite" identificati rappresentano l'unica scelta sicura per compiti che richiedono sia ragionamento numerico che formattazione rigorosa.

In sintesi, ArabicNumBench fornisce le basi per una valutazione più realistica e operativa degli LLM nel contesto arabo, evidenziando che la competenza numerica e la capacità di seguire le istruzioni sono abilità distinte che devono essere valutate separatamente.