Bridging the Culture Gap: A Framework for LLM-Driven Socio-Cultural Localization of Math Word Problems in Low-Resource Languages

1. Il Problema

I modelli linguistici di grandi dimensioni (LLM) hanno dimostrato capacità significative nel risolvere problemi matematici espressi in linguaggio naturale. Tuttavia, le loro prestazioni nelle lingue a risorse limitate (Low-Resource Languages - LRL) e in contesti culturalmente radicati sono inferiori rispetto all'inglese.

Il problema principale risiede nella scarsità di dataset che riflettano accuratamente entità native (nomi di persone, organizzazioni, valute). La maggior parte dei benchmark multilingue esistenti (come le versioni tradotte di GSM8K) viene creata tramite traduzione automatica o umana diretta, mantenendo spesso entità "anglocentriche" (es. nomi come "Mandy" o valute come il dollaro "$").
Questo approccio introduce due criticità:

1. Bias Culturale: I modelli vengono valutati su scenari che non rispecchiano la realtà quotidiana degli utenti locali.
2. Falsa Robustezza: Le prestazioni misurate su dati tradotti non riflettono la vera capacità del modello di ragionare matematicamente quando le entità del problema sono adattate al contesto culturale locale. Come mostrato nell'esempio della Figura 1, cambiare un nome o una valuta in una traduzione diretta può far crollare le prestazioni del modello, rivelando una fragilità nella comprensione del contesto.

2. Metodologia

Gli autori propongono un framework automatizzato guidato da LLM per la localizzazione socio-culturale dei problemi matematici (Math Word Problems - MWPs). L'obiettivo è trasformare dataset tradotti in versioni culturalmente adattate sostituendo le entità chiave con equivalenti locali, senza alterare la struttura logica del problema.

Il processo di localizzazione avviene in diverse fasi (illustrate nella Tabella 1):

1. Classificazione delle Entità: Utilizzando un LLM (più robusto dei tradizionali NER per gestire variazioni di ortografia e maiuscole), il sistema identifica nomi propri, nomi di organizzazioni e valute nel testo originale inglese.
2. Creazione del Dizionario di Sostituzione: Viene utilizzato un database curato da volontari contenente nomi unisex, organizzazioni e valute pertinenti per ciascuna delle 18 lingue africane target. L'uso di nomi unisex evita bias di genere.
3. Sostituzione delle Entità: Le entità identificate nel testo tradotto vengono sostituite con quelle locali (es. "$" diventa "shilingi", "Mandy" diventa "Camari").
4. Localizzazione Automatica (Auto-Localization): Un LLM (Gemini) riceve come input la coppia (frase inglese originale, frase tradotta) e la versione con le entità sostituite. Il modello deve generare la frase finale localizzata, mantenendo la fluidità grammaticale e la struttura della lingua target, ma applicando le sostituzioni richieste.
5. Controlli di Qualità: Vengono applicati controlli automatici per garantire che la lunghezza del testo localizzato corrisponda a quella della traduzione diretta, che le entità sostituite siano presenti e che non vi siano sovrapposizioni errate. Se il controllo fallisce, il sistema ricade sulla versione tradotta originale.

Il framework è stato applicato per generare dataset di addestramento e test per 18 lingue africane (inclusi Swahili, Hausa, Yoruba, ecc.), partendo dal dataset GSM8K e dal benchmark AfriMGSM.

3. Contributi Chiave

• Pipeline di Localizzazione Automatizzata: Sviluppo di un sistema scalabile che genera varianti culturalmente adattate di dataset matematici, riducendo la dipendenza da costose annotazioni umane per la localizzazione.
• Analisi del Bias Anglocentrico: Dimostrazione empirica che i benchmark tradotti nascondono le reali capacità dei modelli. L'introduzione di entità locali rivela disparità di prestazioni significative (fino al 9% di calo per GPT-4o-mini in alcuni casi).
• Miglioramento della Robustezza: Dimostrazione che il fine-tuning su dati localizzati migliora significativamente la robustezza e la generalizzazione dei modelli (LLaMA e Gemma) su varianti culturalmente diverse, superando i limiti dei dati puramente tradotti.
• Dataset Pubblici: Creazione e rilascio di varianti localizzate di benchmark matematici per 18 lingue, offrendo una risorsa per valutazioni più eque.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su diversi modelli (Gemma, LLaMA, GPT-4o-mini, Aya) e hanno affrontato tre domande di ricerca (RQ):

• RQ1 (Efficacia della Pipeline): La pipeline automatizzata produce localizzazioni di alta qualità, superando il prompting diretto. L'accordo tra annotatori umani è stato elevato (Kappa di Cohen 0.79 per l'approccio automatico), confermando che il metodo è affidabile e scalabile.
• RQ2 (Impatto delle Entità Locali): Sostituire le entità inglesi con quelle native nei benchmark tradotti ha rivelato un calo delle prestazioni per molti modelli, indicando che questi sono "overfittati" su entità inglesi. Tuttavia, alcuni modelli (come Gemma-2-27b-it) hanno mostrato una maggiore resilienza. In alcuni casi, paradossalmente, i modelli hanno performato meglio con entità native rispetto a quelle inglesi, suggerendo che il contesto culturale facilita il ragionamento quando il modello è adeguatamente preparato.
• RQ3 (Miglioramento della Robustezza): Il fine-tuning sui dati localizzati (o su una combinazione di dati tradotti e localizzati) ha portato a un miglioramento significativo della robustezza. I modelli addestrati con dati localizzati hanno mostrato una maggiore capacità di gestire le variazioni delle entità rispetto a quelli addestrati solo su dati tradotti. La combinazione di diverse fonti di dati (tradotti, con entità sostituite, e localizzati) ha prodotto i risultati più stabili.

5. Significato e Implicazioni

Questo lavoro è fondamentale per il campo dell'IA multilingue e dell'equità algoritmica:

• Ridefinizione della Valutazione: Sposta il focus dalla semplice traduzione dei benchmark alla loro vera localizzazione culturale. Un modello non è veramente "multilingue" se fallisce quando i nomi o le valute cambiano per riflettere la cultura locale.
• Scalabilità per le Lingue a Risorse Limitate: Fornisce un metodo pratico ed economico per creare dataset di alta qualità per lingue che altrimenti non avrebbero risorse per la valutazione o l'addestramento matematico.
• Futuro della Ricerca: Suggerisce che per migliorare le capacità di ragionamento degli LLM, è necessario incorporare attivamente il contesto socio-culturale nei dati di addestramento, non solo la lingua. Il framework apre la strada a valutazioni più realistiche e all'addestramento di modelli più inclusivi e robusti per l'uso nel mondo reale.

In sintesi, il paper dimostra che la localizzazione culturale non è un semplice ornamento, ma un requisito fondamentale per la robustezza e l'equità dei sistemi di intelligenza artificiale nelle applicazioni matematiche e di ragionamento.