Digital Linguistic Bias in Spanish: Evidence from Lexical Variation in LLMs

Riassunto Tecnico: Digital Linguistic Bias in Spanish

Titolo originale: Digital Linguistic Bias in Spanish: Evidence from Lexical Variation in LLM
Autore: Yoshifumi Kawasaki (Università di Tokyo)

1. Il Problema (Problem Statement)

Il lavoro affronta il fenomeno del Digital Linguistic Bias (DLB), ovvero il pregiudizio linguistico digitale che si manifesta quando i Large Language Models (LLM) non rappresentano equamente la diversità dialettale di una lingua. Sebbene lo spagnolo sia parlato da oltre 520 milioni di persone e presenti una vastissima variazione lessicale geografica, gli LLM sono addestrati su dati web che tendono a privilegiare varietà standardizzate o egemoniche. L'obiettivo della ricerca è quantificare in che misura gli LLM catturino la variazione lessicale tra i 21 paesi di lingua spagnola e se tale capacità sia correlata alla quantità di risorse digitali disponibili per ogni regione.

2. Metodologia (Methodology)

L'autore tratta gli LLM come "informatori virtuali" attraverso un approccio di sondaggio strutturato.

• Dataset di riferimento: È stato utilizzato VARILEX, un database esperto che documenta la variazione lessicale in 21 paesi. Il dataset contiene 934 item lessicali e 9.057 varianti, con annotazioni binarie ("predominante" o "marginale/assente") effettuate da linguisti.
• Formati di interrogazione (Prompting): Sono stati utilizzati due formati per testare la conoscenza dei modelli:
  1. Yes–No Question Format (YNQF): Il modello deve rispondere solo "Sí" o "No" a una domanda che chiede se una specifica variante è usata in un determinato paese.
  2. Multiple-Choice Question Format (MCQF): Il modello deve selezionare tutte le varianti corrette tra un elenco di opzioni.
• Modelli valutati: Sono stati testati i modelli della famiglia GPT tramite API ufficiale: gpt-4o, gpt-5.1 e gpt-5.2.
• Metriche di valutazione:
  • Per il formato Yes-No: F1 Score (con analisi del guadagno rispetto a un baseline).
  • Per il formato Multiple-Choice: Coefficiente di Jaccard aggiustato ($J_{adj}$), una metrica che corregge il valore per la probabilità di sovrapposizione casuale tra insiemi, garantendo una valutazione robusta anche quando il numero di varianti cambia.

3. Contributi Principali (Key Contributions)

• Valutazione su larga scala: Fornisce una mappatura empirica e dettagliata della conoscenza dialettale degli LLM basata su dati linguistici esperti.
• Framework di valutazione innovativo: Introduce un metodo che unisce la dialettologia tradizionale con i test di valutazione degli LLM (survey-style).
• Evidenza del DLB: Dimostra che la rappresentazione linguistica digitale non è uniforme e che la semplice quantità di dati non garantisce la precisione dialettale.

4. Risultati (Results)

I risultati evidenziano una rappresentazione disomogenea della varietà spagnola:

• Performance per area: I modelli riconoscono con maggiore accuratezza le varianti associate alla Spagna, alla Guinea Equatoriale, al Messico/Centro America e alla regione del Rio de la Plata (Argentina, Uruguay, Paraguay).
• Il caso del Cile: La varietà cilena risulta essere la più difficile da distinguere per i modelli, mostrando le performance più basse in entrambi i formati di test.
• Disconnessione tra dati e conoscenza: Un risultato cruciale è che la quantità di risorse digitali (token) non correla significativamente con la precisione del modello. Ad esempio, il Cile ha una grande impronta digitale ma scarse performance, mentre la Guinea Equatoriale ha pochi dati ma ottime performance (grazie alla forte affinità lessicale con lo spagnolo della Spagna).
• Evoluzione dei modelli: I modelli più recenti (gpt-5.x) mostrano un miglioramento nell'aderenza alle istruzioni (instruction-following) rispetto a gpt-4o, ma non necessariamente un salto qualitativo drastico nella conoscenza dialettale profonda.

5. Significato e Implicazioni (Significance)

La ricerca suggerisce che il Digital Linguistic Bias non è solo una questione di "quantità di dati" (data quantity), ma è influenzato da fattori più complessi come la similitudine lessicale tra regioni, le pressioni di standardizzazione e la composizione dei corpora.

Le implicazioni sono fondamentali per lo sviluppo di IA più inclusive: semplicemente aggiungere più dati web di una determinata regione potrebbe non bastare a catturarne le sfumature; potrebbe essere necessario un intervento più mirato, come il fine-tuning su corpora specificamente ricchi di varianti dialettali. Il lavoro sottolinea la necessità di sviluppare modelli che rispettino la reale diversità linguistica e culturale del mondo ispanofono.