💬 NLP

Which English Do LLMs Prefer? Triangulating Structural Bias Towards American English in Foundation Models

Questo studio dimostra come i modelli linguistici di grandi dimensioni privilegino sistematicamente l'inglese americano rispetto a quello britannico attraverso l'analisi di corpora di addestramento, dei tokenizzatori e delle generazioni testuali, sollevando preoccupazioni riguardo all'omogeneizzazione linguistica e all'ingiustizia epistemica nell'IA globale.

Autori originali: Mir Tafseer Nayeem, Davood Rafiei

Pubblicato 2026-04-07

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Mir Tafseer Nayeem, Davood Rafiei

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina che i Modelli Linguistici (LLM), come ChatGPT o Claude, siano come dei grandi chef che cucinano risposte per noi. Questi chef hanno imparato a cucinare leggendo miliardi di libri, siti web e articoli su internet.

Il problema che questo studio ha scoperto è che, anche se questi chef dovrebbero essere "internazionali" e parlare con tutti, in realtà hanno un gusto molto specifico: amano quasi esclusivamente la cucina americana.

Ecco come funziona, spiegato con delle metafore:

1. Il Menù Segreto (I Dati di Addestramento)

Immagina che per diventare chef, questi modelli abbiano mangiato un'enorme quantità di cibo. Lo studio ha controllato i "frigoriferi" (i database) dove hanno mangiato e ha scoperto che il 70-80% del cibo era americano.

L'analogia: È come se un chef italiano, per imparare a cucinare, avesse mangiato solo hamburger e pizza newyorkese per anni. Quando gli chiedi di fare una pasta, la farà comunque, ma probabilmente ci metterà dentro il ketchup o la chiamerà "pasta americana".
Il risultato: Anche se il modello dice di parlare inglese, in realtà parla quasi sempre l'inglese degli Stati Uniti, ignorando quello britannico e le altre varianti del mondo.

2. La Forchetta che si Spezza (I Tokenizzatori)

Prima che il modello possa scrivere una parola, deve spezzarla in piccoli pezzi chiamati "token" (come spezzare un pane in crostini).

L'analogia: Immagina di avere due tipi di pane: il pane americano e il pane britannico. Lo studio ha scoperto che quando il modello prova a spezzare il pane britannico (parole come colour, traveller, lift), la sua forchetta si inceppa e lo spezza in troppi piccoli pezzi.
Perché è un problema? Spezzare il pane in troppi pezzi è come dover pagare più monete per comprare lo stesso panino. È meno efficiente, più lento e fa sentire il modello "scomodo" quando usa parole britanniche. Le parole americane, invece, scivolano via lisce e veloci.

3. L'Attore che Dimentica il Copione (La Generazione)

Infine, lo studio ha chiesto a questi modelli di scrivere storie o rispondere a domande, chiedendo esplicitamente di usare l'inglese britannico.

L'analogia: È come dare a un attore un copione in inglese britannico, ma quando lui inizia a recitare, inconsciamente cambia le parole in americano. Se gli chiedi di scrivere "color", lui scrive "color" invece di "colour". Se gli chiedi di parlare di "vacation", lui usa quella parola invece di "holiday".
La scoperta: Anche quando gli si dice chiaramente: "Parla come un inglese!", il modello tende a tornare alle sue abitudini americane. È come se avesse un "accento" digitale che non riesce a togliere.

Perché è importante? (La Metafora del "Monolinguismo")

Il paper usa una lente "post-coloniale" per spiegare che questo non è solo un errore tecnico, ma una questione di potere.

L'analogia: Immagina che il mondo sia un grande villaggio. Se tutti i cartelli stradali, i manuali di istruzioni e i libri di scuola fossero scritti solo in una versione specifica di una lingua (quella americana), chi parla le altre varianti (britannica, indiana, australiana, ecc.) si sentirebbe escluso.
Il rischio: Se l'Intelligenza Artificiale decide che esiste un solo "inglese corretto" (quello americano), rischia di cancellare le identità culturali di milioni di persone che usano l'inglese britannico o altre varianti. È come se il mondo digitale dicesse: "La tua versione della lingua è sbagliata o meno importante".

Cosa propone lo studio?

Gli autori non si limitano a lamentarsi, ma offrono degli strumenti:

Un nuovo metro di misura (DIALIGN): Hanno creato un "termometro" digitale che può misurare quanto un testo è americano o britannico, aiutando a controllare se i modelli stanno imparando bene.
Una ricetta migliore: Suggeriscono di mescolare meglio gli ingredienti nei dati di addestramento (aggiungere più testi britannici) e di affinare gli strumenti che spezzano le parole (i tokenizzatori) per trattare tutte le varianti con la stessa dignità.

In sintesi:
Questo studio ci dice che l'Intelligenza Artificiale attuale è un po' "colonizzata" dalla cultura americana. Anche se sembra parlare con tutti, in realtà preferisce gli Stati Uniti. Per rendere l'AI giusta e utile per tutti, dobbiamo assicurarci che impari a cucinare (e parlare) con il gusto di tutto il mondo, non solo di una sua parte.

1. Il Problema: Bias Strutturale e Giustizia Epistemica

Il paper affronta il problema della preferenza sistematica delle Large Language Models (LLM) per l'inglese americano (AmE) rispetto all'inglese britannico (BrE), nonostante la diversità linguistica globale e la storia coloniale dell'inglese.

Contesto: Le piattaforme LLM più diffuse (es. ChatGPT, Claude) offrono spesso solo "English (US)" come opzione configurabile, marginalizzando altre varietà standardizzate.
Implicazioni: Questa asimmetria non è solo una questione stilistica, ma riflette un bias strutturale che può portare a ingiustizia epistemica, omogeneizzazione linguistica e un'esperienza utente degradata per gli utenti che utilizzano varietà basate sul BrE (comuni in molte ex-colonie, nell'UE e nel Commonwealth).
Domanda di ricerca: Come si manifestano queste asimmetrie attraverso l'intero pipeline di sviluppo degli LLM (dai dati di pre-addestramento alla generazione)?

2. Metodologia: Triangolazione e DIALIGN

Gli autori adottano una triangolazione delle evidenze attraverso tre fasi distinte dello sviluppo degli LLM, utilizzando un approccio post-coloniale per interpretare i risultati.

A. Corpus Curato di Varianti

È stato costruito un corpus manuale di 1.813 coppie di varianti lessicali parallele (AmE vs. BrE), coprendo:

Ortografia: (es. color vs. colour, organize vs. organise).
Vocabolario: (es. elevator vs. lift, truck vs. lorry).
Grammatica e Convenzioni: (es. on the weekend vs. at the weekend, uso delle virgolette, formati di data).

B. DIALIGN (Dialectal Alignment Score)

È stato introdotto DIALIGN, un metodo dinamico, senza addestramento (training-free) e basato su evidenze distribuzionali per stimare l'allineamento dialettale di un testo.

Funzionamento: Estrae n-grammi (lunghezza 2-5) dal testo, consulta le statistiche di frequenza storiche del corpus Google Books Ngram (separando AmE e BrE) e calcola un punteggio di divergenza logaritmica.
Output: Restituisce probabilità di allineamento $(P_{AmE}, P_{BrE})$ e un punteggio di confidenza, permettendo di quantificare la preferenza dialettale anche in testi complessi che includono grammatica, stile e frasi multi-parola.

C. Analisi Triangolata

Lo studio esamina tre livelli:

Corpora di Pre-addestramento: Audit di 6 grandi dataset open-source (es. BookCorpus, Wikipedia, Common Crawl, RedPajama).
Tokenizzatori: Analisi dell'efficienza di segmentazione (fertility e granularità) di tokenizzatori regionali (USA, Europa, Cina, ecc.).
Generazione: Valutazione delle preferenze nei output dei modelli LLM (sia open che closed-source) in contesti formali e informali.

3. Risultati Chiave

Fase 1: Audit dei Corpora di Pre-addestramento (RQ1)

Squilibrio Sistematico: Tutti i sei corpora analizzati mostrano un skew statistico significativo verso l'AmE.
Dati: Le varianti ortografiche AmE dominano con margini superiori al 70% (es. color vs colour). Anche le differenze lessicali favoriscono l'AmE, sebbene con margini leggermente inferiori.
Conclusione: Il bias è radicato nei dati grezzi su cui vengono addestrati i modelli.

Fase 2: Rappresentazione nei Tokenizzatori (RQ2)

Efficienza Disuguale: I tokenizzatori codificano le varianti BrE in modo meno efficiente rispetto all'AmE.
Fertility: Le forme BrE richiedono più sub-token (fertility più alta) rispetto alle controparti AmE.
- Differenza ortografica ( $\Delta_o$ ): 2.85% - 5.42% in più per il BrE.
- Differenza lessicale ( $\Delta_v$ ): fino al 18.72% in più per il BrE.
Impatto: Questo significa che le parole BrE consumano più "budget" di token, aumentando latenza e costi, e riflettono una rappresentazione strutturale svantaggiata. I tokenizzatori sviluppati fuori dagli USA (es. Mistral, DeepSeek) mostrano una copertura leggermente migliore, ma il bias persiste.

Fase 3: Preferenze Generative (RQ3)

Default Inerente: Anche quando i modelli vengono istruiti esplicitamente a rispondere in "British English" (en-GB), mantengono una forte preferenza per l'AmE.
Statistiche:
- In condizioni predefinite, la maggior parte dei modelli genera output AmE tra il 65% e l'80%.
- Con prompt "British English", la percentuale di output AmE scende raramente sotto il 40%.
Variabili: I modelli statunitensi mostrano il bias più forte. I modelli non-USA e i domini informali (es. ELI5) mostrano una maggiore adozione del BrE, ma l'AmE rimane lo standard de facto, specialmente nei contesti formali.

4. Contributi Principali

Prima Audit Sistematico: Questo è il primo studio che esamina le asimmetrie dialettali nelle varietà standard dell'inglese attraverso l'intero pipeline degli LLM (dati, tokenizzazione, generazione).
Metodologia DIALIGN: Introduzione di uno strumento scalabile e senza addestramento per misurare l'allineamento dialettale, superando i limiti delle semplici analisi lessicali.
Quadro Teorico Post-coloniale: Collega i bias tecnici alle storie geopolitiche di curatela dei dati, dominanza digitale e standardizzazione linguistica, evidenziando come il potere sociopolitico si traduca in bias algoritmici.
Evidenza Empirica Multi-livello: Dimostra che il bias non è solo un problema di output, ma è strutturale, iniziando dalla raccolta dei dati e propagandosi attraverso la compressione dei token.

5. Significato e Raccomandazioni

Lo studio evidenzia che l'inglese americano è diventato la norma implicita nelle tecnologie linguistiche globali, rischiando di marginalizzare ulteriormente le varietà inglesi istituzionalizzate in molte parti del mondo.

Raccomandazioni tecniche:

Bilanciamento dei Dati: Arricchire i corpori di pre-addestramento con dati specifici per le varietà basate sul BrE (es. filtrando domini .uk, .in, .ca).
Design dei Tokenizzatori Sensibili al Dialetto: Espandere i vocabolari dei tokenizzatori per includere varianti BrE che attualmente richiedono più token, riducendo l'inefficienza strutturale.
Valutazione e Allineamento: Utilizzare metriche come DIALIGN per valutare e correggere i bias durante le fasi di allineamento e valutazione dei modelli.

In sintesi, il paper dimostra che l'omogeneizzazione linguistica negli LLM non è accidentale, ma il risultato di scelte strutturali che privilegiano l'AmE, con implicazioni significative per l'equità e l'inclusività globale dell'IA.