Characterizing Cultural Localization in AI-Generated Stories

Problematica
Con l'impiego globale dei Large Language Models (LLM), sta crescendo l'interesse per la loro capacità di generare contenuti culturalmente localizzati. Tuttavia, rimane incerto se i modelli raggiungano la localizzazione attraverso una localizzazione olistica — dove il contesto culturale plasma trame, valori, temi e strutture narrative — o attraverso una localizzazione basata su template. La localizzazione basata su template si verifica quando un modello inserisce marcatori culturali isolati (es. nomi, località, manufatti) in un template narrativo omogeneo e culturalmente agnostico. Il saggio postula che, se i modelli si affidano alla localizzazione basata su template, rischiano di produrre storie che riflettono narrazioni e valori omogenei, portando potenzialmente a danni culturali come l'erosione, l'imposizione di valori occidentali e una ridotta diversità creativa. Inoltre, le attuali valutazioni spesso non riescono a distinguere tra la variazione lessicale superficiale e le differenze narrative profonde, potenzialmente sovrastimando la competenza culturale di un modello.

Metodologia
Gli autori propongono un metodo in due fasi per rilevare e misurare il grado di localizzazione basata su template nelle storie generate dall'IA:

1. Identificazione dei Marcatori Culturali: Il metodo identifica innanzitutto l'insieme minimo di token lessicali (parole) che distinguono le storie tra diverse nazionalità. Utilizzando l'Informazione Mutua Puntuale Normalizzata (NPMI), gli autori valutano le parole in base alla loro associazione con specifiche nazionalità. Successivamente, mascherano iterativamente il top $k\%$ di queste parole culturalmente associate. La soglia $k$ è determinata individuando il punto in cui un classificatore non è più in grado di distinguere la nazionalità della storia meglio del caso casuale. Il testo rimanente, con questi marcatori rimossi, è definito "immagine del template".
2. Misurazione dell'Omogeneità Narrativa: La seconda fase misura la somiglianza delle "immagini del template" tra diverse nazionalità utilizzando metriche di sequenza multi-parola: la Sottosequenza Comune più Lunga (LCS) e la somiglianza di Jaccard di 4-grammi. Se le narrazioni rimanenti sono altamente simili tra le culture dopo la rimozione dei marcatori culturali, ciò indica la presenza di un template narrativo condiviso e culturalmente agnostico. Questo viene confrontato con la somiglianza delle storie originali e delle storie in cui sono state mascherate parole casuali.
3. Caratterizzazione della Stereotipicità: Infine, gli autori caratterizzano i marcatori culturali identificati per stereotipicità e offensività utilizzando il dataset SeeGULL. Calcolano la precisione degli stereotipi all'interno dei marcatori e misurano il punteggio medio di offensività di tali marcatori.

Configurazione Sperimentale
Lo studio ha valutato storie generate da cinque LLM (GPT-3.5 Turbo, GPT-4o Mini, Llama 3.1 8B, Llama 3.3 70B e Gemma 3 12B) attraverso 193 nazionalità e 125 argomenti di storie derivati da framework di valori culturali (es. World Values Survey, dimensioni culturali di Hofstede). I prompt istruivano i modelli a scrivere storie per bambini in inglese su argomenti specifici per un bambino di una specifica nazionalità.

Risultati Chiave

• Vocabolario Limitato per la Localizzazione: Lo studio ha scoperto che la variazione culturale è concentrata in un sottoinsieme molto piccolo del vocabolario. Mascherare solo il 9% - 17% delle parole culturalmente associate è stato sufficiente per rendere le storie di diverse nazionalità indistinguibili per un classificatore.
• Presenza di Template Condivisi: Dopo la rimozione di questi marcatori culturali, le narrazioni rimanenti ("immagini del template") hanno mostrato una somiglianza multi-parola significativamente più alta tra le nazionalità rispetto alle storie originali. In molti casi, la somiglianza inter-gruppo delle storie mascherate ha rappresentato oltre il 70% della somiglianza intra-gruppo, suggerendo una struttura narrativa latente e condivisa che è culturalmente agnostica.
• Stereotipicità e Offensività: Sebbene molti marcatori culturali fossero neutri, lo studio ha identificato che i marcatori per 19 paesi erano, in media, offensivi. Questi paesi si trovano prevalentemente nel Sud del mondo (specificamente Africa e Asia Occidentale) e possiedono spesso lingue dominanti a basse risorse. I marcatori offensivi si allineavano frequentemente con stereotipi negativi (es. "inaffidabile", "violento", "arretrato").

Significatività e Rivendicazioni
Il saggio sostiene che le storie attualmente generate dall'IA mostrano principalmente una localizzazione basata su template piuttosto che una localizzazione olistica. Gli autori sostengono che la rappresentazione culturale in questi modelli è ridotta a un piccolo numero di simboli riconoscibili inseriti in una visione del mondo narrativa omogenea.

La significatività di questo lavoro risiede nella sua lente analitica sulla competenza culturale estrinseca. Gli autori affermano che le valutazioni focalizzate esclusivamente sulla presenza di entità culturalmente salienti (come nomi o luoghi) possono sovrastimare la capacità di un modello di generare narrazioni localizzate. Evidenziando l'omogeneità sottostante della struttura narrativa, il saggio sottolinea la necessità di:

1. Valutazioni più ampie della competenza culturale che includano strutture narrative, valori, posizioni e dialetti, non solo marcatori superficiali.
2. Riconoscimento del fatto che, anche senza pipeline di generazione basate esplicitamente su template, gli LLM possono implicitamente ricorrere a schemi narrativi globalmente dominanti.
3. Sviluppo di metodi per rilevare e misurare l'omogeneizzazione narrativa durante i processi di ragionamento e di uso di strumenti (tool-use) dei sistemi di IA.

Gli autori concludono che comprendere questi meccanismi è cruciale per anticipare e prevenire potenziali danni culturali, come l'erosione di diverse tradizioni narrative e la propagazione di stereotipi offensivi, in particolare per le comunità del Sud del mondo.