Attributing Culture-Conditioned Generations to Pretraining Corpora

1. Problema e Contesto

I modelli linguistici di grandi dimensioni (LLM) mostrano spesso bias culturali nelle attività generative aperte (come la scrittura narrativa o il dialogo), dimostrando conoscenze limitate e producendo output stereotipati per le culture meno rappresentate.
Il problema centrale investigato è l'origine di questi bias: gli autori ipotizzano che le generazioni condizionate culturalmente siano il risultato diretto di squilibri nella rappresentazione culturale all'interno dei corpora di pre-addestramento. In particolare, si cerca di capire se le associazioni tra entità (simboli) e culture siano apprese tramite memorizzazione dei dati di addestramento o se derivino da generalizzazioni errate dovute alla scarsità di dati.

2. Metodologia: Il Framework MEMOED

Per rispondere a queste domande, gli autori propongono MEMOED (MEMOrization from pretraining document), un framework progettato per attribuire le generazioni di un modello alla memorizzazione di specifici documenti di pre-addestramento.

A. Setup Sperimentale

• Modello: OLMo-7B (un modello open-source con dati di pre-addestramento accessibili e indicizzati).
• Dati: Corpora Dolma.
• Scope: Generazioni condizionate su 110 culture diverse, focalizzate su due temi: Cibo e Abbigliamento.
• Raccolta Dati: Per ogni cultura, sono state generate 300 risposte (100 per genere maschile, femminile e neutro) utilizzando prompt specifici (es. "Il mio vicino è [cultura]. Probabilmente gli piace mangiare..."). I simboli (entità) sono stati estratti automaticamente.

B. Il Pipeline MEMOED

MEMOED classifica le associazioni tra cultura e simbolo in quattro categorie, determinando se un simbolo è "memorizzato" basandosi su documenti contributivi nel corpus:

1. Identificazione dei Documenti Contributivi:
   Un documento $D$ è considerato contributivo all'associazione Cultura($C$) - Simbolo($S$) se:

   • I token che rappresentano $C$ e $S$ appaiono entro una distanza minima ($d_{TOK}$ o $d_{SENT}$).
   • Il documento ha un alto Document-Signal to Noise Ratio (dSNR): la frequenza di $C$ nel documento è significativamente superiore alla somma delle frequenze di tutte le altre culture presenti nello stesso testo.
   • Vengono definiti due scenari di rilevanza: Global Relevance (dSNR > 0) e Local Relevance (dSNR tra -1 e 0, ma con distanza tra frasi $\le$ 2).

2. Classificazione della Memorizzazione:
   Per ogni simbolo generato per una cultura, si calcola il Contribution Score (CS), ovvero il rapporto tra il numero di documenti contributivi e il numero totale di documenti in cui appare il simbolo.

   • Si utilizza uno Z-score sulla distribuzione dei punteggi di contributo tra tutte le culture. Se lo Z-score supera una soglia (2.6, >99.5%), il simbolo è classificato come Memorized Association per quella cultura specifica.

3. Categorizzazione delle Associazioni:
   Oltre alla memorizzazione, il framework identifica tre altri tipi di associazioni:

   • Diffuse Association: Simboli non legati a una cultura specifica ma generati per oltre il 50% delle culture (es. "riso", "maglietta").
   • Cross-Culture Generalization: Simboli memorizzati per una cultura A ma generati per una cultura B (es. "kimono" generato per la Corea invece che per il Giappone).
   • Weak Association Generalization: Simboli inferiti o generalizzati da concetti più ampi derivati da associazioni memorizzate o diffuse (es. "abito" come generalizzazione di "kimono").

3. Risultati Chiave

A. Memorizzazione Limitata per Culture Sottorappresentate

Esiste una forte correlazione positiva tra la frequenza di una cultura nel corpus di pre-addestramento e il numero di simboli memorizzati.

• Cibo: 97 su 110 culture hanno almeno un simbolo memorizzato (media ~11 simboli).
• Abbigliamento: Solo 45 su 110 culture hanno simboli memorizzati (circa il 60% non ne ha alcuno, media ~2 simboli).
  Le culture della "coda lunga" (long-tail) mancano di supervisione sufficiente per la memorizzazione, portando il modello a generare simboli non pertinenti (diffusi o cross-culturali).

B. Le Associazioni Memorizzate non sono Solo Simboli Emblematici

Il framework MEMOED identifica correttamente i simboli emblematici (concordando con annotatori umani con un F1-weighted di 0.845 per l'abbigliamento), ma cattura anche associazioni meno ovvie ma frequenti nei dati (es. "abito da sposa occidentale" per l'India), che gli annotatori umani potrebbero non considerare emblematici ma che il modello ha memorizzato dai dati.

C. La Diffusione è Guidata dalla Frequenza

Le Diffuse Associations sono guidate dalla frequenza assoluta dei termini nel corpus. I simboli diffusi appaiono nei dati di pre-addestramento con una frequenza di ordini di grandezza superiore rispetto ai simboli memorizzati specifici. Questo porta il modello a privilegiare questi simboli generici durante il campionamento, oscurando le associazioni culturali specifiche.

D. Generalizzazione Cross-Culturale da Culture ad Alta Frequenza

Esiste una forte correlazione positiva tra la frequenza di una cultura nel pre-addestramento e la probabilità che i suoi simboli memorizzati vengano generati per altre culture.

• Le culture ad alta frequenza (es. India, Giappone) "inondano" le generazioni di culture a bassa frequenza con i loro simboli.
• L'analisi tematica (Topic Modeling) rivela che queste generalizzazioni avvengono spesso quando le culture co-ocrono negli stessi documenti su temi comuni (es. "hijab" appare in documenti che collegano Iran e Arabia Saudita su temi politici/religiosi).

E. Generalizzazione Debole Non Correlata alla Memorizzazione

La generalizzazione da "Weak Association" non è correlata positivamente alla quantità di memorizzazione. Anzi, le culture che non hanno simboli memorizzati tendono a generare più generalizzazioni deboli, spesso derivanti da simboli ad alta frequenza o da combinazioni di simboli diffusi.

4. Contributi Principali

1. Framework MEMOED: Un metodo rigoroso e riproducibile per tracciare le generazioni di un LLM fino a specifici documenti di pre-addestramento, distinguendo tra memorizzazione, generalizzazione e allucinazione.
2. Analisi Quantitativa su 110 Culture: La prima analisi su larga scala che quantifica come gli squilibri nei dati di pre-addestramento influenzino la capacità del modello di rappresentare diverse culture in termini di cibo e abbigliamento.
3. Identificazione di Meccanismi di Bias: Dimostrazione che il bias non è solo una mancanza di conoscenza, ma un'attiva preferenza del modello per simboli ad alta frequenza (diffusi) e la tendenza a sovrapporre simboli di culture dominanti su quelle minoritarie.

5. Significato e Implicazioni

Questo lavoro evidenzia i limiti fondamentali dei processi di pre-addestramento attuali: i modelli non imparano in modo uniforme le conoscenze globali, ma tendono a ripetere un piccolo set di simboli ad alta frequenza a scapito della diversità culturale.

• Mitigazione del Bias: I risultati suggeriscono che per ridurre i bias culturali non basta il fine-tuning, ma sono necessari approcci di unlearning (dimenticanza) o augmentation dei dati mirati a bilanciare le frequenze delle culture nei corpora.
• Interpretabilità: MEMOED offre agli ricercatori uno strumento per attribuire le prestazioni del modello direttamente ai dati di addestramento, facilitando lo sviluppo di dataset più equilibrati e rappresentativi.

In sintesi, il paper dimostra che le generazioni condizionate culturalmente sono un riflesso diretto della distribuzione statistica dei dati di pre-addestramento, con le culture minoritarie che soffrono di una "mancanza di memoria" nel modello, costretto a ricorrere a generalizzazioni imprecise o a simboli di culture dominanti.