💬 NLP

Cultural Awareness is Represented but Not Decoded: Tracing Mythological Knowledge across 18 Open-Source LLMs

Questo articolo esamina 18 LLM open-source e scopre che, sebbene essi rappresentino internamente la conoscenza mitologica di diverse culture, il loro fallimento nel recuperare costantemente le tradizioni non dominanti deriva da un bias di lettura del decoder che collassa queste rappresentazioni sui token delle tradizioni dominanti, un limite ulteriormente influenzato dalla lingua del prompt.

Autori originali: Iaroslav Chelombitko, Ekaterina Chelombitko, Mika Hämäläinen

Pubblicato 2026-08-04

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Iaroslav Chelombitko, Ekaterina Chelombitko, Mika Hämäläinen

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Grande Glitch Culturale: Perché l'IA conosce Zeus ma dimentica Ukko

Immaginate di entrare in una biblioteca gigante e ipertecnologica che contiene quasi tutti i libri mai scritti su internet. Questa biblioteca è gestita da un robot bibliotecario super intelligente che ha letto ogni singola pagina. Chiedete al bibliotecario: "Chi è il re degli dei nelle storie greche?". Il bibliotecario grida istantaneamente: "Zeus!". Chiedete: "Chi è il re degli dei nelle storie romane?". "Giove!". Chiedete: "Chi è il re degli dei nelle storie norrene?". "Thor!". Il robot è perfetto. Ma poi, chiedete: "Chi è il dio supremo del cielo nella mitologia finlandese?". Il robot esita, balbetta e alla fine vi dà una risposta sbagliata, o forse dice anche: "Non lo so".

Questo non è solo un errore casuale; è uno schema. Il robot sembra conoscere le storie "popolari" (greche, romane, norrene) ma fatica con quelle "meno famose" (finlandesi, slave, egizie, cinesi). Questo accade perché la biblioteca da cui il robot ha imparato era composta principalmente da libri in inglese e storie occidentali. Ma ecco il grande mistero: il robot dimentica davvero questi dei meno conosciuti, o li conosce ma si rifiuta solo di dire il nome corretto?

Per risolvere questo problema, gli scienziati usano strumenti speciali per guardare dentro il "cervello" del robot (che è in realtà un complesso programma per computer chiamato Large Language Model). Vogliono vedere se l'informazione è persa nella memoria (l' "encoder") o se la memoria è intatta, ma la parte che pronuncia la risposta (il "decoder") è rotta. Pensatelo come uno studente che sostiene un esame. Se lo studente scrive la risposta sbagliata, non conosceva il fatto, o lo conosceva perfettamente ma si è fatto prendere dal nervosismo e ha scritto la cosa sbagliata? Questo articolo è una storia investigativa che entra nel cervello del robot per scoprire esattamente dove avviene il pregiudizio culturale.

L'Indagine: Dentro il Cervello del Robot

I ricercatori Iaroslav e Ekaterina Chelombitko insieme a Mika Hämäläinen hanno deciso di testare 18 diversi modelli di IA open-source. Non hanno solo fatto domande a caso; hanno usato un gioco molto intelligente e strutturato basato su antichi libri di folklore. Hanno scelto 27 ruoli specifici da un famoso catalogo di miti (come "Il Supremo Dio del Cielo", "Il Dio del Sole" o "Il Trickster") e hanno chiesto ai robot di nominare il personaggio per quel ruolo in 10 diverse culture: greca, romana, norrena, finlandese, ucraina, indiana, egizia, cinese, giapponese e mesopotamica.

Per vedere cosa stava succedendo dentro il robot, hanno usato quattro diversi strumenti di "raggi X":

Linear Probing: Un test per vedere se la memoria interna del robot contiene l'etichetta culturale corretta.
Logit Lens: Un modo per sbirciare nei pensieri del robot livello dopo livello per vedere quando decide una risposta.
Activation Patching: Un esperimento "e se..." in cui scambiano i pensieri interni del robot da una cultura all'altra per vedere se la risposta cambia.
Output Extraction: Semplicemente chiedere al robot la domanda e vedere cosa dice effettivamente.

La Grande Scoperta: Il Cervello va Bene, la Bocca è Rotta

I risultati sono stati sorprendenti e molto chiari. Quando i ricercatori hanno guardato dentro la memoria del robot (lo stream residuo), hanno scoperto che il robot in realtà conosceva perfettamente la cultura.

Immaginate che il cervello del robot sia un enorme archivio. Quando chiedete di un dio finlandese, i file interni del robot mostrano chiaramente una cartella etichettata "Mitologia Finlandese" con il nome corretto all'interno. Lo strumento "Linear Probe" poteva leggere questa cartella con un'alta precisione (spesso tra il 60% e l'88% di correttezza). Il robot sapeva la differenza tra un dio greco e un dio finlandese.

Tuttavia, quando al robot veniva chiesto di parlare, sbagliava.

Questa è la scoperta principale: il fallimento avviene nella "lettura" (readout), non nella "rappresentazione". Il robot conosce la risposta, ma quando prova a dirla, collassa il nome specifico e unico (come "Ukko" per il dio del cielo finlandese) nel nome più popolare e predefinito (come "Zeus" o "Thor").

I ricercatori chiamano questo "Decoding Suppressed" (Decodifica Soppressa). Nel loro studio su 18 modelli, questo è stato il problema principale. Per ogni singolo modello, la maggior parte delle volte (tra il 51% e il 76% delle volte), la memoria interna del robot era corretta, ma la risposta finale che dava era sbagliata. È come uno studente che sa che la risposta è "Finlandese" ma, mentre scrive, la sua mano scrive automaticamente "Greco" perché è quello che vede sulla scrivania dell'insegnante ogni giorno.

Ciò che hanno Escluso

L'articolo ha testato anche altre idee per essere sicuri di avere ragione:

Non è che il robot sia solo "traduzione": Alcuni pensavano che i robot traducessero tutto in inglese dentro le loro teste e poi traducessero di nuovo indietro. Se fosse così, il robot non saprebbe nemmeno la differenza culturale all'interno del suo cervello. Ma lo studio ha dimostato che il cervello conosce chiaramente la differenza.
Non è solo una questione di dimensione del modello: I ricercatori hanno controllato se modelli più grandi (con più "potenza cerebrale") risolvessero il problema. Hanno scoperto che, sebbene i modelli più grandi fossero leggermente migliori, il divario tra "conoscere la risposta" e "dire la risposta" non si è mai colmato. Anche i modelli più grandi presentavano ancora questo pregiudizio.
Non è solo un problema di lingua: Hanno testato se il robot fallisse perché non riusciva a leggere la lingua nativa (come il finlandese o l'ucraino). Hanno scoperto che anche quando il robot sapeva leggere la lingua, preferiva comunque dare la risposta "inglese/occidentale" predefinita. Il pregiudizio è nella parte decisionale del robot, non solo nella sua capacità di lettura.

Il Colpo di Scena Linguistico

Una delle parti più interessanti dello studio è stata porre la stessa domanda in due modi: in inglese e nella lingua nativa della cultura (ad esempio, chiedendo dei dei finlandesi in inglese rispetto a chiedere in finlandese).

Hanno scoperto che il cervello del robot agisce come un interruttore. Quando chiedi in inglese, usa un set di percorsi per decidere la risposta. Quando chiedi in finlandese, ne usa un altro leggermente diverso. A volte, chiedere nella lingua nativa aiutava il robot a dare la risposta corretta, ma spesso il robot continuava a ricorrere ai famosi nomi occidentali.

I ricercatori hanno scoperto che se si pone al robot la stessa domanda sia in inglese che nella lingua nativa, e poi si prende la migliore risposta tra le due, si possono correggere circa il 36% di errori in più senza insegnare nulla di nuovo al robot. È come avere due amici che controllano la risposta: se uno dice "Zeus" e l'altro dice "Ukko", puoi scegliere quella giusta.

Conclusione: Sistemare la Bocca, non il Cervello

L'articolo conclude che il problema non è che l'IA non conosca la mitologia finlandese, slava o egizia. L'IA le conosce. Il problema è che la parte dell'IA che genera il testo è "filtrata" dai default culturali. Ha l'abitudine di appiattire i dettagli culturali unici e specifici nelle forme più comuni e dominanti che vede nei suoi dati di addestramento.

Questo significa che per correggere il pregiudizio culturale nell'IA, non dovremmo solo cercare di nutrire il robot con più libri sulla mitologia finlandese (il che aiuterebbe la memoria, ma quella memoria è già presente). Inveve, dobbiamo sistemare la parte del robot che parla. Dobbiamo insegnare al robot che è accettabile dire "Ukko" invece di "Zeus", anche quando sente che "Zeus" è la risposta più sicura e comune.

Lo studio suggerisce che la soluzione risiede negli interventi di "readout" (lettura dell'output) — ovvero cambiare il modo in cui il robot seleziona le sue parole finali — piuttosto che cercare di riaddestrare l'intero suo cervello. È un promemoria del fatto che il solo fatto che una macchina possieda tutte le informazioni non significa che ti dirà la verità; a volte, ti dice solo ciò che pensa che tu voglia sentire.

Sintesi Tecnica: La Consapevolezza Culturale è Rappresentata ma Non Decodificata

Definizione del Problema

I Large Language Models (LLM) esibiscono un pregiudizio culturale ben documentato, che converge verso frame di riferimento anglo-americani o occidentali in compiti che spaziano dal ragionamento morale al riconoscimento di entità nominate. Sebbene studi comportamentali abbiano stabilito che i modelli falliscono nel recuperare conoscenze culturalmente specifiche (ad esempio, fallendo nel nominare il dio supremo del cielo nella mitologia finlandese o slava, pur nominando con affidabilità Zeus o Thor), essi non hanno identificato dove all'interno del modello avvenga questo fallimento.

La domanda centrale della ricerca è se tale pregiudizio derivi da un fallimento della rappresentazione (lo stato interno del modello non distingue tra le culture) o da un fallimento della decodifica (il modello distingue internamente le culture ma le collassa su token di tradizioni dominanti durante la generazione dell'output). Risolvere questa distinzione è critico perché i due regimi richiedono interventi opposti: i fallimenti della rappresentazione richiedono nuove informazioni nel pre-training, mentre i fallimenti della decodifica richiedono modifiche al meccanismo di readout.

Metodologia

Gli autori strumentano 18 LLM open-source (con parametri che variano da 1.2B a 34B attraverso 8 famiglie di architetture, incluse Llama, Gemma, Phi, Qwen, Yi, OLMo e Aya) utilizzando un substrato cross-culturale parallelo e quattro strumenti meccanicistici.

1. Substrato: Insieme di Entità Cross-Culturali Parallelo

Per garantire un confronto equo tra le culture, gli autori hanno costruito un dataset basato sull'Indice dei Motivi Folklorici e Letterari di Thompson.

Struttura: 27 motivi mitologici specifici (es. "dio supremo del cielo", "furto del fuoco") valutati su 10 culture (Greca, Romana, Norrena, Finlandese, Ucraina, Indiana, Egizia, Cinese, Giapponese, Mesopotamica).
Ground Truth: Ogni coppia (motivo, cultura) ha un singolo nome di entità canonico, ancorato a testi primari (es. Kalevala, Rig Veda) o monografie accademiche moderne.
Prompting: Sono state utilizzate due modalità di prompt:
- Contestuale: " ${name}` incarna il ruolo di `$ {description}." (Utilizzato per l'estrazione degli stati nascosti; la parola relativa alla cultura è assente per evitare la copia banale).
- Chat: "Nella mitologia di ${culture}`, qual è il nome del `$ {description}?" (Utilizzato per la generazione dell'output).

2. Strumenti Meccanicistici

Lo studio applica quattro misurazioni complementari a ogni coppia (entità, modello):

E1 Probing Lineare: Un classificatore ridge viene addestrato sullo stream residuo per predire l'etichetta culturale a 10 vie. Questo testa se l'informazione culturale è linearmente decodificabile dalla rappresentazione interna.
E2 Logit Lens: Il norm finale e l'unembedding del modello vengono applicati agli stati nascosti intermedi per determinare la profondità alla quale il token "gold" entra nelle prime $k$ continuazioni.
E3 Activation Patching: Gli stream residui di un prompt di una cultura sorgente vengono scambiati in un prompt di una cultura target per identificare lo strato causale in cui la preferenza del modello vira verso il nome della cultura sorgente.
E4 Estrazione dell'Output: Decoding greedy del template di chat per misurare l'accuratezza effettiva della generazione.

3. Framework di Decomposizione

Combinando l'esito del probe (E1) e l'esito della generazione (E4), gli autori definiscono una decomposizione $2 \times 2$ :

Preservato: Probe corretto, Output corretto.
Soppresso dalla Decodifica (Decoding-Suppressed): Probe corretto, Output errato (l'ipotesi centrale).
Rappresentazionalmente Piatto (Representationally Flat): Probe errato, Output errato.
Fortuna Superficiale (Surface Luck): Probe errato, Output corretto.

Risultati Chiave

1. La Soppressione della Decodifica è Universale (RQ1)

In tutti i 18 modelli, la cella Decoding-Suppressed è la modalità di fallimento dominante, comprendendo il 51–76% dei casi (media 65%).

Evidenza: Il probe lineare raggiunge costantemente un'accuratezza elevata (0.61–0.88), significativamente superiore alla baseline superficiale dei n-grammi di caratteri (0.60), indicando che lo stream residuo distingue chiaramente le culture.
Contrasto: Tuttavia, l'accuratezza della generazione è drasticamente inferiore (0.09–0.43).
Conclusione: La distinzione culturale è presente nello stato interno del modello, ma non viene emessa dal decoder. Il fallimento è nel readout, non nella rappresentazione.

2. Decodifica Tardiva e Localizzazione Causale (RQ2 & RQ3)

Emergenza per Livello: Il logit lens mostra che il token "gold" entra nelle prime $k$ predizioni solo nell'ultimo 12% dei livelli (profondità mediana 0.96).
Limite Causale: L'activation patching conferma che lo scambio degli stream residui inverte la preferenza del modello solo nell'ultimo quarto della rete (profondità mediana 0.89).
Implicazione: La rete codifica la cultura precocemente (il probe raggiunge il picco nella prima metà), ma il legame causale con il token di output si stabilisce molto tardi, in coincidenza con lo strato di unembedding.

3. Effetti di Scaling (RQ4)

L'aumento della dimensione del modello all'interno di una famiglia (es. Llama 1.2B $\to$ 8B) migliora sia l'accuratezza del probe che quella della generazione, ma non colma il divario.

Il divario si restringe leggermente (es. da 0.70 a 0.63 in Llama 3.x), ma rimane sostanziale anche a scale maggiori.
Ciò suggerisce che semplicemente scalare i parametri non risolve il problema della soppressione della decodifica.

4. Readout Condizionato dalla Lingua (RQ5)

Il fallimento è regolato dalla lingua del prompt.

Disaccoppiamento: Le parafrasi cross-linguistiche (query in inglese vs query nella lingua nativa) sono circa 2 volte più disaccoppiate rispetto alle parafrasi intra-linguistiche ( $r_{cross} = 0.29$ vs $r_{within} = 0.57$ ).
Asimmetria: La direzione del pregiudizio (vantaggio di Inglese vs Lingua Nativa) segue la lingua in cui il canone culturale è oggi documentato (es. greco/egizio favoriscono query in inglese; finlandese/cinese favoriscono query nella lingua nativa), piuttosto che l'efficienza del tokenizer o la capacità del modello.
Ensemble Bilingue: Prendere la disgiunzione degli output in inglese e nella lingua nativa (senza addestramento) recupera un ulteriore +8% di accuratezza assoluta (+36% relativa), confermando che le due modalità accedono a sottoinsiemi parzialmente disgiunti della stessa rappresentazione.

Significato e Rivendicazioni

Il paper rivendica un riquadramento meccanicistico del pregiudizio culturale nei LLM:

Rappresentazione vs Readout: Il luogo primario dell'appiattimento culturale è lo strato di unembedding, non lo stream residuo. I modelli "sanno" le distinzioni culturali (sono linearmente separabili) ma non riescono a "dirle".
Implicazioni per la Mitigazione: Gli interventi che mirano all'encoder (es. pre-training continuo su corpora sottorappresentati) possono aiutare la piccola minoranza dei casi "Rappresentazionalmente Piatti", ma non risolveranno direttamente i casi dominanti di "Soppressione della Decodifica". Una mitigazione efficace deve mirare al readout (es. generazione aumentata dal recupero, reranking, instruction tuning su QA culturale, o ensemble bilingue).
Limitazioni: Le scoperte sono stabilite su modelli open-source con accesso white-box. Gli autori notano che la dominanza del "Decoding-Suppressed" è una congettura per i modelli closed-source, sebbene la previsione del readout condizionato dalla lingua (RQ5) si generalizzi a essi poiché si basa solo sul comportamento dell'output. Il substrato è limitato al folklore (motivi di Thompson) dove i label "gold" paralleli sono costruibili; il trasferimento ad altri domini (es. malintesi biomedici) è proposto come direzione futura ma non rivendicato come risultato di questo studio.

In sintesi, il paper sostiene che l'equità culturale in ciò che un modello dice non può essere letta da ciò che il modello sa; le due cose divergono allo stadio del readout, ed è lì che devono concentrarsi sia la diagnosi che la riparazione.