Same question, different history: language, national identity, and credit in large language models

Sintesi Tecnica: "Stessa domanda, storia diversa: linguaggio, identità nazionale e credito nei grandi modelli linguistici"

Problema di ricerca
Il saggio indaga come i Grandi Modelli Linguistici (LLM) gestiscono le attribuzioni storiche contestate, in particolare riguardo all'invenzione di tecnologie e scoperte scientifiche. Mentre le società umane mantengono spesso narrazioni nazionali divergenti su "chi ha inventato X" (ad esempio, Popov contro Marconi per la radio), non è chiaro come gli LLM, che fungono da gateway predefinito all'informazione, presentino tali dispute. Gli autori sostengono che gli LLM non siano sistemi di recupero neutri, ma partecipanti attivi alla riproduzione della memoria collettiva. La domanda centrale di ricerca è se il linguaggio di una query dell'utente alteri sistematicamente quale rivendicatore nazionale viene fatto emergere dal modello, agendo efficacemente come un "interruttore" che attiva diverse versioni nazionali della stessa storia. Questo fenomeno è inquadrato come una forma computazionale di "nazionalismo banale", in cui la memoria collettiva viene attivata in modo differenziato tra le comunità linguistiche.

Metodologia
Lo studio ha impiegato un audit su larga scala di 11 LLM ampiamente utilizzati (sviluppati in Cina, negli Stati Uniti e in Europa) attraverso 21 dispute documentate su invenzioni/scoperte che coinvolgono rivendicatori di diverse nazioni.

• Raccolta dati: I ricercatori hanno generato 1.380 prompt fissi in 12 lingue (tra cui danese, tedesco, inglese, francese, hindi, italiano, coreano, portoghese, rumeno, russo, svedese e cinese). I prompt sono stati presentati in due forme: una domanda aperta ("Chi ha inventato X?") e una domanda contrastiva ("Chi ha inventato X, A o B?").
• Volume: Ogni prompt è stato interrogato cinque volte per modello, producendo circa 75.896 risposte complete.
• Variabili:
  • Lingua associata al rivendicatore: La lingua dominante della nazione più strettamente legata a un rivendicatore specifico (ad esempio, il russo per Popov, il cinese per Bi Sheng).
  • Commemorazione: Un conteggio (0–8) di marcatori istituzionali (festività, banconote, statue, inclusione nei programmi scolastici) per ciascun rivendicatore.
  • Rango di potere: Una misura relativa della prominenza di un rivendicatore all'interno di una specifica disputa.
• Analisi e codifica: Le risposte sono state codificate da annotatori LLM indipendenti (utilizzando modelli diversi da quelli generatori per evitare l'auto-preferenza) in tre categorie: cancellazione (un singolo rivendicatore presentato come fatto, i rivali vengono omessi), parziale (viene nominato il rivendicatore primario con il riconoscimento dei rivali) e contestata (l'attribuzione è presentata come aperta). La metrica primaria è stata la distinzione binaria tra cancellazione e qualsiasi tipo di riconoscimento.
• Modellazione statistica: È stata utilizzata una regressione logistica cluster-robusta per modellare la probabilità che un rivendicatore venga nominato, controllando per corrispondenza linguistica, commemorazione, rango di potere, lunghezza della risposta e forma della domanda.

Risultati chiave

1. Emergenza condizionata dal linguaggio: La lingua della query influenza significativamente quale rivendicatore viene fatto emergere. Quando si interroga in una lingua associata a un rivendicatore, quel rivendicatore ha una probabilità significativamente maggiore di essere nominato. Ad esempio, Popov viene nominato nell'85% delle query in russo, ma solo nel ~48% delle query in altre lingue (un divario di 37 punti percentuali). Guadagni simili sono stati osservati per Bi Sheng in cinese (+19 pp), Santos-Dumont in portoghese (+15 pp) e Reis in tedesco (+14 pp).
2. Asimmetria di dominanza: Questo effetto è concentrato tra i rivendicatori a basso status e non anglofoni. Figure anglofone dominanti (ad esempio, Bell, Wright, Newton) e il globalmente canonico Marconi sono nominati a tassi vicini al soffitto (98–100%) indipendentemente dalla lingua della query. I modelli non "dimenticano" le figure dominanti in altre lingue; piuttosto, non riescono a "ricordare" le figure subordinate a meno che non vengano interrogate nella loro specifica lingua nazionale.
3. Ruolo della commemorazione: Il vantaggio linguistico si rafforza con livelli più elevati di commemorazione istituzionale. Tuttavia, anche i rivendicatori con zero marcatori di commemorazione registrati (ad esempio, Choe Yun-ui, Jost Bürgi) mostrano un vantaggio statistico significativo nella propria lingua, suggerendo che l'effetto sia guidato dal corpus testuale della lingua nazionale più ampio, e non solo dagli atti formali di commemorazione.
4. Forma della domanda: Nominare esplicitamente un rivale nel prompt (forma contrastiva) riduce drasticamente il tasso di cancellazione (dall'11,2% nella forma aperta al 3,1% nella forma contrastiva), proteggendo il rivale dall'omissione.
5. Varianza del modello: I tassi di cancellazione variavano tra i modelli (1% - 12%) ma non correlando chiaramente con la regione dello sviluppatore. Il caso di controllo (MRI, dove tutti i rivendicatori condividono l'inglese) non mostrava alcun effetto linguistico, confermando che il fenomeno è specifico delle dispute transnazionali.

Significatività e rivendicazioni
Il saggio sostiene che gli LLM funzionino come un nuovo, pervasivo mezzo di nazionalismo banale. Facendo emergere selettivamente diversi protagonisti nazionali in base alla lingua della query, questi modelli riproducono le "comunità immaginate" descritte da Anderson e i "luoghi della memoria" descritti da Nora, ma lo fanno invisibilmente e su scala planetaria.

• Riproduzione dell'asimmetria: Il sistema rafforza le asimmetrie di conoscenza esistenti. Le narrazioni dominanti (anglofone) sono presentate come fatti universali in tutte le lingue, mentre le narrazioni subordinate sono accessibili solo a chi interroga nella specifica lingua nazionale.
• Meccanismo: Gli autori interpretano questo non come il fatto che il modello abbia lealtà nazionali, ma come una conseguenza statistica dell'addestramento su corpora in lingua nazionale. Il modello riattiva le memorie parziali codificate nel testo di ciascuna comunità linguistica.
• Implicazioni: Lo studio sostiene che, per l'istruzione e il giornalismo, gli LLM non debbano essere trattati come arbitri autorevoli della storia contestata. La risposta "predefinita" in una lingua dominante (come l'inglese) può sistematicamente cancellare le competing rivendicazioni nazionali, mentre la risposta "locale" in una lingua subordinata può ripristinarle. Ciò suggerisce la necessità di sistemi progettati per far emergere esplicitamente la contestazione e per controlli di coerenza translinguistica, piuttosto che trattare le variazioni specifiche della lingua come semplice rumore.

Gli autori rimangono modesti riguardo al meccanismo tecnico specifico, notando che, sebbene la commemorazione sia un forte predittore, l'effetto persiste anche senza di essa, riflettendo probabilmente il volume più ampio e non misurato e la formulazione dei testi in lingua nazionale nei dati di addestramento. Concludono che il comportamento è un risultato del design, non un'inevitabilità, e quindi aperto a interventi.