Riepilogo Tecnico: Il Bias Geopolitico nei LLM Origina nel Post-Addestramento

Enunciato del Problema

L'assunzione prevalente nel campo del bias dei Modelli Linguistici su Larga Scala (LLM) è che le preferenze geopolitiche siano ereditate direttamente dalle regolarità statistiche dei corpus di pre-addestramento. La letteratura precedente ipotizza che i modelli agiscano come eredi passivi dei bias demografici, culturali e ideologici presenti nei dati di addestramento, implicando che la mitigazione del bias debba operare a livello dei dati. Questo studio sfida tale modello causale, mettendo in discussione se il bias geopolitico sia principalmente una funzione dei dati di pre-addestramento o se venga attivamente introdotto o amplificato durante la fase di post-addestramento (instruction tuning e allineamento).

Metodologia

Gli autori hanno condotto un esperimento controllato a scenari accoppiati su sette famiglie di LLM open-weight provenienti da sette laboratori diversi (tre occidentali: Mistral AI, Meta, Google; quattro cinesi: Alibaba, Baichuan, 01.AI, Zhipu).

Design Sperimentale

• Coppie di Modelli: Lo studio ha confrontato il modello "base" (solo pre-addestramento) con il modello "chat" (pre-addestramento + post-addestramento) per ciascuna famiglia. Tutti i modelli sono stati selezionati per adattarsi a una singola RTX 3090 (7–9B parametri) per garantire la riproducibilità.
• Banca degli Scenari: È stata costruita una banca di 79 scenari geopolitici che coinvolgevano 28 coppie di paesi. Gli scenari coprivano 13 tipologie (ad esempio, incursione nello spazio aereo, coercizione commerciale, dispute sulla sovranità), bilanciando temi politici "caldi" con quelli procedurali "freddi".
• Sonda a Scelta Forzata: Ai modelli è stato presentato un racconto in cui il Paese A e il Paese B erano coinvolti in un conflitto. Sono stati costretti a scegliere quale paese avesse agito in modo più o meno giustificato.
  • Caratteristiche di Robustezza: Il design includeva un equilibrio dei ruoli (variando quale paese fosse l'aggressore) e una formulazione a doppia domanda (chiedendo sia "più" che "meno" giustificato) per filtrare artefatti lessicali o posizionali.
  • Misurazione: Il bias è stato quantificato utilizzando i log-odds ($\log P(A) - \log P(B)$) dopo la softmax sul vocabolario.
• Variabili Linguistiche: La sonda è stata eseguita in tre lingue: inglese, francese e cinese. Le traduzioni sono state generate da un LLM (Claude) per mantenere la coerenza, sebbene gli autori notino che ciò introduce un potenziale fattore di confusione.
• Correzioni Tecniche:
  • Somma delle Varianti di Token: Per i modelli che utilizzano tokenizzatori SentencePiece (Yi, Baichuan), gli autori hanno sommato le probabilità sulle varianti di token (ad esempio, "A", " A", "(A") per evitare una sottostima della conformità.
  • Correzioni di Prefill: Sono state apportate regolazioni specifiche per i modelli chat GLM e Yi per tenere conto dei template di risposta (ad esempio, l'aggiunta di nuove righe o parentesi all'inizio) che sopprimevano artificialmente i punteggi di conformità nella valutazione ingenua a singolo token.
  • Filtro di Coerenza: L'analisi è stata limitata a 31 scenari in cui la preferenza del modello invertiva il segno tra la formulazione "giustificata" e "ingiustificata" in almeno il 70% delle combinazioni modello-lingua.

Risultati Chiave

1. Il Post-Addestramento come Fonte del Bias

La scoperta più significativa è che il bias geopolitico origina nel post-addestramento, non nel pre-addestramento.

• Modelli Base: Sei dei sette modelli base erano statisticamente quasi neutrali riguardo alla favorevolezza verso la Cina. Ad esempio, il modello base Qwen 2.5 di Alibaba mostrava un punteggio di favorevolezza verso la Cina di $-0.15$ log-odds ($p=0.15$), indistinguibile dalla neutralità.
• Modelli Chat: Il post-addestramento ha introdotto cambiamenti significativi. Il modello chat Qwen 2.5 è passato a $+2.91$ log-odds ($p < 10^{-4}$), rappresentando un aumento di 18 volte delle probabilità a favore della Cina.
• Direzionalità: In sei delle sette famiglie, lo spostamento post-addestramento era allineato alla nazionalità dello sviluppatore del modello (i laboratori occidentali si sono spostati verso un atteggiamento anti-Cina; tre dei quattro laboratori cinesi si sono spostati verso un atteggiamento pro-Cina). L'eccezione è stata Yi di 01.AI, che si è spostata verso un atteggiamento anti-Cina dopo il post-addestramento.

2. Modulazione Linguistica del Bias

La lingua utilizzata per il prompt del modello amplifica o attenua il bias impresso.

• Prompting in Francese: Il modello Mistral, di produzione francese, è diventato decisamente pro-Francia solo quando sollecitato in francese. Il passaggio da prompt in inglese a prompt in francese ha comportato una variazione di $+1.91$ log-odds nella favorevolezza verso la Francia ($p < 10^{-4}$).
• Prompting in Cinese: Sebbene cinque dei sette modelli post-addestrati mostrassero uno spostamento descrittivo verso un atteggiamento pro-Cina quando sollecitati in cinese, questo effetto a livello di popolazione non era statisticamente distinguibile dalla tendenza del modello base ($p=0.66$). Tuttavia, modelli specifici come Mistral e Yi hanno mostrato una forte amplificazione.
• Meccanismo: Lo studio suggerisce che la lingua modula le preferenze espresse in base alla preferenza di base del modello e all'"intreccio di contenuto" della lingua con specifici paesi, piuttosto che semplicemente attivare un bias statico "allineato al creatore".

3. Eterogeneità tra Laboratori e Avversari

• Varianza tra Laboratori: "LLM sviluppato in Cina" non è una categoria omogenea. Qwen 2.5 ha mostrato un forte bias pro-Cina contro le nazioni occidentali ma un bias più debole contro le nazioni del Sud Globale. Al contrario, Yi 1.5 ha mostrato un bias pro-Cina solo contro gli USA e un bias anti-Cina contro quasi tutti gli altri avversari.
• Indipendenza dall'Argomento: Il bias era ampio piuttosto che specifico per argomento. L'entità del bias non differiva significativamente tra scenari "caldi" (sovranità, nucleare) e "freddi" (spazio aereo, commercio).

4. Controlli di Robustezza e Validità

• Conformità: Lo studio ha affrontato il problema del "rifiuto" o della non conformità. La valutazione ingenua interpretava spesso i template di risposta (ad esempio, l'output di GLM che inizia con una nuova riga) come rifiuti. Dopo aver corretto per questi template, la conformità era alta e i bias sono stati rivelati.
• Entità Fittizie: Quando testati su nomi di paesi fittizi con indizi fonetici (ad esempio, "Zhaodong" che suona cinese), i modelli hanno esibito gli stessi bias allineati al creatore, suggerendo che il bias è attivato da indizi identitari piuttosto che da fatti memorizzati su paesi reali.
• Generazione Libera: Compiti di ragionamento a risposta aperta hanno confermato che i bias osservati nelle sonde a scelta forzata persistono anche quando ai modelli è consentito generare ragionamenti, indicando che la preferenza non è semplicemente un artefatto del formato a scelta forzata.

Significato e Affermazioni

Il documento afferma di riformulare il bias geopolitico non semplicemente come un problema di dati (ereditato da internet) ma come un problema di allineamento e distribuzione.

• Plasmamento Attivo: Lo studio dimostra che le preferenze geopolitiche sono attivamente plasmate durante la pipeline di post-addestramento (SFT, RLHF o sintonizzazione sulla sicurezza). I modelli base sono largamente neutrali, mentre i modelli chat riflettono gli obiettivi specifici di allineamento del laboratorio sviluppatore.
• Necessità di Trasparenza: Poiché il post-addestramento determina come i modelli rappresentano nazioni e prospettive politiche, gli autori sostengono una maggiore trasparenza, audit e supervisione dei processi di allineamento.
• Limitazioni: Gli autori rimangono modesti riguardo alle loro affermazioni. Notano che la dimensione del campione ($n=7$ famiglie) limita il potere statistico delle generalizzazioni tra laboratori (la tendenza 6/7 di allineamento ha fallito un test binomiale a $\alpha=0.05$ ma ha superato un test t di grandezza con segno). Riconoscono inoltre di non poter distinguere tra obiettivi di allineamento deliberati ed effetti collaterali incidentali di altri obiettivi di sintonizzazione (ad esempio, utilità o innocuità). Inoltre, lo studio è limitato a modelli da 7–9B parametri e non copre i modelli chiusi all'avanguardia.

In conclusione, lo studio fornisce prove empiriche che la "lente geopolitica" di un LLM è in gran parte un prodotto del suo allineamento post-addestramento piuttosto che dei suoi dati di pre-addestramento, con la lingua di prompting che funge da modulatore critico di queste preferenze espresse.