💬 NLP

Pretraining Exposure Explains Popularity Judgments in Large Language Models

Sfruttando il corpus Dolma completamente osservabile e i modelli OLMo, questo studio dimostra che i giudizi di popolarità dei grandi modelli linguistici sono guidati principalmente dalle statistiche di esposizione durante il preaddestramento piuttosto che da segnali esterni di popolarità nel mondo reale, con l'esposizione che funge da predittore più accurato del bias del modello rispetto alle visualizzazioni delle pagine di Wikipedia.

Autori originali: Jamshid Mozafari, Bhawna Piryani, Adam Jatowt

Pubblicato 2026-05-13

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Jamshid Mozafari, Bhawna Piryani, Adam Jatowt

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un cervello digitale gigante (un Modello Linguistico di Grande Dimensione, o LLM) che ha letto quasi tutto ciò che esiste su internet. Chiedi a questo cervello: "Chi è più famoso: una specifica panetteria locale o una star pop di fama mondiale?" Il cervello risponde quasi sempre che è la star pop. Abbiamo a lungo assunto che ciò avvenga perché il cervello "sa" che la star pop è popolare nel mondo reale.

Ma questo articolo si pone una domanda diversa: il cervello sta effettivamente valutando la fama nel mondo reale, o sta semplicemente ricordando quali nomi ha visto più spesso mentre studiava?

Per trovare la risposta, i ricercatori hanno utilizzato un cervello speciale, completamente open-source, chiamato OLMo. A differenza della maggior parte dei cervelli AI, possiamo vedere esattamente quali libri e siti web OLMo ha letto durante la sua "scuola" (pretraining). È come avere l'intera biblioteca dei compiti a casa di uno studente, piuttosto che indovinare cosa ha letto basandosi solo sui suoi voti d'esame.

Ecco la spiegazione del loro esperimento e delle scoperte, utilizzando alcune semplici analogie:

1. La Preparazione: Contare gli "Sguardi"

I ricercatori hanno trattato i dati di addestramento dell'AI come una biblioteca enorme. Hanno utilizzato uno strumento speciale (Infini-Gram) per contare esattamente quante volte 2.000 cose diverse (persone, luoghi, marchi, canzoni) sono apparse nei libri che l'AI ha letto.

Il Punteggio di "Esposizione": Questo è semplicemente un conteggio di quante volte l'AI ha "guardato" un nome. Se l'AI ha visto "Taylor Swift" 1 milione di volte e "Il Panettiere Locale Bob" 5 volte, Taylor Swift ha un punteggio di esposizione elevato.

2. I Tre Competitori

I ricercatori volevano capire quale "punteggio" prevedesse meglio come l'AI avrebbe risposto alle domande sulla popolarità. Hanno confrontato tre cose:

Il Punteggio del Mondo Reale (Wikipedia): Hanno esaminato quante persone hanno effettivamente visitato le pagine Wikipedia di queste entità. Questo è la "verità fondamentale" della fama nel mondo reale.
La Scommessa "Diretta": Hanno chiesto all'AI: "Su una scala da 0 a 1000, quanto è famosa Taylor Swift?"
Lo Scontro "Testa a Testa": Hanno chiesto all'AI: "Chi è più famoso: Taylor Swift o il Panettiere Locale Bob?" (Questo è come un torneo a eliminazione diretta).

3. La Grande Scoperta: Si Tratta di Ciò Che È Stato Letto, Non di Ciò Che È Conosciuto

I risultati sono stati sorprendenti e chiari:

La "Memoria" dell'AI corrisponde alla Biblioteca: L'idea dell'AI di ciò che è famoso corrispondeva molto meglio al suo "Punteggio di Esposizione" (quanto spesso ha visto il nome) rispetto ai numeri reali di Wikipedia.
Lo Scontro "Testa a Testa" è lo Specchio Migliore: Quando all'AI è stato chiesto di confrontare direttamente due cose (come in un torneo), le sue risposte si allineavano quasi perfettamente alla frequenza con cui aveva visto quei nomi nei suoi libri di addestramento. Era persino una corrispondenza migliore rispetto ai dati reali di Wikipedia.
Il Problema della "Coda Lunga": Per cose molto oscure (come "Il Panettiere Locale Bob"), i dati di Wikipedia sono spesso disordinati o inesistenti (nessuno visita quelle pagine). Tuttavia, l'AI aveva ancora un'opinione chiara su chi fosse più famoso. Perché? Perché anche se l'AI aveva visto "Il Panettiere Locale Bob" solo 5 volte e "Un Altro Panettiere" 2 volte, sapeva che il primo era "più famoso" semplicemente perché aveva visto quel nome leggermente più spesso. L'AI non stava utilizzando conoscenze del mondo reale; stava semplicemente contando i suoi compiti a casa.

4. Cervelli Più Grandi = Memorie Più Forti

I ricercatori hanno testato un cervello più piccolo (7 miliardi di parametri) e un cervello più grande (32 miliardi di parametri).

Il cervello più grande era ancora più ossessionato dai suoi dati di addestramento. Le sue risposte si allineavano ancora più strettamente al "Punteggio di Esposizione" rispetto al cervello più piccolo.
Questo suggerisce che man mano che l'AI diventa più intelligente e più grande, non diventa necessariamente più "consapevole" del mondo reale; diventa semplicemente migliore nel ricordare esattamente ciò che le è stato somministrato durante l'addestramento.

La Conclusione

L'articolo conclude che quando un'AI ti dice chi è famoso, non sta necessariamente fornendo un rapporto sulla società reale. Sta fornendo un rapporto sulla sua stessa lista di lettura.

Pensaci come a uno studente che ha letto solo una rivista specifica. Se chiedi a quello studente: "Chi è la persona più famosa del mondo?", non ti dirà la persona effettivamente più famosa; ti dirà la persona che è apparsa in copertina su quella rivista più volte. Il "bias di popolarità" dell'AI è semplicemente un riflesso della frequenza delle parole nei suoi dati di addestramento, non una vera comprensione del mondo.

Riepilogo Tecnico: L'Esposizione al Pretraining Spiega i Giudizi di Popolarità nei Modelli Linguistici di Grande Dimensione

Enunciato del Problema
I Modelli Linguistici di Grande Dimensione (LLM) mostrano preferenze sistematiche per entità ben note, un fenomeno ampiamente attribuito al "bias di popolarità". Tuttavia, l'origine di queste preferenze rimane ambigua: non è chiaro se riflettano una reale popolarità nel mondo reale o semplicemente la frequenza statistica delle entità all'interno del corpus di pretraining. La ricerca precedente ha faticato a risolvere questa questione perché i dati di addestramento per la maggior parte degli LLM rilasciati sono inaccessibili, costringendo a fare affidamento su prove indirette o comportamenti a valle che confondono l'esposizione con altri fattori di confusione.

Metodologia
Questo studio fornisce la prima analisi diretta e su larga scala del bias di popolarità sfruttando i modelli OLMo completamente aperti e il loro corpus di pretraining completo, Dolma. La metodologia procede attraverso i seguenti passaggi:

Indicizzazione dei Dati e Calcolo dell'Esposizione: Gli autori hanno indicizzato l'intero corpus di pretraining OLMo (comprendente i dataset Pretraining, Midtraining e Long Context, per un totale di 7,4 trilioni di token) utilizzando il toolkit Infini-Gram.
Campionamento e Validazione delle Entità: Da un dump di Wikidata (datato 24 gennaio 2026), sono state campionate 5.000 entità per ciascuno dei cinque tipi: Persona, Luogo, Organizzazione, Arte e Prodotto. Per garantire una contea accurata delle frequenze, tutti gli alias candidati sono stati validati utilizzando GPT-4.1 per filtrare le referenze ambigue, mantenendo solo quelle che si riferiscono esclusivamente all'entità target.
Punteggio di Esposizione: Per ciascuna delle 2.000 entità selezionate (400 per tipo, divise equamente tra 200 entità a bassa frequenza "sparse" e 200 entità ad alta frequenza "popolari"), è stato calcolato un punteggio di esposizione basato sulla frequenza dell'entità e dei suoi alias validati nel corpus indicizzato.
Confronto dei Segnali di Popolarità: Lo studio ha confrontato tre segnali distinti con i punteggi di esposizione al pretraining:
- Visualizzazioni delle Pagine Wikipedia: Un proxy esterno per la popolarità nel mondo reale, aggregato dal 1 luglio 2015 al 31 dicembre 2024 (corrispondente alla data di taglio del corpus).
- Stima Scalare Diretta: Il modello OLMo (varianti da 7B e 32B) è stato sollecitato ad assegnare un punteggio di popolarità (0–1000) alle singole entità.
- Confronto a Coppie: Il modello è stato sollecitato a determinare quale delle due entità fosse più popolare. Queste preferenze a coppie sono state convertite in punteggi listwise utilizzando il modello di Bradley–Terry.

Risultati Chiave
L'analisi, basata sulle correlazioni di rango di Spearman ( $\rho$ ), ha prodotto le seguenti scoperte:

Esposizione come Proxy per la Popolarità Reale: L'esposizione al pretraining correla fortemente con le visualizzazioni delle pagine Wikipedia per tutti i tipi di entità (media $\rho \approx 0,755$ ), validando l'esposizione come un proxy significativo per la salienza nel mondo reale durante il periodo di addestramento.
I Giudizi degli LLM Si Allineano Più all'Esposizione che a Wikipedia: I segnali di popolarità generati dagli LLM si allineano più strettamente con l'esposizione al pretraining rispetto alle visualizzazioni delle pagine Wikipedia. Ciò è particolarmente evidente nel metodo di Confronto a Coppie, che ha raggiunto la correlazione più alta con l'esposizione (media $\rho \approx 0,795$ per il modello da 32B), superando sia la stima scalare diretta sia la baseline di Wikipedia.
Il Regime della Coda Lunga: Per le entità "sparse" (a bassa frequenza), le visualizzazioni delle pagine Wikipedia diventano inaffidabili, mostrando correlazioni vicine allo zero o negative con l'esposizione ( $\rho \approx 0,10$ ). Al contrario, i giudizi di popolarità degli LLM (specialmente tramite confronto a coppie) mantengono una correlazione positiva con l'esposizione ( $\rho \approx 0,31$ per il modello da 32B), suggerendo che per le entità rare, i prior del modello sono governati quasi interamente dalla frequenza di pretraining.
Effetti della Scala del Modello: L'aumento della scala del modello da 7B a 32B migliora sistematicamente l'allineamento tra i giudizi degli LLM e l'esposizione al pretraining. Il modello da 32B dimostra prior basati sull'esposizione più nitidi e coerenti, in particolare nei compiti di stima scalare diretta.

Significato e Affermazioni
Il paper afferma di offrire la prima evidenza diretta e su larga scala che i prior di popolarità negli LLM sono plasmati principalmente dalle statistiche di pretraining piuttosto che da segnali esterni di popolarità. Gli autori sostengono che l'"esposizione ai dati" gioca un ruolo centrale nel guidare il bias di popolarità. Nello specifico, i risultati dimostrano che:

Gli LLM non riflettono meramente metriche di popolarità esterne; le loro preferenze di classificazione interne sono profondamente radicate nella distribuzione statistica dei loro dati di addestramento.
L'elicitazione a coppie è un metodo più affidabile per scoprire questi prior basati sull'esposizione rispetto alla stima scalare diretta.
Il "bias di popolarità" osservato negli LLM non è necessariamente un fallimento del ragionamento, ma una riflessione diretta dei pattern di frequenza intrinseci al corpus di pretraining.

Gli autori concludono che questi bias sono proprietà misurabili dei dati di addestramento e suggeriscono che il lavoro futuro dovrebbe investigare strategie di mitigazione per migliorare l'equità e la diversità nelle uscite dei modelli.