Predictable Confabulations: Factual Recall by LLMs Scales with Model Size and Topic Frequency

Riepilogo Tecnico: Confabulazioni Prevedibili

Enunciato del Problema
Gli errori di richiamo fattuale, o confabulazioni, rimangono una modalità di fallimento critica nei Modelli Linguistici di Grande Dimensione (LLM). Sebbene ricerche precedenti abbiano stabilito che le prestazioni aggregate del modello seguono leggi di scalatura legate alla dimensione del modello, alla dimensione del dataset e alla potenza di calcolo, nessun singolo framework ha collegato la qualità del richiamo fattuale sia alla dimensione del modello sia alla composizione dei dati di addestramento (in particolare, la frequenza degli argomenti). Il lavoro esistente tratta la scala del modello e la frequenza della conoscenza come fattori indipendenti, ma manca di una forma funzionale predittiva che li unifichi.

Metodologia
Gli autori hanno valutato 38 LLM (che spaziano da 1 miliardo a 1,6 trilioni di parametri, inclusi modelli densi, Mixture-of-Experts e modelli closed-source) su 24 argomenti accademici. Gli argomenti sono stati selezionati per coprire cinque ordini di grandezza nella rappresentazione dei dati di addestramento, misurata dal conteggio dei lavori accademici OpenAlex ($S$).

• Generazione dei Dati: Ogni modello è stato sollecitato a generare 10 riferimenti accademici per argomento utilizzando un prompt standardizzato.
• Pipeline di Verifica: Un sistema automatizzato, SourceVerify, ha autenticato i riferimenti generati contro OpenAlex, Google Scholar e i registri DOI. Ha prodotto un punteggio di autenticità continuo basato su corrispondenze a livello di campo (titolo, autori, anno, sede, identificatore).
• Metrica di Qualità: La qualità finale del richiamo è stata definita come il prodotto di autenticità (verificata da SourceVerify) e rilevanza (giudicata da un agente automatizzato e validata da valutatori umani).
• Analisi Statistica: Gli autori hanno adattato una funzione sigmoide ai dati, modellando la qualità come funzione della combinazione log-lineare del numero di parametri del modello ($P$) e della frequenza di rappresentazione dell'argomento ($S$).

Quadro Teorico
Lo studio propone un modello di rapporto segnale-rumore (SNR) ispirato alla "sovrapposizione".

• Segnale: La forza della rappresentazione di un concetto scala con la sua frequenza nei dati di addestramento ($S$).
• Rumore: Il livello di interferenza è determinato dalla capacità del modello ($P$). Secondo la teoria della sovrapposizione, dove i modelli codificano più caratteristiche rispetto alle dimensioni, il recupero di un concetto comporta interferenze da altre rappresentazioni sovrapposte. All'aumentare della capacità del modello, questo livello di interferenza si abbassa.
• La Sigmoidale: Il richiamo si verifica quando il segnale supera il livello di rumore. Gli autori ipotizzano che la qualità del richiamo segua una funzione sigmoide della somma logaritmica di questi fattori:
  $$\text{qualità} = \sigma(\alpha \log_{10} P + \beta \log_{10} S + \gamma)$$
  dove $\sigma$ è la funzione logistica.

Risultati Chiave

1. Scalatura Sigmoide: Il modello sigmoide proposto si adatta ai dati su 16 modelli densi provenienti da quattro famiglie indipendenti (Llama, Gemma, Mistral, Qwen) con un $R^2$ di 0,599. Quando analizzato all'interno delle singole famiglie, l'adattamento migliora significativamente ($R^2$ che varia da 0,74 a 0,94).
2. Fattori Indipendenti: Sia la dimensione del modello ($P$) sia la frequenza dell'argomento ($S$) contribuiscono indipendentemente alla qualità del richiamo. La dimensione del modello da sola spiega il 42,1% della varianza, mentre la frequenza dell'argomento aggiunge un ulteriore 17,8%.
3. Tre Regimi: La curva sigmoide rivela tre distinti regimi operativi:
   • Pavimento: Modelli piccoli o argomenti rari risultano in "fabbricazione tramite modello", dove i modelli riciclano cognomi ad alta frequenza o modelli generici invece di richiamare fatti specifici.
   • Rampa: Una regione di miglioramento log-lineare in cui l'aumento della capacità o della frequenza produce guadagni proporzionali nel richiamo.
   • Tetto: Si verifica la saturazione quando la capacità supera l'inventario dei concetti e la qualità si stabilizza.
4. Gradiente delle Citazioni: I modelli più grandi richiamano riferimenti con un numero di citazioni inferiore (conoscenza a coda lunga) rispetto ai modelli più piccoli, che sono limitati a documenti altamente citati (ad alta frequenza). Questo supporta l'ipotesi che i modelli più grandi abbassino il livello di rumore abbastanza da recuperare segnali più deboli.
5. Offset di Famiglia: Esistono offset sistematici tra le famiglie di modelli (ad esempio, i modelli Llama generalmente superano Gemma e Qwen a parità di conteggio di parametri), suggerendo che le procedure di addestramento e la curatela dei dati spostano l'intercetta ($\gamma$) senza alterare la pendenza di scalatura.

Significato e Affermazioni
Il documento afferma di fornire la prima legge di scalatura predittiva unificata per il richiamo fattuale che incorpora sia la scala del modello sia la composizione dei dati di addestramento. Riformulando le confabulazioni non come errori casuali ma come una conseguenza prevedibile della compressione di conoscenze distribuite in modo non uniforme in una capacità rappresentativa finita, gli autori offrono un quadro quantitativo per stimare l'affidabilità.

Gli autori sottolineano che i benchmark aggregati spesso mascherano disparità sistemiche; un modello può performare bene su argomenti ad alta frequenza mentre fallisce su concetti a coda lunga. Il quadro suggerisce che estendere il richiamo affidabile a argomenti a bassa frequenza richiede aumenti sproporzionati della capacità del modello, mentre la curatela dei dati e il pre-addestramento mirato possono essere più efficienti per i concetti vicini alla soglia di richiamo. Lo studio conclude che per concetti a frequenza molto bassa, l'aumento del recupero rimane l'alternativa necessaria al richiamo parametrico.

Limitazioni
Gli autori notano diversi vincoli: lo studio è osservazionale (correlazionale) piuttosto che causale; il proxy dei dati di addestramento ($S$) è indiretto; l'analisi è limitata all'inglese e ai riferimenti accademici; e i parametri di scalatura specifici potrebbero non generalizzarsi ad altri domini fattuali come la conoscenza di senso comune o procedurale.