💬 NLP

Large Language Models Are Bad Dice Players: LLMs Struggle to Generate Random Numbers from Statistical Distributions

Lo studio rivela che i modelli linguistici su larga scala non possiedono un campionatore interno affidabile per generare numeri casuali da distribuzioni statistiche, fallendo sistematicamente sia nelle richieste indipendenti che nella generazione in batch e introducendo bias significativi in applicazioni reali.

Autori originali: Minda Zhao, Yilun Du, Mengyu Wang

Pubblicato 2026-04-21

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Minda Zhao, Yilun Du, Mengyu Wang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un amico molto istruito, che ha letto tutti i libri del mondo e sa rispondere a qualsiasi domanda con una precisione sorprendente. Chiamiamolo "Il Genio Digitale".

Ora, immagina di chiedere a questo Genio di fare una cosa molto semplice: lanciare un dado 1000 volte e scriverti i risultati, assicurandosi che ogni numero (da 1 a 6) esca esattamente lo stesso numero di volte, in modo perfettamente casuale.

Sembra un compito da bambino, vero? E invece, secondo questo studio, il Genio Digitale fallisce miseramente.

Ecco di cosa parla la ricerca, spiegata come una storia:

1. Il Problema: Il Genio non sa "giocare a dadi"

Gli scienziati di Harvard hanno scoperto che i grandi modelli linguistici (come quelli che usiamo per chattare o scrivere) sono bravissimi a parlare di casualità, ma terribili nel generare vera casualità.

L'analogia del musicista: Immagina un musicista che conosce a memoria la teoria musicale e può descrivere perfettamente come suona un'orchestra. Ma se gli chiedi di suonare un assolo di jazz improvvisato senza spartito, suona sempre le stesse note, sempre nello stesso ordine. Il Genio Digitale è come quel musicista: sa descrivere il caso, ma non ha un "dado interno" funzionante.

2. L'Esperimento: La prova del nove

Gli studiosi hanno messo alla prova 11 dei migliori "Geni" digitali esistenti. Loro hanno chiesto loro di generare numeri casuali seguendo regole matematiche precise (come una distribuzione a campana, o numeri pari e dispari).

Hanno usato due metodi di prova:

Metodo A (La lista lunga): "Ehi Genio, scrivimi subito 1000 numeri casuali in un'unica risposta".
Metodo B (La chiamata singola): "Ehi Genio, dammi un solo numero". Poi lo chiamano di nuovo 1000 volte, una alla volta.

Il risultato è stato scioccante:

Nel Metodo A, il Genio riesce a fare un lavoro "accettabile" (circa il 7% delle volte passa il test). È come se, mentre scriveva la lista, si correggesse da solo: "Oh, ho scritto troppi 3, ora scrivo più 4".
Nel Metodo B, il Genio crolla completamente. 10 modelli su 11 falliscono in tutti i test. Quando non può vedere cosa ha scritto prima, il suo "senso del caso" svanisce.

3. Perché succede? (L'illusione della memoria)

Il segreto è che questi modelli non hanno un vero "caso" dentro di sé. Quando devono generare una lista lunga, usano la loro memoria a breve termine per bilanciare i numeri, come se stessero facendo un calcolo mentale mentre scrivono. Ma quando devono fare una singola scelta senza contesto, rivelano i loro veri "pregiudizi".

L'analogia del ristorante: È come un chef che, se gli chiedi di preparare un menu completo per 1000 persone, cerca di bilanciare i piatti per non annoiare nessuno. Ma se gli chiedi di preparare un solo piatto per un cliente, sceglierà sempre la sua pasta preferita, ignorando ciò che il cliente vuole.

4. Le conseguenze nel mondo reale

Questo non è solo un problema matematico noioso. Ha conseguenze reali e pericolose:

I Quiz Medici: Se un'IA deve creare 1000 domande a risposta multipla per un esame, dovrebbe distribuire le risposte corrette in modo casuale (25% A, 25% B, 25% C, 25% D). Invece, i modelli tendono a scegliere sempre la stessa lettera (spesso la C o la B). Questo rende i test ingiusti e prevedibili.
I Ritratti Artificiali: Se chiedi a un'IA di creare 1000 descrizioni di persone per un database, specificando che il 50% deve essere maschio e il 50% femmina, l'IA spesso sbaglia: crea 90% maschi o 90% femmine. Se usiamo queste descrizioni per addestrare altre IA, creeremo un mondo digitale distorto e non rappresentativo della realtà.

5. La lezione finale: Non fidarti del dado

La conclusione degli autori è chiara: i modelli attuali non hanno un "motore di casualità" interno.

Se vuoi che un'IA generi dati statistici corretti (per la scienza, la finanza o l'equità sociale), non puoi affidarti alla sua "intuizione". Devi darle uno strumento esterno, come una calcolatrice o un software matematico (es. Python), e dirle: "Usa questo programma per generare i numeri, poi scrivimi solo il risultato".

In sintesi:
Questi modelli sono come attori eccezionali che recitano la parte di un matematico geniale. Possono fingere di essere casuali se hanno una sceneggiatura lunga (una lista di numeri), ma se devono improvvisare una singola scelta, rivelano di non avere davvero il concetto di "caso". Per ora, per la vera casualità, dobbiamo ancora affidarci alle macchine tradizionali, non all'intelligenza artificiale.

Titolo: I Modelli Linguistici di Grande Dimensione (LLM) sono Cattivi Giocatori di Dadi: Difficoltà nella Generazione di Numeri Casuali da Distribuzioni Statistiche

1. Il Problema

Man mano che i Large Language Models (LLM) evolvono da semplici interfacce di chat a componenti fondamentali di pipeline stocastiche e sistemi di intelligenza generale, la capacità di campionare fedelmente da distribuzioni di probabilità specificate è passata da una curiosità teorica a un requisito funzionale critico.
Attualmente, molte applicazioni avanzate (come la generazione di dati sintetici, la simulazione di agenti, la creazione di materiali educativi e la generazione di prompt per immagini) richiedono che gli LLM producano output che rispettino vincoli distribuzionali precisi. Tuttavia, la pratica corrente per garantire rigore statistico si basa su "workaround" esterni: si chiede all'LLM di scrivere codice Python che chiami librerie numeriche esterne (es. numpy.random).
Il paper si pone la domanda fondamentale: gli LLM possiedono un meccanismo interno funzionale per il campionamento probabilistico, o devono necessariamente affidarsi a strumenti esterni? Le evidenze preliminari suggeriscono che gli LLM potrebbero aver imparato a descrivere linguisticamente la casualità senza possedere la competenza funzionale sottostante.

2. Metodologia

Gli autori hanno condotto il primo audit su larga scala e statisticamente potente delle capacità di campionamento probabilistico nativo degli LLM all'avanguardia.

Modelli e Dataset:
- 11 Modelli Frontier: Include modelli proprietari (GPT-5.2, GPT-4o, Gemini-3-pro) e open-weight (DeepSeek-V3.2, Kimi-K2, Qwen3, Llama-3.3/4, Mistral, Gemma-3).
- 15 Distribuzioni: Organizzate in tre livelli di complessità:
  - Tier I (Base): Uniforme, Gaussiana, Bernoulli.
  - Tier II (Vincoli): Beta, Binomiale, Poisson, Esponenziale.
  - Tier III (Complesse/Coda pesante): Cauchy, Student's t, Chi-quadro, F, Gamma, Weibull, Laplace, Logistica.
- Dimensione del Campione: $N=1000$ per configurazione, permettendo una valutazione statistica robusta della convergenza.
Design Sperimentale (Doppio Protocollo):
Per disambiguare le modalità di fallimento, sono stati utilizzati due protocolli distinti:
1. Generazione in Batch (Protocollo A): Il modello genera $N=1000$ campioni in un'unica risposta, condizionandosi sulla propria storia generata (autoregressione).
2. Richieste Indipendenti (Protocollo B): $N=1000$ chiamate stateless, dove ogni campione è richiesto singolarmente senza contesto condiviso. Questo isola i pregiudizi intrinseci del modello.
Metriche di Valutazione:
- Distanza di Wasserstein-1 (W1): Misura il costo geometrico per trasportare la distribuzione generata su quella target.
- Test di Validità Statistica:
  - Test di Kolmogorov-Smirnov (KS) per distribuzioni continue.
  - Test Chi-quadro ( $\chi^2$ ) per distribuzioni discrete.
  - Soglia di significatività $\alpha = 0.01$ .
- Analisi di Scalabilità: Variazione di $N$ da 50 a 2000 per osservare le traiettorie di convergenza.
Applicazioni a Valle:
- Generazione di MCQ (Domande a Scelta Multipla): Verifica se i modelli possono distribuire uniformemente le risposte corrette tra le opzioni A, B, C, D.
- Generazione di Prompt per Immagini: Verifica il rispetto di distribuzioni demografiche (genere, etnia, altezza, colore) in testi descrittivi.

3. Risultati Chiave

Asimmetria Protocollo-Campione:
- Batch Generation: I modelli mostrano una validità statistica modesta. La mediana del tasso di superamento dei test è del 7%, con il modello migliore (GPT-4o) che supera il 40% delle distribuzioni. Questo suggerisce che l'auto-correzione all'interno del contesto aiuta parzialmente.
- Richieste Indipendenti: Il fallimento è quasi totale. 10 su 11 modelli non superano nessuna delle distribuzioni testate quando le chiamate sono indipendenti. Le distanze W1 aumentano drasticamente (es. da ~0.01 in batch a ~0.15 in indipendente per la distribuzione Uniforme).
Degrado con la Complessità:
L'aderenza alla distribuzione diminuisce monotonicamente all'aumentare della complessità della distribuzione (da Tier I a Tier III). Distribuzioni con code pesanti (Cauchy, Chi-quadro) o momenti indefiniti risultano ingestibili per tutti i modelli.
Scalabilità Inversa (Inverse Scaling):
Contrariamente alla teoria della convergenza statistica (dove l'errore dovrebbe diminuire all'aumentare di $N$ ), per gli LLM l'aderenza peggiora all'aumentare della dimensione del campione.
- Nei test batch, superata una certa soglia (circa $N=1000$ ), la distanza W1 inizia a crescere e i valori p dei test statistici crollano.
- Questo indica che i modelli non stanno campionando da una distribuzione stazionaria, ma accumulano errori di deriva (drift) o bias sistematici che diventano statisticamente evidenti solo su grandi campioni.
Bias nelle Applicazioni Reali:
- MCQ: Nonostante istruzioni esplicite di uniformità, tutti i modelli mostrano un forte bias posizionale (es. GPT-OSS-120B mette il 54.6% delle risposte corrette in C, ignorando A).
- Prompt per Immagini: I modelli falliscono sistematicamente nel rispettare target demografici. Ad esempio, GPT-4o sovrarappresenta il genere maschile (75% vs target 49.5%) e alcune etnie, mentre Llama-4 sovrarappresenta il femminile (97.2%). Per l'altezza, tutti i modelli collassano la varianza (producono $\sigma \approx 1-6$ cm invece di 10 cm). Per i colori, i modelli tendono a collassare su preferenze modali (es. Llama-3.3 genera il 96% di cappotti verdi).

4. Contributi Principali

Assenza di un Campionatore Interno Funzionale: Dimostrazione empirica che gli LLM attuali non possiedono un meccanismo interno genuino per il campionamento probabilistico. La "casualità" osservata in modalità batch è un'emergenza dell'auto-condizionamento contestuale, non una competenza statistica interna.
Limiti di Complessità: Identificazione che le prestazioni di campionamento sono vincolate dalla complessità strutturale della distribuzione; i modelli falliscono su distribuzioni non ben rappresentate nei dati di addestramento o con proprietà matematiche complesse.
Effetto della Dimensione del Campione: Scoperta che aumentare il budget di campionamento ( $N$ ) non migliora la fedeltà, ma anzi espone e amplifica le discrepanze distribuzionali, portando a un fallimento statistico più evidente.
Impatto sulle Applicazioni: Evidenza che i fallimenti nel campionamento nativo si propagano direttamente in bias sistematici in compiti reali (valutazione educativa, generazione di dati sintetici equi), compromettendo l'integrità statistica e la fairness.

5. Significato e Implicazioni

Questo studio ribalta l'assunzione comune che gli LLM possano essere utilizzati come generatori di numeri casuali affidabili senza strumenti esterni.

Sicurezza e Fairness: L'uso di LLM per la generazione di dati sintetici, simulazioni sociali o decisioni randomizzate senza l'uso di librerie esterne (come numpy) introduce bias sistematici che possono minare la validità scientifica e l'equità dei risultati.
Intelligenza Generale: Il fatto che i modelli non possano campionare da distribuzioni semplici senza "calcolatrici" esterne suggerisce che mancano di una comprensione funzionale della dinamica del mondo reale, limitando la loro capacità di simulare scenari stocastici in modo autonomo.
Raccomandazione: Per qualsiasi applicazione che richieda garanzie statistiche, è necessario mantenere l'uso di strumenti esterni per il campionamento probabilistico, trattando l'LLM come un generatore di linguaggio e non come un motore stocastico.

In sintesi, il paper conclude che gli LLM attuali sono "cattivi giocatori di dadi": possono descrivere il concetto di casualità, ma non sono in grado di eseguirlo internamente in modo statisticamente valido.