💬 NLP

The Illusion of Stochasticity in LLMs

Questo studio dimostra che, sebbene i modelli linguistici avanzati possano utilizzare semi casuali forniti per generare distribuzioni target, la loro capacità intrinseca di campionare direttamente da distribuzioni specifiche è fondamentalmente difettosa, rappresentando un limite critico per il loro utilizzo come agenti autonomi.

Autori originali: Xiangming Gu, Soham De, Michalis Titsias, Larisa Markeeva, Petar Veličković, Razvan Pascanu

Pubblicato 2026-04-09

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Xiangming Gu, Soham De, Michalis Titsias, Larisa Markeeva, Petar Veličković, Razvan Pascanu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

🎲 L'Illusione del Caso: Perché le Intelligenze Artificiali non sanno davvero "tirare i dadi"

Immagina di avere un amico geniale, un super-cervello digitale (un'Intelligenza Artificiale o LLM) che conosce tutto: la storia, la matematica, le ricette di cucina. Se gli chiedi di risolvere un'equazione complessa, lo fa in un batter d'occhio.

Ma c'è un problema fondamentale: questo genio non sa giocare a dadi.

Questo è il cuore della ricerca intitolata "L'illusione dello stocastico nei LLM". Gli scienziati hanno scoperto che, anche se queste intelligenze artificiali sembrano casuali quando parlano, in realtà sono estremamente prevedibili quando devono scegliere qualcosa a caso. È come se un giocatore di poker sembrasse bluffare, ma in realtà stesse sempre puntando sulla stessa carta.

1. Il Problema: Il "Sapere" contro il "Fare"

Immagina di chiedere a questo super-cervello: "Dimmi un numero a caso tra 1 e 10".
L'IA sa perfettamente che un numero "a caso" significa che ogni numero ha la stessa probabilità di uscire (1 su 10). Lo sa a memoria! È come se un insegnante sapesse a memoria la regola del gioco.

Tuttavia, quando deve giocare davvero, fallisce miseramente.

Se chiedi 1000 numeri a caso, l'IA ne sceglierà sempre alcuni (come il 7 o il 42) molto più spesso degli altri.
Se le chiedi di scegliere una lettera a caso, sceglierà sempre la "C" o la "A" con una frequenza sospetta.

È come se avessi un dado truccato che, anche se lo sai, non riesci a smettere di lanciare sempre lo stesso numero. Questo crea un'"illusione di casualità": sembra casuale perché l'IA parla in modo fluido, ma non lo è davvero.

2. Perché è un problema? (L'Agente che deve decidere)

Perché ci importa? Perché oggi usiamo queste IA come "agenti" autonomi. Immagina un'IA che deve:

Decidere se esplorare una nuova strada o restare su quella sicura (in un videogioco o nella vita reale).
Creare un test a scelta multipla dove la risposta giusta deve essere nascosta in modo casuale per non essere indovinata.

Se l'IA non è davvero casuale, diventa prevedibile. Un avversario intelligente potrebbe dire: "Ah, so che quando l'IA deve scegliere tra 'su', 'giù', 'sinistra' e 'destra', sceglie sempre 'su'!". E vincerebbe facilmente. È come giocare a "Sasso, Carta, Forbice" contro qualcuno che ha sempre la stessa strategia: non è più un gioco, è una sconfitta certa.

3. I Tentativi Falliti: "Pensa di più!" non funziona

Gli scienziati hanno provato di tutto per correggere questo difetto:

Cambiare la "temperatura": Hanno provato a dire all'IA: "Sii più creativa!" o "Sii più cauto!". Risultato? Niente. Continua a scegliere gli stessi numeri.
Farle pensare (Chain-of-Thought): Hanno chiesto all'IA di spiegare il suo ragionamento passo dopo passo prima di scegliere. Risultato? Peggio di prima! L'IA pensava troppo, si confondeva e finiva per scegliere sempre lo stesso numero "favorevole" (come il 42).
Farle fare liste lunghe: Hanno chiesto: "Dammi 1000 numeri a caso tutti insieme". Risultato? L'IA ha iniziato a ripetere pattern strani, tipo "1, 2, 3, 4, 5..." o a saltare numeri in modo ritmico. Non è casualità, è una canzone rotta.

4. La Soluzione Parziale: L'IA come "Traduttore"

C'è però una buona notizia! Se dai all'IA un numero già casuale (generato da un computer vero) e le chiedi di trasformarlo, allora funziona benissimo.

Immagina che l'IA sia un traduttore.

Se le dai un numero casuale (es. 0.65) e le dici: "Trasforma questo numero in un colore a caso tra Rosso, Blu e Verde", lei lo fa perfettamente.
Sa esattamente come mappare il numero 0.65 sul "Verde".

Il problema è che l'IA non sa generare quel numero 0.65 da sola. Ha bisogno che qualcuno glielo dia. È come se un cuoco fosse bravissimo a trasformare gli ingredienti che gli dai, ma non sapesse come coltivarli o raccoglierli.

5. Cosa succede se usiamo un "Generatore di Numeri" (PRNG)?

Gli scienziati hanno anche provato a far scrivere all'IA un piccolo programma informatico per generare numeri casuali.

Funziona? Sì, ma solo se l'IA è molto potente e se le si dice esplicitamente: "Usa l'ora attuale come seme per il caso".
Il problema: Se l'IA deve farlo molte volte di fila, si stanca, commette errori di calcolo con numeri grandi e ricomincia a sbagliare. Inoltre, è lento e costoso farla fare tutto questo lavoro ogni volta che deve decidere.

🏁 La Conclusione in Pillole

Questo studio ci dice una cosa importante: Le attuali Intelligenze Artificiali non sono davvero casuali.

Hanno un "bias" (una preferenza nascosta) che le porta a scegliere sempre le stesse cose, anche quando dovrebbero essere imprevedibili.

Non sono dadi truccati: Sono come dadi che, anche se li lanci, atterrano sempre sullo stesso lato perché il loro "muscolo" interno è troppo abituato a certi percorsi.
Cosa serve? Per avere un'IA che giochi davvero a caso, non basta dirle "sii casuale". Dobbiamo darle strumenti esterni (come un vero generatore di numeri casuali) che facciano il lavoro sporco per lei, mentre lei si limita a usare quel risultato.

In sintesi: l'IA è un genio che sa cosa è il caso, ma non sa come farlo. E finché non risolveremo questo, le sue decisioni "a caso" saranno sempre un'illusione.

1. Il Problema: Il Divario tra Conoscenza e Azione Stocastica

Il lavoro affronta una limitazione fondamentale dei Large Language Models (LLM) quando operano come agenti autonomi in ambienti complessi. Mentre gli agenti RL (Reinforcement Learning) tradizionali si affidano a meccanismi di campionamento esterni per agire stocasticamente secondo una politica inferita, i LLM devono campionare direttamente dalle loro distribuzioni interne.

Il problema centrale identificato è il "divario conoscenza-azione" (knowing-doing gap):

I modelli possono comprendere teoricamente una distribuzione target (es. uniforme o Gaussiana).
Tuttavia, falliscono nel campionare effettivamente da tale distribuzione in modo affidabile.
Il comportamento apparentemente casuale osservato nei LLM è spesso un'"illusione di stocasticità", guidata da bias nei dati di addestramento o da preferenze posizionali, piuttosto che da una vera generazione di numeri casuali.

2. Metodologia

Gli autori hanno condotto un'analisi empirica rigorosa su diverse famiglie di modelli (Gemini, Qwen3, OLMO-3) di varie dimensioni, testando diverse strategie di campionamento:

Campionamento Indipendente: I modelli sono stati invitati a generare singoli campioni da distribuzioni discrete (es. numeri da 0 a 9, colori) e continue (Uniforme [0,1], Gaussiana) senza contesto storico.
Campionamento Sequenziale: È stato testato l'uso della storia precedente (tutti i campioni precedenti o solo l'ultimo) per simulare generatori di numeri casuali pseudo-casuali (PRNG) stati.
Campionamento in Batch: Richiesta la generazione simultanea di un gran numero di campioni (es. 1024) in una singola inferenza.
Uso di Strumenti (Tool-Use): I modelli hanno generato codice Python per eseguire algoritmi PRNG reali, con e senza l'istruzione di impostare un seed basato sul tempo corrente.
Simulazione di PRNG: I modelli sono stati forniti con il codice di un algoritmo PRNG e un seed, chiedendo loro di simulare l'esecuzione passo-passo tramite Chain-of-Thought (CoT).
Conversione di Distribuzioni: I modelli sono stati forniti con un numero casuale uniforme $U[0,1]$ e hanno dovuto convertirlo deterministicamente in un'altra distribuzione target (es. Gaussiana).

3. Risultati Chiave

A. Fallimento nel Campionamento Diretto

Bias Distribuzionale e Posizionale: I modelli mostrano forti preferenze per valori specifici (es. il numero 7, 42 o il centro dello spazio dei campioni) e per posizioni specifiche nelle liste (es. preferenza per la terza opzione in un test a scelta multipla).
Test di Bontà di Adattamento (Goodness-of-Fit): I test statistici (Chi-Quadrato e Kolmogorov-Smirnov) hanno prodotto valori-p quasi nulli ( $< 0.05$ ) per tutte le distribuzioni testate, confermando che le distribuzioni empiriche generate dai LLM differiscono significativamente da quelle target.
Inefficacia dei Parametri di Decodifica: Variare temperatura, top-p e top-k non risolve il problema; i modelli continuano a fallire nel campionamento corretto.
Limiti del Chain-of-Thought: Anche con ragionamento esplicito, i modelli spesso "pensano" correttamente la distribuzione ma producono un output finale distorto.

B. Campionamento Sequenziale e in Batch

Campionamento Sequenziale: L'uso di tutta la storia precedente migliora leggermente il campionamento uniforme, ma introduce bias temporali (autocorrelazione negativa, il modello tende a evitare lo stato precedente). Il campionamento basato sull'ultimo stato fallisce completamente.
Campionamento in Batch: I modelli spesso falliscono nel contare il numero esatto di campioni richiesti. Inoltre, mostrano pattern periodici ripetitivi (es. sequenze cicliche di numeri) che rendono la sequenza prevedibile e non casuale.

C. Ruolo degli Strumenti e Simulazione

Tool-Use (Codice): Quando i modelli generano codice Python, il campionamento diventa affidabile solo se viene esplicitamente istruito a impostare un seed casuale (es. time.time()). Senza questa istruzione, l'ambiente di esecuzione tende a usare seed fissi, rendendo i risultati deterministici e non stocastici.
Simulazione di PRNG: I modelli possono simulare algoritmi PRNG per distribuzioni uniformi con alta accuratezza (>90% per modelli >4B). Tuttavia, falliscono miseramente nel campionare da distribuzioni Gaussiane tramite simulazione, poiché richiedono moltiplicazioni di numeri molto grandi che superano le capacità di calcolo aritmetico dei LLM.

D. Conversione di Distribuzioni (Successo Emergente)

Il Paradosso: Mentre i LLM falliscono nel campionare direttamente, riescono a convertire con successo un numero casuale fornito (es. da $U[0,1]$ ) in una distribuzione target (Uniforme discreta o Gaussiana).
Proprietà Emergente: Questa capacità è fortemente correlata alla dimensione del modello. Modelli più grandi (es. Qwen3-32B) riescono a implementare algoritmi deterministici (come l'inversione della CDF o la mappatura a intervalli) per convertire l'input in output corretto.
Limiti: La conversione fallisce quando la complessità dell'algoritmo di trasformazione aumenta eccessivamente.

4. Contributi Principali

Dimostrazione dell'Illusione: Prove empiriche che lo stocasticismo nei LLM è spesso un'illusione dovuta a bias, non a una vera capacità di campionamento probabilistico.
Distinzione Critica: La distinzione fondamentale tra la capacità di convertire distribuzioni (deterministica e spesso riuscita) e quella di campionare da esse (stocastica e fallimentare).
Analisi dei Bias: Identificazione di bias posizionali e temporali che rendono le politiche degli agenti LLM prevedibili e sfruttabili in contesti avversari.
Valutazione delle Strategie: Analisi comparativa che mostra come né il tuning dei parametri, né il CoT, né il campionamento in batch risolvano il problema fondamentale.

5. Significato e Implicazioni

Sicurezza e Affidabilità degli Agenti: In scenari dove l'esplorazione o la casualità sono cruciali (es. giochi, sicurezza, ottimizzazione), l'incapacità dei LLM di campionare correttamente rende le loro politiche prevedibili e inefficaci.
Architettura degli Agenti: Il lavoro suggerisce che gli agenti basati su LLM non dovrebbero affidarsi alla loro capacità interna di generare casualità. La soluzione pragmatica proposta è fornire agli LLM l'accesso a strumenti di campionamento con stato (stateful samplers) esterni che gestiscano la casualità, lasciando al modello solo il compito di decidere quale distribuzione campionare o di convertire un seed fornito.
Limiti Computazionali: Evidenzia che la simulazione di algoritmi complessi (come PRNG per distribuzioni continue) tramite ragionamento testuale è computazionalmente proibitiva e soggetta a errori di calcolo aritmetico.

In sintesi, il paper conclude che l'attuale architettura degli LLM è intrinsecamente inadatta per il campionamento stocastico diretto, rendendo necessaria l'integrazione di meccanismi esterni affidabili per qualsiasi applicazione agenziale che richieda vera casualità.