💬 NLP

UnpredictaBench: A Benchmark for Evaluating Distributional Randomness in LLMs

Il documento introduce UnpredictaBench, un nuovo benchmark e una nuova metrica (KS@N) progettati per valutare la capacità dei grandi modelli linguistici di campionare accuratamente da distribuzioni sottostanti reali, rivelando che gli attuali modelli faticano significativamente con la casualità distributiva nonostante il loro crescente utilizzo nelle simulazioni.

Autori originali: Amirhossein Abaskohi, Amirhossein Dabiriaghdam, Liang Luo, Ellie Dingqiao Wen, Lele Wang, Giuseppe Carenini, Peter West

Pubblicato 2026-06-08

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Amirhossein Abaskohi, Amirhossein Dabiriaghdam, Liang Luo, Ellie Dingqiao Wen, Lele Wang, Giuseppe Carenini, Peter West

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di assumere uno chef per cucinare un pasto per una festa. Non vuoi solo un piatto delizioso; vuoi un buffet che rappresenti perfettamente l'intero menù. Se il menù dice "50% pasta, 30% insalata, 20% zuppa", ti aspetti che il buffet abbia approssimativamente quelle proporzioni.

UNPREDICTABENCH è un test per vedere se i Large Language Models (LLM) possono agire come quello chef. I ricercatori volevano sapere: gli algoritelli di IA possono generare esiti casuali che corrispondano davvero alla "ricetta" (la distribuzione statistica) che gli viene data?

Ecco la scomposizione del paper utilizzando analogie semplici:

1. Il Problema: Lo Chef "Sicuro"

Gli autori hanno notato che, sebbene i modelli di IA siano bravissimi nel ragionamento, sono terribili nell'essere veramente casuali.

Il Problema: Quando viene chiesto a un'IA di simulare un evento casuale (come il lancio di un dado o la simulazione di un crollo del mercato azionario), l'IA tende a diventare "noiosa" o "sicura". Invece di distribuire le sue risposte per corrispondere al caos del mondo reale, collassa in una singola risposta prevedibile.
L'Analogia: Immagina di chiedere a un'IA di simulare 100 lanci di moneta. Una moneta reale ti darebbe circa 50 teste e 50 croci, sparse casualmente. L'IA, invece, potrebbe darti 50 teste di fila, o semplicemente dire "Testa" ogni volta perché pensa che sia la risposta più "logica". Fallisce nel catturare l'imprevedibilità del mondo reale.

2. Il Test: UNPREDICTABENCH

Per risolvere questo problema, i ricercatori hanno costruito un enorme test chiamato UNPREDICTABENCH.

La Configurazione: Hanno creato 448 diverse sfide. Alcune erano semplici problemi matematici (come "Dammi un numero da una Curva di Gauss"), altre erano puzzle di codice, e altre ancora scenari del mondo reale (come "Cosa succede se due auto arrivano a un semaforo contemporaneamente?").
L'Obiettivo: Hanno chiesto all'IA di generare 100 campioni per ogni problema.
Il Tabellone dei Punteggi (KS@100): Hanno utilizzato un righello statistico chiamato test di Kolmogorov-Smirnov (pensa a un "Correttore di Forme").
- Se le 100 risposte dell'IA somigliavano alla perfetta forma del mondo reale, otteneva un punteggio alto.
- Se le risposte dell'IA erano raggruppate o sembravano una linea piatta, otteneva un punteggio basso.
- Il Risultato: Il punteggio più alto ottenuto da qualsiasi modello è stato solo di circa il 32%. Ciò significa che anche l'IA più intelligente fallisce nel mimare la vera casualità per più di due terzi delle volte.

3. Le Scoperte: Chi è Fallito e Perché?

I ricercatori hanno testato molti modelli diversi, dai piccoli modelli open-source ai massicci ed costosi modelli aziendali.

Il "Collasso": La maggior parte dei modelli ha subito un "collasso della modalità" (mode collapse). Immagina un DJ che dovrebbe suonare un mix di rock, jazz e pop. Invece, suona solo la stessa canzone rock in ripetizione perché pensa che sia la canzone "migliore". L'IA fa questo con i numeri; sceglie un numero "plausibile" e si attacca a quello.
La Dimensione non Conta: I modelli più grandi non erano necessariamente migliori. Alcuni modelli massicci si sono comportati peggio di quelli piccoli.
Il Ragionamento non ha Aiutato: I ricercatori hanno provato a dire all'IA di "pensare più intensamente" prima di rispondere. Ha aiutato un po', ma non ha risolto il problema centrale. L'IA non riusciva comunque a generare una distribuzione di numeri veramente casuale.
Il Fine-tuning ha Peggiorato le Cose: I modelli che sono stati perfezionati per essere "utili" e "sicuri" sono diventati in realtà peggiori nell'essere casuali. Essere "utili" sembra far sì che l'IA voglia dare una singola risposta sicura piuttosto che una risposta disordinata e casuale.

4. La Metafora: I Dadi Rotto

Pensa a un LLM come a un lanciatore di dadi magico.

Ciò che vogliamo: Un dado equo che cada su 1, 2, 3, 4, 5 e 6 con uguale frequenza nel tempo.
Ciò che fa l'IA: Lancia il dado, vede un "3" e decide: "3 è un numero molto ragionevole. Lancerò di nuovo il 3". E di nuovo. E di nuovo. E di nuovo.
La Conseguenza: Se usi questa IA per simulare un'epidemia o un crollo economico, le tue previsioni saranno errate perché l'IA non sta simulando il caos dell'evento, ma sta simulando la propria fiducia in un singolo risultato.

5. Conclusione

Il paper conclude che gli attuali modelli di IA non sono pronti per sostituire gli esseri umani nelle simulazioni che richiedono una vera casualità (come la modellazione economica o gli esperimenti scientifici). Sono troppo "deterministici" (prevedibili).

I ricercatori hanno creato questo benchmark per mostrarci esattamente dove l'IA sta fallendo. Finché non saremo in grado di insegnare a questi modelli a essere veramente imprevedibili e a distribuire le loro risposte come un vero processo casuale, non potremo fidarci di loro per simulare sistemi complessi e caotici.

In breve: L'IA è un ottimo narratore, ma un pessimo giocatore d'azzardo. Conosce le regole del gioco, ma non sa giocare il gioco in modo casuale.

Sintesi Tecnica: UNPREDICTABENCH

Definizione del Problema

I Large Language Models (LLM) vengono sempre più impiegati come proxy del comportamento umano e di sistemi stocastici in applicazioni quali simulazioni economiche, modellazione epidemiologica e ambienti multi-agente. Sebbene gli LLM dimostrino la capacità di ragionare su distribuzioni di probabilità e stimare probabilità, esiste una lacuna critica nella loro capacità di generare campioni che riflettano fedelmente le distribuzioni target sottostanti. Gli attuali modelli mostrano spesso una tendenza a "collassare" verso una singola risposta plausibile o un intervallo ristretto di output, fallendo nel catturare l'imprevedibilità e la varianza intrinseche nei processi stocastici del mondo reale. Il lavoro esistente per migliorare la diversità degli output è insufficiente per questi compiti di simulazione, che richiedono campioni calibrati su una specifica distribuzione target piuttosto che meri output variati. Vi è una mancanza di valutazione sistematica per determinare se gli LLM possano produrre esiti incerti statisticamente coerenti con le distribuzioni di verità fondamentale (ground-truth).

Metodologia

Per affrontare questa lacuna, gli autori introducono UNPREDICTABENCH, un benchmark progettato per valutare la casualità distributiva degli LLM.

Costruzione del Benchmark

Il benchmark consiste in 448 istanze di test derivate da 40 distribuzioni di probabilità target (che spaziano da unimodali a multimodali, da discrete a continue). I compiti sono categorizzati in sette tipologie per sondare la comprensione distributiva attraverso diverse rappresentazioni:

Testo Esplicito: La distribuzione e i parametri sono nominati esplicitamente; il modello deve generare un campione.
Testo Implicito: Viene descritto uno scenario del mondo reale senza nominare la distribuzione; il modello deve inferire il processo stocastico e campionare.
Codice Esplicito: Il modello predice l'output di un programma Python che campiona direttamente da una distribuzione (ad esempio, tramite NumPy).
Codice Implicito: Il modello predice l'output di un programma in cui la distribuzione target è indotta attraverso trasformazioni (ad esempio, rapporti di variabili gamma) senza una denominazione esplicita.
Multimodale: Campionamento da miscele di due o più distribuzioni componenti.
Shuffling (Rimescolamento): Generazione di una permutazione casuale uniforme di una lista (codificata tramite codici di Lehmer per la valutazione).
Scenari del Mondo Reale: Compiti curati manualmente che coinvolgono ambienti intrinsecamente incerti (ad esempio, race conditions, dinamiche MCMC, simulazioni di rete).

Metrica di Valutazione: KS@N

La metrica di valutazione primaria è KS@N, che quantifica la fedeltà distributiva utilizzando il test statistico di Kolmogorov-Smirnov (KS).

Procedura: Per un dato problema, il modello genera $N$ campioni indipendenti (tipicamente $N=100$ ). Questi vengono confrontati con un set di riferimento di $M=10.000$ campioni estratti dalla distribuzione di verità fondamentale.
Calcolo: Viene eseguito un test KS a due campioni per ottenere un p-value. Se il p-value supera una soglia rigorosa ( $p_{threshold} = 0.0001$ ), i campioni del modello non sono rifiutati come inconsistenti con la verità fondamentale.
Punteggio: KS@N è la frazione di problemi in cui i campioni del modello non vengono rifiutati. Un punteggio più alto indica una migliore calibrazione distributiva.
Metriche Complementari: Lo studio riporta anche la Distanza di Wasserstein-1 Debiased (WDZ) per catturare il comportamento delle code e gli spostamenti di posizione, e la Divergenza di Jensen–Shannon (JSD) per misurare i disallineamenti della forma a livello di densità.

Risultati Chiave

Gli autori hanno valutato un set diversificato di modelli open-weight e proprietari (inclusi GPT-4o/5.4, Claude Sonnet, Llama 3, Qwen, Nemotron e DeepSeek).

Performance Generali: Nessun modello ha raggiunto un punteggio KS@100 superiore al 40%. Il modello con le migliori prestazioni, Nemotron-3 Super 120B, ha raggiunto il 32,64%, mentre molti modelli all'avanguardia (ad esempio, GPT-5.4, Claude Sonnet 4.6) hanno ottenuto punteggi inferiori al 15%. La maggior parte dei modelli si è concentrata tra lo 0% e il 20%.
Modalità di Fallimento: I modelli falliscono in due modi distinti: (1) mancanza di una rappresentazione interna della distribuzione target, o (2) comprensione della forma approssimativa ma collasso verso un intervallo di output ristretto (mode collapse).
Difficoltà dei Compiti:
- Shuffling e compiti di Codice sono stati i più impegnativi, con nessun modello che ha superato il 40% e diversi performer forti che sono collassati allo 0%.
- Compiti del Mondo Reale hanno prodotto i punteggi individuali più alti per alcuni modelli (ad esempio, Llama-3.2-1B ha raggiunto il 59,09%), probabilmente a causa di intervalli di output effettivamente più stretti in quegli scenari specifici.
- Distribuzioni Multimodali si sono rivelate significativamente più difficili per i modelli con forti tendenze deterministiche, causando spesso un collasso totale.
Impatto degli Interventi:
- Ragionamento (Reasoning): L'abilitazione dei token di ragionamento ha migliorato le prestazioni finali dell'output per alcuni modelli, ma ha rivelato che altri "sanno più di quanto dicano", poiché i loro token di ragionamento contenevano un set di candidati più ampio rispetto ai loro output finali.
  za
- Instruction Tuning: L'instruction tuning ha fornito solo benefici marginali e, in alcuni casi, ha attivamente ridotto la diversità dell'output rispetto ai modelli base.
- Temperatura: Temperature più alte (ad esempio, $T=1.2$ ) hanno generalmente migliorato il KS@100 aumentando la diversità, sebbene i modelli più deboli abbiano talvolta sofferto di un aumento delle deviazioni nelle code.
- List Prompting: Chiedere ai modelli di generare liste di campioni (ad esempio, 10 alla volta) ha migliorato la copertura globale per i modelli capaci, ma ha danneggiato le prestazioni per altri (ad esempio, Llama-3.2-1B).

Significato e Rivendicazioni

Il paper posiziona UNPREDICTABENCH come un primo passo necessario verso l'uso degli LLM come sostituti affidabili di complessi sistemi stocastici.

Fondamento Statistico: A differenza delle valutazioni "LLM-as-a-judge", UNPREDICTABENCH offre una metrica statisticamente fondata (KS@N) che misura direttamente la fedeltà distributiva rispetto alle verità fondamentali note.
Correlazione con l'Utilità: Il benchmark correla fortemente con le metriche di utilità dei benchmark di creatività (NoveltyBench, CREATE), suggerendo che la fedeltà distributiva catturi un aspetto genuino della qualità del modello rilevante per la generazione creativa e diversificata.
Limitazioni Attuali: Gli autori sottolineano che anche la semplice simulazione distributiva rimane una sfida significativa per gli attuali modelli. Il grande divario tra le prestazioni attuali e il limite teorico (Random Machine) indica che gli LLM non sono ancora pronti per compiti di simulazione ad alto rischio che richiedono una casualità fedele.
Roadmap Futura: Il benchmark fornisce un modello per il lavoro futuro, offrendo una curva di difficoltà scalabile (tramite l'aumento di $N$ ) e un banco di prova unificato per investigare la casualità, la calibrazione dell'incertezza e gli effetti degli obiettivi di addestramento (ad esempio, RLHF) sul comportamento stocastico.

Il paper conclude che, sebbene gli LLM possano ragionare sulla casualità, la loro capacità di produrla rimane fondamentalmente difettosa, rendendo necessaria ulteriore ricerca su architetture di modelli e strategie di addestramento che preservino la diversità dell'output senza sacrificare la calibrazione.