💬 NLP

Don't Pass@k: A Bayesian Framework for Large Language Model Evaluation

Il paper propone un quadro di valutazione bayesiano che sostituisce la metrica Pass@k con stime posteriori della probabilità di successo e intervalli di credibilità, garantendo classifiche più stabili, una gestione esplicita dell'incertezza e una convergenza più rapida con meno campioni per i modelli linguistici su compiti di ragionamento.

Autori originali: Mohsen Hariri, Amirhossein Samandar, Michael Hinczewski, Vipin Chaudhary

Pubblicato 2026-03-20

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Mohsen Hariri, Amirhossein Samandar, Michael Hinczewski, Vipin Chaudhary

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

🚫 Basta con il "Passa o Non Passa": Una Nuova Maniera di Misurare l'IA

Immagina di dover scegliere il miglior cuoco per un grande evento. Hai 11 chef (i modelli di Intelligenza Artificiale) e devi vedere chi prepara il piatto migliore.

Il vecchio metodo (Pass@k): La lotteria dei tentativi
Fino a poco tempo fa, per valutare questi chef, facevamo così: chiedevamo a ognuno di cucinare lo stesso piatto 80 volte. Se almeno una volta il piatto era perfetto, lo consideravamo un "vincitore".
Il problema? È come giocare alla lotteria.

Se uno chef è bravo ma sfortunato, potrebbe non riuscire a fare il piatto perfetto nelle prime 10 volte e perderlo.
Se uno chef è mediocre ma fortunato, potrebbe indovinare il piatto perfetto al primo tentativo e sembrare un genio.
Questo metodo crea classifiche instabili: oggi vince lo Chef A, domani vince lo Chef B, solo perché hanno avuto un po' di fortuna o sfortuna nei tentativi. È come giudicare un calciatore solo su un rigore: se lo sbaglia, non significa che non sappia calciare.

Il nuovo metodo (Bayes@N): La mappa della probabilità
Gli autori di questo paper (Hariri e colleghi) dicono: "Fermiamoci. Non contiamo solo i successi, calcoliamo la probabilità che lo chef sia bravo".

Immagina che ogni modello non sia un semplice "vincitore" o "perdente", ma una bussola.
Invece di dire "Ha fatto il piatto perfetto?", il nuovo metodo chiede: "Quanto è probabile che questo modello faccia il piatto perfetto? E quanto siamo sicuri di questa risposta?".

Ecco come funziona, con tre metafore semplici:

1. La Bussola con il "Raggio di Incertezza" 🧭

Il vecchio metodo ti dà un punto preciso sulla mappa: "Il modello è al 60%". Ma non ti dice se quel 60% è una stima solida o un'ipotesi fatta al buio.
Il nuovo metodo (Bayes@N) ti dà un punto con un cerchio intorno.

Se il cerchio è piccolo, sei molto sicuro: "Sì, questo modello è davvero al 60%".
Se il cerchio è grande, sei incerto: "Forse è al 60%, ma potrebbe essere al 40% o all'80%".
Questo ti permette di dire: "Non possiamo ancora dire chi è il migliore, perché i loro cerchi di incertezza si sovrappongono". È come dire: "Non possiamo ancora decidere chi è il più alto tra Marco e Luca perché la nostra riga è troppo sbiadita".

2. Il Giudice che Assegna Punti Parziali 🎨

Spesso i modelli non sono solo "giusti" o "sbagliati". A volte danno una risposta quasi corretta, o sbagliano ma con una bella formattazione, o rifiutano di rispondere.
Il vecchio metodo trattava tutto come "0" (sbagliato) o "1" (giusto).
Il nuovo metodo è come un giudice di un concorso di cucina che assegna punti parziali:

"Il piatto è buono, ma il sale è un po' troppo" (mezzo punto).
"Il piatto è perfetto, ma il piatto era sporco" (punti sottratti per la forma).
"Il piatto è sbagliato, ma la presentazione era creativa" (punti bonus).
In questo modo, si cattura la vera qualità del modello, non solo se ha indovinato il numero esatto.

3. Usare l'Esperienza Passata (Il "Pre-Training" della Valutazione) 📚

Immagina di dover valutare un nuovo studente che ha frequentato la stessa scuola di un vecchio campione.
Il metodo nuovo ti permette di dire: "Sappiamo che questo studente viene da una scuola dove i ragazzi sono bravi in matematica. Quindi, anche se ha sbagliato il primo esercizio, gli diamo un piccolo vantaggio iniziale nella nostra stima".
Questo permette di arrivare a una conclusione affidabile con molto meno tempo e denaro. Invece di far fare 80 esercizi a tutti, ne bastano 10 o 20 per capire chi è davvero il migliore, perché usiamo le informazioni che già abbiamo.

🏆 Perché è importante?

Risparmia soldi e tempo: Non serve far girare i modelli migliaia di volte per avere una classifica stabile. Con il nuovo metodo, si arriva alla verità molto più velocemente.
Evita le ingiustizie: Non si premia la fortuna. Se due modelli sono quasi uguali, il metodo lo dice chiaramente ("Non c'è differenza significativa") invece di inventare un vincitore a caso.
È più onesto: Mostra l'incertezza. Invece di dire "Il modello X è il migliore", dice "Il modello X è probabilmente il migliore, ma abbiamo bisogno di più dati per esserne sicuri al 100%".

In sintesi

Questo paper ci dice che smettere di contare semplicemente "quante volte un modello indovina" (Pass@k) e iniziare a calcolare "quanto è probabile che sia bravo e quanto ne siamo sicuri" (Bayes@N) è come passare da un gioco d'azzardo a una scienza precisa. Ci permette di scegliere i migliori intelligenze artificiali in modo più veloce, economico e, soprattutto, giusto.

1. Il Problema: Instabilità e Limiti delle Metriche Attuali

L'articolo affronta le criticità nell'attuale valutazione dei Large Language Models (LLM), in particolare per compiti di ragionamento (es. matematica, codice).

Limiti di Pass@k: La metrica standard Pass@k (probabilità che almeno una delle $k$ generazioni sia corretta) è ampiamente utilizzata ma produce classifiche instabili e potenzialmente fuorvianti, specialmente quando il numero di tentativi (campioni) è limitato o le risorse computazionali sono vincolate.
Variance e Sensibilità: Pass@k e le varianti di accuratezza media (avg@N) soffrono di alta varianza. Piccole fluttuazioni nella correttezza possono distorcere i confronti tra modelli, rendendo difficile distinguere se un divario nelle prestazioni sia statisticamente significativo o semplice rumore.
Mancanza di Incertezza: Le metriche attuali forniscono stime puntuali senza una quantificazione principiale dell'incertezza, né regole decisionali trasparenti per determinare quando due modelli sono effettivamente diversi.
Binarietà: L'approccio tradizionale riduce spesso l'output a un valore binario (0/1), ignorando sfumature importanti come errori di formattazione, risposte parzialmente corrette o livelli di confidenza.

2. Metodologia: Un Framework Bayesiano Principale

Gli autori propongono un framework di valutazione basato sull'inferenza statistica bayesiana, che sostituisce le metriche tradizionali con stime posteriori della probabilità di successo sottostante.

Modellazione Categorica: Invece di considerare solo correttezza/errato, gli output del modello sono modellati come variabili categoriche (da 0 a $C$ categorie). Questo permette di includere punteggi parziali, errori di formattazione, rifiuti o livelli di qualità definiti da una rubrica.
Priori Dirichlet: Viene utilizzato un prior Dirichlet sulle probabilità delle categorie. Questo permette di derivare espressioni in forma chiusa per:
- La media posteriore ( $\mu$ ): una stima robusta della performance attesa.
- La varianza posteriore ( $\sigma^2$ ): una misura dell'incertezza associata alla stima.
Equivalenza con Pass@1 (Uniform Prior): Sotto un prior uniforme, la media bayesiana è ordinale-equivalente all'accuratezza media (avg@N o Pass@1), spiegando la robustezza empirica di quest'ultima, ma aggiungendo la quantificazione dell'incertezza.
Regola Decisionale: Il framework introduce una regola trasparente per le differenze di performance: due modelli sono considerati statisticamente diversi solo se i loro intervalli di credibilità (Credible Intervals - CI) non si sovrappongono.
Utilizzo di Informazioni A Priori: Il framework supporta l'incorporazione di evidenze precedenti (es. versioni precedenti di un modello o task correlati) tramite una matrice di prior $R_0$ , accelerando la convergenza delle stime.
Algoritmo Efficiente: L'implementazione (disponibile nel pacchetto Python Scorio) è computazionalmente efficiente, richiedendo solo il conteggio delle categorie e l'applicazione di formule analitiche, senza bisogno di simulazioni Monte Carlo costose per stimare gli intervalli di confidenza.

3. Contributi Chiave

Framework di Valutazione Unificato: Un approccio che unifica valutazioni binarie e graduate (rubriche) sotto un unico modello bayesiano, fornendo stime puntuali e incertezza per qualsiasi metrica pesata.
Protocollo Consapevole dell'Incertezza: Una ricetta pratica per la valutazione: riportare medie posteriori con intervalli di credibilità, dichiarare differenze solo se gli intervalli non si sovrappongono, e allocare adattivamente nuovi campioni solo quando necessario.
Convergenza Rapida e Stabilità: Dimostrazione empirica che il metodo bayesiano converge alla classifica "gold standard" con un numero di campioni significativamente inferiore rispetto a Pass@k e varianti recenti.
Valutazione Categoriasa: Capacità di valutare aspetti oltre la semplice correttezza (es. conformità al formato, calibrazione, efficienza) senza aggregazioni ad hoc.

4. Risultati Sperimentali

Gli autori hanno validato il framework su simulazioni controllate e su benchmark reali di ragionamento matematico (AIME'24/'25, HMMT'25, BrUMO'25).

Convergenza: In simulazioni con probabilità di successo note (monete truccate) e sui dataset reali, Bayes@N raggiunge una correlazione di Kendall ( $\tau$ $τ$ ) con la classifica "gold standard" molto più velocemente di Pass@k (k=2,4,8) e delle sue varianti (G-Pass, mG-Pass).
- Su HMMT'25 e BrUMO'25, Bayes@N richiede circa 44 e 27 trial per convergere, contro i ~70 e ~49 trial necessari per i migliori metodi Pass@k.
- Su AIME'25, i metodi Pass@k spesso non convergono nemmeno con 80 trial, mentre Bayes@N fornisce stime stabili.
Stabilità delle Classifiche: L'uso degli intervalli di credibilità riduce il "churn" (cambiamenti frequenti) nelle classifiche. Il framework identifica chiaramente quando le differenze sono rumore statistico (intervalli sovrapposti) e quando sono significative.
Scalabilità: Quando il numero di modelli da confrontare aumenta (da 11 a 20), i metodi tradizionali falliscono nel convergere entro budget di trial ragionevoli, mentre l'approccio bayesiano mantiene la capacità di quantificare l'incertezza e suggerire quando sono necessari più dati.
Rubriche: L'analisi con diverse rubriche (es. penalità per risposte sbagliate ma confidenti, efficienza, conformità al formato) mostra che le classifiche possono cambiare in modo significativo a seconda degli obiettivi di valutazione, cosa che le metriche binarie non catturano.

5. Significato e Implicazioni

Il paper propone un cambio di paradigma fondamentale nella valutazione degli LLM:

Dalla Puntualità alla Probabilità: Sposta il focus dalla semplice stima puntuale della performance alla distribuzione di probabilità, rendendo esplicita l'incertezza.
Efficienza Computazionale: Permette confronti affidabili tra modelli con un numero di campioni molto inferiore, riducendo i costi computazionali (GPU-hours) e i tempi di valutazione.
Decisioni Informate: Fornisce ai ricercatori e agli ingegneri uno strumento per prendere decisioni basate su evidenze statistiche solide, evitando di sovrainterpretare piccoli divari di performance.
Flessibilità: Si adatta naturalmente a scenari complessi dove la "correttezza" non è binaria, supportando valutazioni basate su rubriche dettagliate.

In sintesi, gli autori raccomandano di abbandonare l'uso esclusivo di Pass@k a favore di un protocollo basato su stime posteriori bayesiane, che offre maggiore stabilità, trasparenza e efficienza, specialmente in contesti con risorse limitate o dataset complessi. Il codice sorgente è disponibile come pacchetto open-source Scorio.