💬 NLP

The Score Granularity Gap in Black-Box LLM Classification: A Comparative Study of Confidence Constructions

Questo articolo introduce il concetto di "gap di granularità del punteggio" per dimostrare che, sebbene i punteggi di confidenza verbalizzati in un unico passaggio nei modelli linguistici di grandi dimensioni (LLM) black-box classifichino bene i casi, essi offrono solo poche soglie grossolane per l'implementazione, mentre l'aggregazione multi-query migliora i modelli deboli ma può degradare quelli forti.

Autori originali: Ao Sun, Tian Sun, Jiaxing Geng

Pubblicato 2026-06-23

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Ao Sun, Tian Sun, Jiaxing Geng

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere il manager di una fabbrica molto trafficata. Hai un nuovo robot super intelligente (un'IA) che smista i pacchi. A volte il robot è sicuro al 100% che un pacco sia "Buono", e a volte è sicuro al 100% che sia "Cattivo". Ma che succede con i pacchi di cui non è sicuro?

Nel mondo reale, non puoi semplicemente lasciare che il robot prenda ogni decisione. Hai bisogno di una regola di sicurezza: "Se il robot è sicuro al 90%, spedisci automaticamente. Se è meno sicuro, invialo a un essere umano per un controllo."

Questo articolo parla di un problema nascosto nel modo in cui chiediamo a questi robot di dirci quanto sono sicuri. Gli autori lo chiamano il "Gap di Granularità del Punteggio" (Score Granularity Gap).

Ecco la suddivisione in termini semplici:

1. Il Problema: Il "Dial Rotto"

Immagina che il robot ti fornisca un punteggio di confidenza per decidere cosa fare.

L'Ideale: Un dial fluido che va da 0% a 100% con infiniti piccoli passi. Puoi impostare la tua regola in qualsiasi punto (ad esempio, "Spedisci automaticamente solo se è sicuro al 73,4%").
La Realtà: Il "dial" del robot è rotto. Non ha 100 gradazioni. Ha solo quattro o cinque numeri distinti che può pronunciare, come "Basso", "Medio", "Alto" e "Molto Alto".

Anche se il robot è incredibilmente intelligente e classifica correttamente i pacchi "Buoni" sopra quelli "Cattivi" (sa quale sia il migliore), non può aiutarti a perfezionare la tua fabbrica. Se vuoi accettare esattamente il top 70% dei pacchi, ma il robot ti dà solo punteggi del 50% e del 90%, sei bloccato. O accetti il 50% o il 90%, ma mai il 70%.

L'Analogia: È come cercare di sintonizzare una radio che ha solo quattro stazioni: Notizie, Musica, Sport e Meteo. Anche se la stazione Musicale è perfetta, non puoi ascoltare "Jazz" o "Rock" perché la radio non ha quei canali. Sei bloccato con una "scala a gradini grossolani" invece di una rampa fluida.

2. L'Esperimento: Sette Modi per Chiedere al Robot

I ricercatori hanno testato sette modi diversi per chiedere all'IA un punteggio di confidenza per vedere quale fornisce più "passaggi" sul dial.

Metodo A: Chiedere e basta (Il punteggio "Verbalizzato"). Chiedi all'IA: "Sei sicuro?" e lei risponde: "Sono sicuro all'85%".
- Risultato: L'IA è in realtà molto brava a classificare le cose (sa cosa è giusto), ma usa solo un manipolo di numeri (come 0,5, 0,8, 0,9, 1,0). È un dial grossolano.
Metodo B: Il punteggio "Token". Se all'IA è permesso mostrare la sua matematica interna (le probabilità logaritmiche), può fornire più numeri.
- Risultato: Questo fornisce un dial più fluido, ma molti robot commerciali non ti mostreranno la loro matematica.
Metodo C: La "Folla" (Multi-Query). Fai la stessa domanda 10 volte, magari formulandola leggermente diversamente, e fai la media delle risposte.
- Risultato: Questo crea un dial molto fluido con centinaia di passaggi. Tuttavia, c'è un trucco.
  - Se il robot è debole (non molto intelligente), chiederglielo 10 volte lo rende molto più intelligente e ti fornisce un ottimo dial.
  - Se il robot è forte (già molto intelligente), chiederglielo 10 volte può effettivamente confonderlo e peggiorare la sua classificazione. È come chiedere consiglio a un genio dieci persone diverse; potrebbero solo fare confusione.

3. Il Colpo di Scena dell' "Interpretabilità"

I ricercatori hanno anche provato un metodo in cui hanno scomposto la domanda in 10 domande più piccole e specifiche (ad esempio, "Questa frase contiene una contraddizione?", "La grammatica è corretta?").

Perché farlo? Non è perché classifica meglio. È perché è spiegabile.
Il Vantaggio: Se il robot commette un errore, puoi guardare le 10 piccole risposte e dire: "Ah, ha fallito perché non ha capito la grammatica". Questo è come avere uno scontrino che mostra esattamente cosa hai comprato, invece di un conto totale. Questo è fondamentale per gli settori regolamentati (come la medicina o la legge) dove devi sapere perché è stata presa una decisione.

4. La Conclusione: Cosa Dovresti Fare?

L'articolo fornisce una guida semplice per le persone che implementano questi sistemi di IA:

Converti sempre la risposta: Se l'IA dice "Sono sicuro al 90% che la risposta sia NO", devi invertire questo dato in "Sono sicuro al 10% che la risposta sia SÌ" prima di usarlo come punteggio. Altrimenti, la tua selezione sarà al contrario.
Se hai un'IA debole: Usa il metodo della "Folla" (chiedi 10 volte). Questo renderà l'IA più intelligente e ti fornirà un dial fluido con cui lavorare.
Se hai un'IA forte: Attieniti al semplice metodo "Chiedi e basta". È veloce e classifica bene. Non chiederglielo 10 volte, o potresti peggiorare le cose.
Se devi spiegare le tue decisioni: Usa il metodo delle "Piccole Domande". Ti fornisce un dial fluido e una ragione chiara per ogni decisione, anche se costa più potenza di calcolo.

Sintesi

L'articolo sostiene che non dovremmo solo chiedere: "L'IA è sicura?". Dobbiamo chiedere: "Quanto finemente possiamo regolare quella confidenza?"

Un sistema di classificazione perfetto è inutile se ti offre solo tre pulsanti da premere. Per costruire un sistema automatizzato affidabile, hai bisogno di un punteggio che offra abbastanza "passaggi" da permetterti di controllare il rischio con precisione, che ciò significhi usare una semplice conversione, una smart "folla" di domande o una scomposizione trasparente della logica.

Sintesi Tecnica: Il Gap di Granularità del Punteggio nella Classificazione Black-Box degli LLM

1. Definizione del Problema

I Large Language Models (LLM) vengono sempre più impiegati come classificatori black-box in pipeline ad alto rischio (ad es., triage medico, moderazione dei contenuti) che si basano sulla predizione selettiva. In questo scenario, un operatore imposta una soglia di confidenza per automatizzare le predizioni ad alta confidenza e indirizzare quelle incerte alla revisione umana.

La ricerca precedente si è concentrata sul fatto se la confidenza dell'LLM sia calibrata (un valore dichiarato dell'80% corrisponde all'80% di accuratezza?) o se sia ordinata correttamente (se ordina correttamente gli errori al di sotto delle predizioni corrette). Tuttavia, questo articolo identifica una dimensione critica e trascurata per l'implementazione: la granularità del punteggio.

Il problema centrale è il Gap di Granularità del Punteggio: un punteggio di confidenza può ordinare i casi perfettamente ma risultare inutile per un controllo fine se offre solo pochi valori distinti. Se un punteggio offre solo $V$ valori distinti, un operatore può definire al massimo $V$ punti operativi non banali (soglie), indipendentemente da quanto bene il punteggio ordini i casi. Ciò crea una "scala a gradini" di trade-off rischio-copertura, anziché un cursore fluido, rendendo il sistema privo di flessibilità per specifici budget di errore.

2. Metodologia

Configurazione Sperimentale

Lo studio valuta sette costruzioni di confidenza su 25 coppie modello-dataset (9 LLM di diversa forza su 3 benchmark: BoolQ, MNLI e PubMedQA). I modelli variano da forti (es. GPT-4o-mini, Llama-3.1-70B) a deboli (es. GPT-5-nano, Llama-3.1-8B).

Costruzioni della Confidenza

L'autore confronta metodi che rientrano in due categorie:

Single-Shot (1 chiamata al modello):
- Verb (Verbalizzazione): Confidenza verbalizzata convertita in probabilità di classe (gestendo le predizioni della classe negativa tramite $P(pos) = 1-c$ se $\hat{y}=0$ ).
- Verb-logprob: Log-probabilità del primo token (dove l'accesso alle API lo consente).
- Verb-logprob+T: Log-probabilità con scaling della temperatura post-hoc.
Multi-Signal (10 chiamate al modello per input):
- Decomposizione in Sotto-compiti (Sub-task Decomposition): Il modello risponde a 10 domande sì/no progettate a mano e interpretabili (es. "sovrapposizione_lessicale", "implicazione_semantica").
- Parafrasi Multi-Prompt (Multi-Prompt Paraphrase): Il modello risponde a 10 versioni parafrasate del prompt originale.
- Aggregazione: I 10 punteggi scalari sono combinati tramite:
  - Media Semplice (Simple Averaging): Media ingenua.
  - Combinazione Appresa (LR): Regressione logistica con regolarizzazione L2 per apprendere pesi e segni.
  - Calibrazione: Scaling della temperatura applicato ai logit della regressione logistica.

Metriche

Lo studio valuta i punteggi lungo tre assi:

Qualità dell'Ordinamento (Ranking Quality): Misurata tramite PR-AUC (e PR-AUC $_N$ normalizzato) e AURC (Area Under Risk-Coverage).
Risoluzione del Punteggio: Misurata tramite:
- Granularità ( $G$ ): Numero di valori distinti del punteggio.
- Entropia del Punteggio ( $H$ ): Dispersione della distribuzione su 20 bin.
- Massa Interiore ( $M$ ): Frazione di punteggi nell'intervallo utile $(0.1, 0.9)$ .
Costo e Interpretabilità: Numero di chiamate al modello e capacità di audit del ragionamento (i sotto-compiti forniscono questo; le parafrasi no).

3. Risultati Chiave

Il Gap di Granularità

Confidenza Verbalizzata (Verb): Ordina sorprendentemente bene (media PR-AUC $_N$ normalizzato = 0.80) ma è estremamente grossolana. Tipicamente offre solo 1–21 valori distinti (media $G=9$ ), con il 45% dei casi che condivide il valore più comune. Ciò limita l'operatore a circa 9 soglie, creando una curva rischio-copertura a gradini.
Risoluzione vs. Ordinamento: Un alto potere di ordinamento non implica un'alta risoluzione. Un punteggio può ordinare i casi perfettamente ma essere inutilizzabile per il superamento della soglia se manca di valori distinti.

Effetti dell'Aggregazione

Espansione della Risoluzione: L'aggregazione multi-query (Sub-cal, MP-LR) espande costantemente la risoluzione, aumentando $G$ a una media di 138 e riempiendo la massa interiore ( $M \approx 45\%$ ).
L'Impatto sull'Ordinamento è Selettivo:
- Modelli Deboli: L'aggregazione migliora l'ordinamento per modelli con accuratezza $\lesssim 85\%$ .
- Modelli Forti: L'aggregazione può peggiorare l'ordinamento per modelli forti (accuratezza $\gtrsim 90\%$ ). I pesi appresi possono perturbare l'ordinamento già buono dei punteggi verbalizzati, portando a un AURC peggiore in 13 dei 18 casi modello-forte.
Appreso vs. Naive: La media semplice spesso fallisce (ad esempio, scendendo vicino al caso casuale su MNLI) a causa di polarità contrastanti nei sotto-compiti. La regressione logistica appresa è essenziale per recuperare il segnale assegnando i corretti segni e pesi.

Interpretabilità

Sotto-compiti vs. Parafrasi: L'aggregazione per parafrasi (MP-LR) spesso eguaglia o supera l'aggregazione per sotto-compiti (Sub-LR) nell'ordinamento. Tuttavia, i sotto-compiti forniscono proprietà di deployment: trasparenza dei pesi, attribuzione dell'errore e tracce di audit (razionali per ogni sotto-punteggio).
Modalità di Fallimento: I sotto-compiti possono fallire se i probe progettati a mano non seguono l'etichetta (ad es., un modello specifico che collassa su BoolQ), ma questi fallimenti sono visibili e auditabili, a differenza dei fallimenti silenziosi degli ensemble di parafrasi black-box.

Probabilità dei Token

Dove disponibili, le log-probabilità grezze offrono una migliore risoluzione rispetto ai punteggi verbalizzati. Lo scaling della temperatura post-hoc migliora significativamente la risoluzione (aumentando $G$ a 51–69) e la copertura a bassi tassi di errore, il tutto con un costo di 1x.

4. Guida al Deployment

Il paper propone una procedura decisionale basata sulla forza del modello e sui vincoli:

Convertire sempre la confidenza verbalizzata in probabilità di classe.
Se le log-probabilità sono disponibili: Usarle con lo scaling della temperatura (miglior compromesso costo/risoluzione).
Se il modello è debole ( $\lesssim 85\%$ di accuratezza): Usare l'aggregazione multi-query (costo 10x) per migliorare sia l'ordinamento che la risoluzione.
Se il modello è forte ( $\gtrsim 90\%$ di accuratezza): Affidarsi alla confidenza verbalizzata per il rischio-copertura (per evitare il degrado). Usare l'aggregazione solo se è strettamente richiesto un controllo fine del trade-off rischio-copertura.
Se è richiesta l'interpretabilità: Preferire la decomposizione in sotto-compiti rispetto alla parafrasi, poiché fornisce trasparenza senza sacrificare l'ordinamento (rispetto a MP-LR).

5. Significato e Rivendicazioni

Il paper sostiene che il paradigma di valutazione della confidenza degli LLM debba spostarsi dalla domanda binaria "è affidabile?" alla domanda orientata al deployment: "a quale risoluzione può essere utilizzato?".

Riformulazione dell' "Inaffidabilità": La narrativa secondo cui "la confidenza degli LLM è inaffidabile" è in parte un artefatto derivante dal confondere la confidenza nella risposta con la probabilità di classe e dall'ignorare la risoluzione. Una volta convertita, la confidenza verbalizzata ordina bene ma manca di granularità.
Chiarezza del Trade-off: Lo studio separa esplicitamente l'ordinamento, la copertura del rischio globale e la controllabilità della soglia. Dimostra che l'aggregazione acquista in modo affidabile punti operativi (controllo fine) ma non migliora universalmente l'ordinamento, e può danneggiare i modelli forti.
L'Interpretabilità come Proprietà: Gli autori sostengono che l'interpretabilità non sia un vantaggio di ordinamento, ma una proprietà di deployment necessaria per i domini regolamentati, ottenibile tramite i punteggi dei sotto-compiti.

Gli autori concludono che le valutazioni future devono riportare i metri di risoluzione (granularità, entropia, massa interiore) insieme ai metri di ordinamento, poiché un punteggio che ordina perfettamente ma offre solo un manipolo di soglie non è pronto per il deployment.