🤖 machine learning

"very likely" Means "uncertain"? How LLMs Diverge from Humans in Linguistic Uncertainty Quantification

Questo articolo investiga la divergenza tra esseri umani e grandi modelli linguistici nella quantificazione dell'incertezza verbale introducendo un algoritmo basato sull'ottimizzazione, METHODNAME, che apprende le mappature di probabilità ottimali per i marcatori verbali direttamente dagli output del modello per rivelare disparità sistematiche di fiducia senza fare affidamento su campionamenti ripetuti.

Autori originali: Jinhao Duan, Zicheng Liu, Zijie Liu, Kaidi Xu, Tianlong Chen

Pubblicato 2026-10-02

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Jinhao Duan, Zicheng Liu, Zijie Liu, Kaidi Xu, Tianlong Chen

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Quando parliamo, spesso cauteliamo le nostre affermazioni. Diciamo che qualcosa è "probabile", "possibile" o "quasi certo", usando queste parole per segnalare quanto siamo realmente consapevoli. Questa capacità di esprimere dubbio è una forma di metacognizione, un controllo mentale in cui riconosciamo i confini della nostra stessa conoscenza. È una parte cruciale della comunicazione umana, che ci permette di navigare l'incertezza senza fingere di avere risposte che non possediamo. Nel mondo dell'intelligenza artificiale, specificamente con i grandi modelli linguistici, questa stessa capacità sta diventando una funzione di sicurezza critica. Questi modelli possono talvolta generare informazioni dall'aspetto sicuro ma fattualmente errate, un fenomeno noto come allucinazione. Per fidarsi di questi sistemi, specialmente in settori delicati come la medicina o il diritto, abbiamo bisogno di sapere quando non sono sicuri. La sfida consiste nel capire se le parole che un'IA usa per esprimere dubbio abbiano lo stesso significato per un ascoltatore umano rispetto a quello che hanno per la macchina stessa.

Un team di ricercatori si è posto l'obiettivo di indagare se l'incertezza verbale espressa dai grandi modelli linguistici sia in linea con la comprensione umana. Hanno iniziato raccogliendo una vasta collezione di come le persone interpretano frasi come "molto probabile" o "incerto". Attingendo a decenni di ricerca nella psicologia e nelle scienze decisionali, hanno compilato una guida di riferimento che mappa queste comuni espressioni su specifiche probabilità numeriche. Ad esempio, nella mente umana, la frase "molto probabile" corrisponde a un alto grado di fiducia, mentre "possibile" si colloca in una posizione intermedia. I ricercatori hanno poi testato diversi modelli linguistici avanzati, chiedendo loro di rispondere a domande ed esplicitare la propria fiducia utilizzando queste stesse espressioni di linguaggio naturale. Hanno confrontato le risposte dei modelli con la guida di riferimento umana per vedere se le macchine stessero parlando la stessa lingua dei loro utenti.

I risultati hanno rivelato un significativo disallineamento. Sebbene i modelli potessero usare quelle parole, esse assegnavano livelli di certezza diversi da quelli umani. Ad esempio, quando un essere umano sente "molto probabile", lo interpreta come una forte probabilità, ma i modelli oggetto dello studio usavano spesso questa frase per descrivere situazioni in cui erano in realtà piuttosto incerti. Al contrario, i modelli potevano esprimere un alto grado di fiducia per frasi che gli umani considerano semplici congetture. Questo disallineamento significa che limitarsi a leggere l'output di un modello e presumere che i suoi segnali verbali riflettano il suo stato interno può essere fuorviante. Lo studio ha dimostato che fare affidamento su un dizionario umano di parole dell'incertezza non era sufficiente per valutare accuratamente la fiducia di una macchina; i modelli avevano la propria logica interna distinta per ciò che quelle parole significavano.

Per colmare questo divario, i ricercatori hanno sviluppato un nuovo metodo chiamato VOCAL. Invece di costringere i modelli a conformarsi alle definizioni umane, questo approccio apprende il significato specifico delle parole dell'incertezza direttamente dal comportamento del modello stesso. Il sistema analizza migliaia di risposte del modello, annotando quali frasi utilizza quando ha ragione e quali utilizza quando sbaglia. Crea quindi una mappa personalizzata che traduce le abitudini verbali specifiche del modello in punteggi di probabilità accurati. Questo processo prevede un'ottimizzazione matematica che smussa i dati, garantendo che frasi simili ricevano punteggi simili, anche se il modello le usa raramente. Personalizzando l'interpretazione sul modello specifico, il metodo crea un modo molto più affidabile per rilevare quando il modello è incerto.

Gli esperimenti hanno dimostrato che questo approccio personalizzato funziona significativamente meglio rispetto al tentativo di imporre uno standard umano alla macchina. In test su vari dataset, inclusi problemi matematici complessi e domande mediche, il nuovo metodo è stato molto più accurato nel predire se la risposta di un modello fosse corretta o errata rispetto all'uso della sola guida di riferimento umana. In alcuni casi, il miglioramento è stato sostanziale, trasformando un metodo che performava appena meglio del caso casuale in uno capace di individuare gli errori in modo affidabile. I ricercatori hanno scoperto che questa tecnica poteva raggiungere livelli di prestazione comparabili a metodi molto più costosi che richiedono al modello di generare più risposte e confrontarle, ma senza il tempo o la potenza di calcolo aggiuntivi.

Lo studio conclude che, sebbene i grandi modelli linguistici possano imitare i pattern del linguaggio umano, la loro comprensione interna dell'incertezza è fondamentalmente diversa dalla nostra. Una frase come "molto probabile" non ha lo stesso peso per la macchina che ha per una persona. Per rendere questi sistemi veramente affidabili, non possiamo semplicemente chiedere loro di parlare come gli umani e aspettarci che significhino la stessa cosa. Invece, dobbiamo imparare a leggere il loro specifico dialetto dell'incertezza. Creando mappe personalizzate che traducano i segnali verbali unici di un modello in chiari segnali di fiducia, possiamo distinguere meglio tra una risposta corretta e un'allucinazione sicura, rendendo la tecnologia più sicura e affidabile per l'uso nel mondo reale.

Sintesi Tecnica: "Molto Probabile" Significa "Incertezza"? Come gli LLM Divergono dagli Esseri Umani nella Quantificazione dell'Incertezza Linguistica

Problematica

Nonostante i Large Language Models (LLM) abbiano raggiunto un successo straordinario, rimane una sfida fondamentale nel determinare quando fidarsi delle loro risposte, in particolare riguardo alle allucinazioni. Gli esistenti metodi di Quantificazione dell'Incertezza (UQ) rientrano generalmente in due categorie: basati sul campionamento (es. Entropia Semantica, varianza dell'ensemble) e basati sui logit (es. Entropia Predittiva, Perplessità). Tuttavia, questi approcci soffrono di limitazioni significative: i metodi di campionamento sono computazionalmente costosi e introducono latenza, mentre i metodi basati sui logit spesso soffrono di sensibilità lessicale e non riescono a catturare la sfumatura del ragionamento umano.

Gli esseri umani esprimono naturalmente l'incertezza utilizzando marcatori verbali (es. "possibile", "probabile", "quasi certo"). Sebbene lavori recenti abbiano esplorato la UQ verbalizzata, esiste una lacuna critica: gli LLM divergono dagli esseri umani nel modo in cui interpretano e utilizzano questi marcatori linguistici. Gli attuali metodi si affidano spesso a tabelle di consultazione derivate dalla letteratura psicologica per mappare le frasi verbali in probabilità numeriche. Gli autori sostengono che queste mappature derivate dall'uomo non riflettano accuratamente gli stati di incertezza interni degli LLM, portando a una quantificazione inaffidabile.

Metodologia

1. Benchmark dell'Incertezza Verbale Umana (UM-Lookup)

Gli autori hanno prima costruito una vasta Tabella di Consultazione dei Marcatori di Incertezza Verbale (UM-Lookup). Questa risorsa aggrega dati da studi fondamentali in psicologia e scienza delle decisioni (es. Lichtenstein & Newman, 1967; Beyth-Marom, 1982; Vogel et al., 2022).

Costruzione: La tabella mappa 115 espressioni distinte di incertezza verbale in punteggi di probabilità numerica, basandosi su una media di 336 valutazioni umane per frase.
Aggregazione: Quando un LLM genera una risposta contenente più marcatori, il metodo (denotato come $Q_{VU-H}$ ) calcola la media dei punteggi numerici degli marcatori estratti per produrre una stima finale dell'incertezza.
Valutazione Iniziale: Gli autori hanno valutato $Q_{VU-H}$ rispetto ai baseline standard (Entropia Predittiva, Entropia Semantica) attraverso vari modelli (GPT-4o, DeepSeek-V3.1) e dataset (GSM8K, MedQA, SciQ). Sebbene $Q_{VU-H}$ abbia dimostrato prestazioni non trascurabili in alcuni casi, ha spesso performato peggio rispetto ai metodi basati sul campionamento e, in alcuni casi (ad esempio, GPT-4o su GSM8K), è risultato peggiore del caso casuale. Ciò ha confermato un disallineamento fondamentale tra l'intuizione linguistica umana e la confidenza interna degli LLM.

2. VOCAL: Quantificazione dell'Incertezza Verbale Ottimizzata

Per affrontare questo disallineamento, gli autori propongono VOCAL, un nuovo algoritmo basato sull'ottimizzazione che apprende una mappatura specifica per ogni LLM tra i marcatori verbali e i livelli di incertezza numerica.

Obiettivo: VOCAL apprende un insieme di punteggi numerici ( $c_i$ ) per ogni marcatore verbale ( $u_i$ ) tale che il punteggio di incertezza aggregato ( $q_y$ ) rifletta fedelmente la reale correttezza del modello. L'obiettivo è assegnare punteggi di incertezza più elevati alle generazioni errate e più bassi a quelle corrette.
Formulazione dell'Ottimizzazione: Il problema è formulato come la minimizzazione di una perdita di Entropia Incrociata Binaria (BCE):
$\mathcal{L}(c) = \min_{c} \mathbb{E}_{(x,y)} \left[ -z \log c_y - (1-z) \log(1-c_y) \right]$
Dove $z$ è l'indicatore di correttezza (1 per corretto, 0 per errato), e $c_y$ è l'incertezza aggregata derivata dai punteggi appresi dei marcatori nella generazione $y$ .
Smoothing Semantico: Per gestire la scarsità dei dati (dove marcatori rari come "faint chance" hanno pochi esempi di addestramento), VOCAL incorpora un Regolarizzatore del Laplaciano di Grafo. Questo impone la fluidità penalizzando le discrepanze elevate tra marcatori semanticamente simili (misurati tramite la similarità Jaccard dei 3-grammi). L'obiettivo totale è $\mathcal{L}(c) + \gamma \mathcal{L}_{lap}(c)$ .
Efficienza: A differenza dei metodi basati sul campionamento, VOCAL richiede una singola risposta del modello per generare un punteggio di incertezza, evitando l'overhead computazionale di molteplici generazioni.

Contributi Chiave

Tabella di Consultazione dell'Incertezza Verbale Umana: Il documento presenta una risorsa curata di 115 marcatori verbali mappati in probabilità numeriche, fondata sulla letteratura psicologica. Essa funge da benchmark fondamentale per analizzare la divergenza uomo-LLM nel monitoraggio metacognitivo.
Algoritmo VOCAL: Gli autori introducono VOCAL, un metodo leggero basato sull'ottimizzazione che adatta le mappature dell'incertezza verbale a specifici LLM senza richiedere aggiornamenti dei parametri o fine-tuning. Esso apprende la massa di probabilità ottimale che ogni marcatore deve trasmettere in base alla correttezza empirica.
Analisi Empirica Esaustiva: Lo studio fornisce un'analisi approfondita di come gli LLM divergano dagli esseri umani. Ad esempio, il documento dimostra che mentre gli umani valutano "molto probabile" come alta confidenza (~~0.85), GPT-4o associa tale espressione a una confidenza significativamente inferiore (~~0.35) nel suo stato interno.

Risultati

Superiorità rispetto alla Consultazione Umana: VOCAL supera costantemente la consultazione umana UM-Lookup ( $Q_{VU-H}$ ). Sul dataset GSM8K, VOCAL ha migliorato l'AUROC per GPT-4o dallo 0.41 (usando la consultazione umana) a circa 0.60.
Confronto con i Baseline a Singolo Campione: VOCAL supera significativamente i metodi di UQ a singolo campione come G-NLL e Perplessità (PPL). In 5 casi su 6 delle configurazioni valutate, VOCAL ha ottenuto l'AUROC più elevato. Ad esempio, su GSM-Hard con DeepSeek-V3.1, VOCAL ha raggiunto un'AUROC di 0.715, rispetto allo 0.520 di G-NLL.
Competitività con i Metodi Multi-Campione: Nonostante utilizzi una singola risposta, VOCAL raggiunge prestazioni paragonabili ai costosi metodi multi-campione (es. Entropia Semantica, Densità Semantica). In diversi casi (es. SciQ con Qwen2.5-72B), VOCAL ha ottenuto l'AUROC top (0.717), superando i baseline basati sul campionamento.
Calibrazione: VOCAL dimostra forti proprietà di calibrazione. Combinato con metodi di calibrazione post-hoc come la Regressione Isotonica (IR), ha raggiunto un Errore di Calibrazione Attesa (ECE) medio di 0.0281, superando altri baseline.
Trasferibilità: Gli esperimenti mostrano che, sebbene gli indicatori di incertezza verbale siano ampiamente trasferibili tra diversi LLM (l'AUROC rimane nell'intervallo 0.60–0.72 quando addestrati su un modello e testati su un altro), la calibrazione specifica del modello tramite VOCAL produce risultati superiori.

Significato e Rivendicazioni

Il documento sostiene che le espressioni di incertezza verbale sono dipendenti dal modello, e che affidarsi a tabelle fisse definite dall'uomo è insufficiente per una UQ affidabile negli LLM. Il significato di questo lavoro risiede in:

Colmare il Divario Uomo-LLM: Rivela che "molto probabile" non significa la stessa cosa per un LLM come per un essere umano, evidenziando una critica disconnessione nei meccanismi di fiducia attuali.
Efficienza e Praticità: VOCAL offre un forte compromesso tra accuratezza ed efficienza. Fornisce una discriminazione dell'incertezza vicina allo stato dell'arte senza la latenza e il costo delle pipeline di coerenza semantica multi-campione, rendendolo più pratico per l'implementazione nel mondo reale.
Intuizione Metacognitiva: I risultati suggeriscono che, sebbene gli LLM possano esprimere incertezza verbalmente, la loro mappatura interna di queste espressioni ai livelli di confidenza è distinta dalla cognizione umana. VOCAL fornisce un meccanismo per allineare queste espressioni con l'effettiva affidabilità del modello, supportando interazioni IA più affidabili.

Gli autori concludono che ancorare l'incertezza degli LLM alle espressioni verbali, quando opportunamente calibrata per il modello specifico, offre una via percorribile verso un'IA generativa più affidabile e responsabile.