Verbalizing LLM's Higher-order Uncertainty via Imprecise Probabilities

Questo articolo propone nuove tecniche di elicitarazione dell'incertezza basate sulle probabilità imprecise per permettere ai modelli linguistici di grandi dimensioni (LLM) di esprimere in modo più fedele sia l'incertezza di primo ordine sulle risposte che l'incertezza di secondo ordine sulla propria modellazione, superando i limiti degli approcci probabilistici classici.

L'essenziale

Immagina di avere un assistente super-intelligente, un "genio" digitale (chiamiamolo LLM, o Modello Linguistico), a cui poni domande. Spesso, questo genio risponde con estrema sicurezza: "La capitale della Francia è Parigi, ne sono certo al 100%!". Ma cosa succede se la domanda è ambigua? O se il genio non sa davvero la risposta ma indovina?

Fino a poco tempo fa, chiedevamo a questi modelli: "Quanto sei sicuro?". Loro rispondevano con un numero preciso, tipo "80%". Il problema è che questo numero spesso mentiva o era fuorviante, specialmente quando la domanda era complessa o quando il modello stava imparando qualcosa di nuovo mentre parlava con te.

Questo articolo scientifico propone un modo nuovo e più onesto per chiedere al genio: "Quanto sei sicuro?". Invece di chiedere un numero preciso, chiediamo un intervallo di sicurezza.

Ecco come funziona, spiegato con metafore semplici:

1. Il Problema: La "Finta Certezza"

Immagina di chiedere al genio: "Chi ha vinto il Mondiale di Cricket del 2019?".

• La risposta vecchia: Il genio potrebbe dire: "Sono sicuro al 90% che sia l'Inghilterra". Ma aspetta! Il Mondiale è stato vinto da Inghilterra e Galles (erano co-ospiti e la squadra rappresentava il Regno Unito). La domanda è ambigua.
• Il fallimento: Se chiedi solo un numero (90%), il modello non riesce a dire: "Ehi, la domanda è strana, non so bene a quale risposta ti riferisci". Si blocca su un numero che sembra preciso ma che nasconde il vero caos nella sua testa.

2. La Soluzione: Le "Probabilità Imprecise" (Un Intervallo, non un Punto)

Gli autori propongono di usare un concetto matematico chiamato Probabilità Imprecise. Invece di chiedere un punto fisso, chiediamo un intervallo.

Immagina di chiedere al genio: "Quanto è probabile che la risposta sia corretta?".

• Vecchio metodo (Preciso): "Il 75%".
• Nuovo metodo (Impreciso): "La probabilità è tra il 40% e il 90%".

Perché questo è meglio?

• Il 40% (il limite inferiore) rappresenta: "Sono sicuro che ci sia almeno questa possibilità di base".
• Il 90% (il limite superiore) rappresenta: "Potrei anche avere ragione al 90%, se le cose vanno bene".
• La differenza tra 40 e 90 (il "buco" nel mezzo) è la parte più importante: è la misura della confusione o dell'ignoranza del modello. Se il buco è grande, il modello sa che non sa bene. Se il buco è piccolo (es. 89% - 91%), il modello è davvero sicuro.

3. I Due Tipi di "Dubbio" (Primo e Secondo Ordine)

Il paper distingue due tipi di incertezza, come se fossero due strati di una cipolla:

• Primo Ordine (Il "Chi" non lo so): È l'incertezza normale. Esempio: "Non so se domani pioverà". È il dubbio sul risultato.
• Secondo Ordine (Il "Quanto non lo so"): È l'incertezza sulla tua stessa incertezza. Esempio: "Non so se la mia previsione sul meteo è affidabile perché ho pochi dati".

L'analogia del Detective:

• Primo ordine: Il detective dice: "Il colpevole è probabilmente Mario".
• Secondo ordine: Il detective dice: "Sono sicuro che sia Mario, ma ho solo una testimonianza confusa, quindi la mia sicurezza va dal 30% al 90%".
  • Se il detective ha tante prove (molti esempi nel contesto), l'intervallo si stringe (es. 85% - 90%).
  • Se il detective ha poche prove o la domanda è ambigua, l'intervallo si allarga (es. 20% - 80%).

4. Come l'hanno fatto? (La Magia dei Prompt)

Non hanno dovuto modificare il "cervello" del modello (che è spesso segreto e chiuso). Hanno solo cambiato come gli parlano.

Hanno creato delle "domande speciali" (prompt) che costringono il modello a fare un gioco d'azzardo mentale:

• "Se dovessi scommettere 1 dollaro sulla risposta corretta, quanto pagheresti per questa scommessa? E qual è il prezzo massimo che accetteresti di pagare?"

In questo modo, il modello è costretto a dare due numeri (un minimo e un massimo) invece di uno solo. Questo rivela la sua vera confusione.

5. Perché è importante?

• Evita le allucinazioni: Se il modello dice "La mia sicurezza è tra il 10% e il 90%", tu sai che non devi fidarti ciecamente della sua risposta. È un campanello d'allarme.
• Migliora le decisioni: Se usi questi modelli per prendere decisioni importanti (mediche, legali, finanziarie), sapere che il modello è "confuso" (intervallo largo) ti permette di chiedere a un umano di controllare, invece di seguire ciecamente un numero falso.
• Costa poco: Non serve un supercomputer nuovo, basta cambiare le parole che usi per chiedere al modello.

In sintesi

Questo studio insegna agli assistenti digitali a dire non solo "Penso che sia X", ma anche "Penso che sia X, ma la mia testa è un po' confusa su quanto sia sicuro, quindi la mia certezza oscilla tra Y e Z".

È come passare da un orologio che segna un orario preciso ma sbagliato, a un orologio che ti dice: "Sono tra le 14:00 e le 15:00, e più è ampio il range, più sono confuso sull'ora esatta". È un modo molto più onesto e utile per interagire con l'intelligenza artificiale.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "Verbalizing LLM's Higher-order Uncertainty via Imprecise Probabilities" in italiano.

1. Il Problema

Le tecniche attuali per l'estrazione dell'incertezza dai Large Language Models (LLM), spesso chiamate vanilla uncertainty elicitation, si basano sul framework classico della probabilità precisa. In questo approccio, si chiede al modello di fornire un singolo valore di confidenza (es. "sono sicuro al 80%").

Il paper identifica tre modalità di fallimento sistematico di questo approccio in scenari reali:

1. Domande Ambigue: In presenza di domande con più risposte valide (es. "Chi ha ospitato il World Cup di Cricket 2019? Inghilterra e Galles"), i metodi classici non riescono a distinguere tra ambiguità intrinseca e incertezza del modello, fornendo spesso punteggi di confidenza ingannevoli.
2. Apprendimento in Contesto (ICL): Man mano che vengono forniti più esempi nel prompt, l'errore di previsione diminuisce, ma i punteggi di incertezza dei metodi classici rimangono alti e piatti, non riflettendo la riduzione dell'incertezza epistemica.
3. Auto-riflessione: Quando un LLM deve scegliere una risposta e poi riflettere sulla sua scelta, i punteggi di incertezza estratti spesso non sono coerenti con la decisione presa, violando i principi della razionalità bayesiana.

Il problema fondamentale è l'assunzione errata che l'incertezza possa essere catturata da una singola probabilità precisa. Questo approccio non distingue tra ignoranza (mancanza di informazioni) e indifferenza (più opzioni sono ugualmente plausibili).

2. Metodologia: Probabilità Imprecise (IP)

Gli autori propongono di utilizzare il framework delle Probabilità Imprecise (Imprecise Probabilities - IP) per modellare l'incertezza di ordine superiore.

• Concetto Chiave:

  • Incertezza del primo ordine: Incertezza sui possibili risultati (aleatorietà).
  • Incertezza del secondo ordine (Incertezza sull'incertezza): Incertezza sul modello di probabilità stesso (epistemicità).
  • Invece di un punto singolo, l'IP rappresenta l'incertezza come intervalli di probabilità $[p(y), \bar{p}(y)]$, dove $p(y)$ è la probabilità inferiore (giustificata dalle prove) e $\bar{p}(y)$ è la probabilità superiore (difendibile).

• Tecniche di Elicitazione Proposte:
  Gli autori introducono strategie di prompting e post-processing per estrarre questi intervalli direttamente dal modello:

  1. DeFinetti (Primo ordine): Basato sulla teoria delle scommesse coerenti. Si chiede al modello di assegnare un "prezzo di acquisto" per ogni risposta, garantendo che la somma sia 1.0. Questo forza il rispetto degli assiomi di probabilità.
  2. ProbInt (Secondo ordine - Intervalli): Si chiede direttamente al modello di fornire una probabilità inferiore e superiore per ogni risposta, definendo i limiti della sua credenza.
  3. Credal (Insiemi di credenze): Si utilizza un ensemble di modelli (o run multiple) per generare una distribuzione di probabilità, dove l'intervallo è definito dal minimo e massimo tra le previsioni.
  4. Pos (Funzioni di possibilità): Si chiede al modello di valutare la plausibilità delle risposte, permettendo di gestire insiemi di candidati incompleti (domande aperte) senza vincoli di additività stretta.

• Metrica di Sintesi: MMI (Maximum Mean Imprecision):
  Per convertire gli intervalli in un singolo punteggio di incertezza utilizzabile, gli autori utilizzano la metrica MMI, che quantifica la larghezza massima degli intervalli di probabilità su tutti gli eventi possibili. Questo misura l'imprecisione complessiva.

3. Contributi Chiave

1. Prima istanziazione pratica di IP per LLM: Il paper presenta il primo metodo concreto per estrarre incertezza di ordine superiore tramite prompting verbale, senza bisogno di accedere ai parametri interni del modello.
2. Disentanglement dell'incertezza: Il framework permette di separare l'incertezza intrinseca della domanda (primo ordine) dall'incertezza dovuta alla mancanza di conoscenza del modello (secondo ordine).
3. Coerenza decisionale: L'approccio IP allinea meglio la selezione della risposta del modello con la sua valutazione di incertezza, adottando regole decisionali come il maximin (massimizzare la probabilità minima) che sono più robuste in condizioni di ambiguità.
4. Efficienza dei costi: A differenza dei metodi basati sul campionamento (che richiedono molte chiamate API), i metodi basati su prompting verbale (come ProbInt) sono significativamente più economici.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dati sintetici e dataset reali (MAQA, AmbigQA, MMLU-Pro).

• Rilevamento di Ambiguità: Il metodo DeFinetti ha ottenuto le prestazioni migliori (AUROC più alto) nel distinguere domande ambigue da quelle chiare, superando i metodi basati su entropia semantica e chiarimenti.
• Tracciamento dell'Errore (ICL): Nel contesto dell'apprendimento in contesto, il metodo ProbInt ha mostrato una correlazione negativa forte tra il punteggio di incertezza e l'errore di previsione: man mano che venivano forniti più esempi, l'incertezza diminuiva, riflettendo correttamente il miglioramento del modello. I metodi vanilla rimanevano invece piatti.
• Rilevamento di Correttezza: Su dataset non ambigui, i metodi IP (in particolare ProbInt e Credal) hanno superato o eguagliato le tecniche di stato dell'arte (come Vanilla, CoT, Top-4) nel prevedere se una risposta era corretta.
• Coerenza Interna: Gli autori hanno dimostrato che le decisioni prese dai modelli (scelta della risposta) sono più allineate con le regole decisionali basate su IP (come il maximin) rispetto alla massimizzazione della probabilità bayesiana classica.
• Costo: I metodi proposti hanno costi API inferiori rispetto alle tecniche di campionamento e a MI-Clarifications, l'unico altro metodo che tenta di disentanglare l'incertezza.

5. Significato e Implicazioni

Questo lavoro rappresenta un passo avanti fondamentale per la fiducia (trustworthiness) e l'affidabilità degli LLM in applicazioni critiche.

• Miglioramento del Processo Decisionale: Fornendo agli utenti e ai sistemi downstream una rappresentazione più ricca dell'incertezza (non solo "quanto sono sicuro", ma "quanto sono incerto sulla mia sicurezza"), si possono prendere decisioni più informate (es. astenersi dal rispondere quando l'ambiguità è alta).
• Superamento dei Limiti Bayesiani: Il paper sfida l'assunzione che gli LLM debbano essere valutati esclusivamente attraverso lenti bayesiane classiche, proponendo un framework più flessibile che gestisce nativamente l'ignoranza e l'ambiguità.
• Scalabilità: Essendo basato su prompting, il metodo è applicabile a qualsiasi LLM, inclusi quelli chiusi (closed-source), rendendolo immediatamente utilizzabile nell'industria.

In sintesi, l'approccio basato su Probabilità Imprecise offre una rappresentazione dell'incertezza più fedele, coerente ed economica, risolvendo le falle critiche dei metodi attuali in scenari di ambiguità e apprendimento in contesto.