Why Don't You Know? Evaluating the Impact of Uncertainty Sources on Uncertainty Quantification in LLMs

1. Il Problema

Con il crescente utilizzo dei Modelli Linguistici su Grande Scala (LLM) in applicazioni reali critiche (medicina, legge, ecc.), la Quantificazione dell'Incertezza (UQ) è diventata essenziale per garantire sicurezza ed efficacia.
Tuttavia, l'approccio attuale presenta una limitazione fondamentale: la maggior parte dei metodi UQ esistenti produce un unico punteggio di confidenza scalare (ad esempio, la probabilità che una risposta sia corretta). Questo approccio ignora la natura multidimensionale dell'incertezza nel linguaggio naturale, che può derivare da fonti distinte con implicazioni diverse per il comportamento del sistema:

1. Mancanza di conoscenza del modello: Il modello non sa la risposta.
2. Variabilità dell'output: Esistono multiple risposte corrette e semanticamente distinte per una domanda ben posta.
3. Ambiguità dell'input: La domanda è mal definita o manca di contesto necessario.

Il paper evidenzia che non è chiaro come i metodi UQ esistenti si comportino quando queste diverse fonti di incertezza sono presenti, e che i dataset attuali non permettono una valutazione controllata e comparabile di queste fonti.

2. Metodologia

Creazione del Dataset

Per colmare il divario, gli autori hanno introdotto un nuovo dataset human-validated, strutturato in triplette di domande. Ogni tripletta è progettata per isolare una specifica fonte di incertezza, mantenendo costanti dominio, lunghezza e formato:

• Tipo 1 (Incertezza sulla Conoscenza): Domande ben definite con una singola risposta corretta, ma che il modello potrebbe non conoscere (derivate da dataset multi-risposta trasformati in single-risposta).
• Tipo 2 (Variabilità dell'Output): Domande ben definite che ammettono multiple risposte corrette (es. "Nomina un animale del deserto").
• Tipo 3 (Ambiguità dell'Input): Domande derivate dal Tipo 1, ma modificate rimuovendo informazioni contestuali chiave per renderle ambigue e non risolvibili senza chiarimenti.

Il dataset contiene 1.617 domande (539 per ogni tipo), generate e validate manualmente per garantire la separazione netta delle fonti di incertezza.

Sperimentazione

• Modelli: Sono stati testati tre modelli open-weight di diverse famiglie: Llama-3.1-8b-Instruct, Gemma-3-12b-Instruct e Qwen-2.5-14b-Instruct.
• Metodi UQ Valutati: È stata condotta una valutazione su un'ampia gamma di metodi, categorizzati in:
  • Basati su probabilità dei token (es. Perplexity, Entropia della sequenza).
  • Basati sulla coerenza (es. Semantic Entropy, NumSemSets).
  • Metodi ibridi (es. CoCoA, Semantic Density).
  • Metodi verbalizzati (es. P(True), Verbalized-2S).
• Metriche di Valutazione:
  • Prediction-Rejection Ratio (PRR): Misura quanto bene un metodo UQ permette di rifiutare le risposte errate mantenendo quelle corrette.
  • Correlazione di Spearman: Misura la correlazione tra il punteggio di incertezza e la qualità della generazione.

3. Risultati Chiave

• Dipendenza dalla Fonte di Incertezza: Nessun metodo UQ performa costantemente meglio in tutti gli scenari. Le prestazioni variano drasticamente in base alla fonte di incertezza:
  • Conoscenza del Modello: I metodi basati su probabilità (token-probability) e ibridi funzionano bene quando l'incertezza deriva dalla mancanza di conoscenza.
  • Variabilità dell'Output: I metodi basati sulla coerenza falliscono qui, interpretando erroneamente la legittima diversità delle risposte corrette come incertezza (sovra-stima) o non distinguendola dagli errori. Al contrario, i metodi basati sulla probabilità della sequenza possono sottostimare l'incertezza.
  • Ambiguità dell'Input: I modelli tendono a rispondere con falsa sicurezza, scegliendo un'interpretazione arbitraria. I metodi verbalizzati (che chiedono al modello di giudicare la propria risposta) mostrano prestazioni superiori in questo scenario, specialmente nei modelli più grandi.
• Fallimenti Specifici:
  • I metodi basati sulla coerenza possono essere fuorvianti quando il modello produce errori auto-concordanti (stessa risposta sbagliata più volte).
  • I metodi basati sulla probabilità penalizzano la diversità desiderabile nelle risposte multiple.
• Correlazione: La correlazione tra punteggio di incertezza e qualità è più forte nello scenario "single-answer" (mancanza di conoscenza) e si indebolisce significativamente quando sono presenti variabilità o ambiguità.

4. Contributi Principali

1. Nuovo Dataset Controllato: La prima risorsa che categorizza esplicitamente le domande in tre scenari di incertezza distinti e comparabili, permettendo un'analisi sistematica.
2. Valutazione Sistematica: La prima valutazione estesa di una vasta gamma di metodi UQ su diversi modelli e scenari di incertezza isolati.
3. Analisi dei Fallimenti: Un'analisi approfondita che dimostra come le famiglie di metodi UQ abbiano punti di forza e debolezze specifici a seconda della fonte di incertezza, smentendo l'idea di un metodo "universale".

5. Significato e Implicazioni

I risultati del paper hanno profonde implicazioni per lo sviluppo futuro degli LLM:

• Superamento dello Scalare Singolo: È necessario abbandonare l'idea di un unico punteggio di incertezza. Le future metodologie dovrebbero puntare a rappresentazioni strutturate dell'incertezza che disentaggino (separino) esplicitamente la mancanza di conoscenza, la variabilità dell'output e l'ambiguità dell'input.
• Decisioni Contestuali: La conoscenza della fonte dell'incertezza è cruciale per le azioni a valle:
  • Se manca la conoscenza -> Il sistema dovrebbe astenersi o recuperare informazioni (RAG).
  • Se c'è variabilità -> Il sistema dovrebbe presentare multiple opzioni.
  • Se c'è ambiguità -> Il sistema dovrebbe chiedere chiarimenti all'utente.
• Sicurezza: Utilizzare un punteggio UQ generico in scenari ad alto rischio può essere pericoloso, poiché potrebbe non rilevare correttamente l'ambiguità o la variabilità, portando a una falsa fiducia nel modello.

In conclusione, il paper sostiene che l'incertezza negli LLM non è un fenomeno monolitico, ma un fenomeno strutturato che richiede approcci di quantificazione specifici per la fonte al fine di abilitare sistemi di IA più sicuri, affidabili e interattivi.