Human-Alignment and Calibration of Inference-Time Uncertainty in Large Language Models

Sintesi Tecnica: Allineamento Umano e Calibrazione dell'Incertezza al Tempo di Inferenza nei Large Language Models

Problematica
La ricerca recente si è concentrata intensamente sulla calibrazione dei Large Language Models (LLM) per garantire che le loro stime di incertezza prevedano accuratamente la probabilità di generare una risposta valida. Tuttavia, esiste una lacuna critica: il lavoro esistente raramente valuta se l'incertezza del modello sia allineata con l'incertezza umana. Sebbene una misura possa essere ben calibrata rispetto all'accuratezza del modello, i suoi valori potrebbero non corrispondere all'intuizione umana, rendendoli difficili da interpretare per gli utenti. Inoltre, la maggior parte dei metodi di quantificazione dell'incertezza (UQ) richiede generazioni ausiliarie (ad esempio, Monte Carlo dropout), rendendoli inadatti per il controllo in tempo reale del modello o per il feedback dell'utente. Questo articolo affronta la necessità di misure di UQ al tempo di inferenza che siano simultaneamente calibrate (predicendo la correttezza del modello) e allineate (correlate con l'incertezza umana a livello di gruppo).

Metodologia
Gli autori valutano una collezione di misure di incertezza al tempo di inferenza su molteplici LLM (LLaMa-3.2 1B/3B, LLaMa-3.1 8B, e Mistral 7B 0.1/0.3, sia nelle varianti base che instruction-tuned). Lo studio utilizza due dataset di sondaggi umani:

1. Dataset Pew: 38 domande provenienti da sondaggi della Pew Research (utilizzato come baseline).
2. Dataset Roper: 2.998 domande campionate dal Roper Center for Public Opinion Research (2017–2023).

Definizione di Incertezza Umana: L'incertezza umana è approssimata dal livello di disaccordo tra i gruppi di intervistati. È calcolata come l'entropia delle percentuali di risposta normalizzate per ogni domanda.

Misure di Incertezza Valutate:
Lo studio si concentra su misure calcolabili durante un singolo passaggio di generazione senza campionamento ausiliario:

• Probabilità Top-1: La probabilità del token più probabile.
• Misure basate sull'Entropia:
  • Entropia Totale: Entropia di Shannon sull'intera distribuzione del vocabolario.
  • Entropia Top-k: Entropia calcolata sui primi $k$ token ($k \in \{5, 10, 25, 50, 100\}$), normalizzata per mantenere i rapporti relativi.
  • Entropia di Scelta (Choice Entropy): Entropia calcolata specificamente sulle probabilità normalizzate delle opzioni di risposta fornite.
  • Entropia Top-p: Entropia calcolata sui token selezionati tramite nucleus sampling (dimensione del nucleo $p \in \{0.5, 0.75, 0.9, 0.95\}$).
• Dimensione Top-p: Il numero di token nell'insieme del nucleo.

Metriche di Valutazione:

1. Allineamento:
   • Accordo Aperto (Overt Agreement): La frequenza con cui la scelta principale del modello corrisponde alla scelta principale del gruppo umano.
   • Ordinamento delle Preferenze: Misurato tramite la distanza normalizzata di Kendall $\tau$ tra le classifiche di preferenza del modello e dell'uomo.
   • Correlazione dell'Incertezza: Correlazione di Pearson tra i punteggi di incertezza del modello e l'incertezza del gruppo umano (entropia delle risposte) attraverso le domande.
2. Calibrazione:
   • Correlazione della Correttezza: Correlazione di Spearman tra le misure di incertezza e la correttezza binaria sul benchmark MMLU.
   • Calibrazione Distribuzionale (Spostamento JSD): Una metrica innovativa che misura lo spostamento nella Distanza di Jensen-Shannon (JSD). Gli autori ipotizzano che una misura ben calibrata mostrerà un aumento significativo della distanza tra la distribuzione della risposta del modello e la distribuzione della risposta corretta quando si passa da domande ad alta certezza a domande a bassa certezza.

Risultati Chiave

• Allineamento vs. Preferenza: I modelli hanno mostrato un accordo moderato con gli umani sulla risposta principale (superando il caso casuale), ma hanno mostrato nessun allineamento significativo nell'ordinamento generale delle preferenze (le distanze di Kendall $\tau$ erano effettivamente casuali).
• Allineamento dell'Incertezza: Nonostante la mancanza di allineamento nell'ordinamento delle preferenze, diverse misure hanno mostrato una forte correlazione con l'incertezza del gruppo umano.
  • Misure con le migliori prestazioni: La Choice entropy, l'Entropia totale, tutte le Top-k entropie e la Top-p entropy (per $p \ge 0.9$) hanno mostrato costantemente una correlazione significativa ($|r| \ge 0.3$) in tutti i modelli.
  • Dimensione Top-p: Ha mostrato una correlazione debole ma significativa per $p \le 0.9$, contraddicendo alcune assunzioni pregresse.
  • Probabilità Top-1: Non ha mostrato una correlazione significativa costante.
• Calibrazione: Le misure che si sono allineate bene con l'incertezza umana hanno anche dimostrato prove da moderate a forti di calibrazione su MMLU.
  • La Choice Entropy è emersa come la misura più robusta, mostrando una correlazione negativa con la correttezza (minore incertezza = maggiore accuratezza) in quasi tutti i modelli e i soggetti.
  • Spostamento JSD: I test di permutazione hanno confermato che, per la maggior parte delle misure, lo spostamento nella distanza distribuzionale tra gli stati di alta e bassa certezza era statisticamente significativo, indicando che le misure distinguono efficacementamente tra stati del modello certi e incerti.

Contributi Chiave

1. Connessione Top-p e Bayesiana: Gli autori osservano che la selezione top-p nel decoding degli LLM è funzionalmente equivalente all'insieme di credibilità a densità massima bayesiana, una connessione precedentemente non notata nella letteratura UQ.
2. Disaccoppiamento di Allineamento e Preferenza: Il lavoro osserva che le misure di incertezza al tempo di inferenza basate sull'entropia possono allinearsi con l'incertezza umana anche quando i modelli e gli umani divergono sulle specifiche preferenze o sull'ordinamento delle risposte.
3. Nuova Metrica di Calibrazione: Lo sviluppo di una misura di calibrazione distribuzionale basata sullo spostamento della metrica della distanza di Jensen-Shannon per valutare direttamente l'impatto della certezza sulle distribuzioni di risposta.
4. Evidenza Empirica: Lo studio fornisce prove del fatto che le misure allineate sono anche calibrate in termini di correlazione della correttezza e analisi distribuzionale.

Significato e Rivendicazioni
L'articolo sostiene di aver identificato un insieme di misure di UQ al tempo di inferenza che sono efficaci e più intuitivamente interpretabili per gli utenti umani perché si allineano con il comportamento di incertezza umano. Ciò è significativo perché suggerisce che i modelli possono fornire segnali di fiducia in tempo reale che gli utenti possono comprendere, anche se i modelli non imitano perfettamente la logica di selezione delle risposte umana.

Gli autori concludono con modestia che, sebbene queste misure mostrino una forte evidenza iniziale di allineamento e calibrazione, non sono perfette. Enfatizzano che sono necessari lavori futuri per:

• Trovare misure che siano altamente calibrate senza sacrificare l'allineamento.
• Estendere queste scoperte ai contesti di generazione aperta (proponendo un framework per convertire le risposte aperte in valutazioni a scelta multipla).
• Investigare l'allineamento dell'incertezza a livello individuale piuttosto che solo a livello di gruppo.
• Testare queste misure in applicazioni reali di cooperazione uomo-LLM per determinare se migliorano la fiducia dell'utente e l'efficacia del compito.

Lo studio è limitato ai contesti a scelta multipla e ai modelli con meno di 8 miliardi di parametri, notando che i risultati potrebbero variare in modelli più grandi o in scenari a risposta aperta.