Directional Concentration Uncertainty: A representational approach to uncertainty quantification for generative models

1. Il Problema

Le grandi modelli linguistici (LLM) e i modelli generativi in generale sono strumenti potenti, ma la loro adozione in settori sensibili è ostacolata dalla mancanza di affidabilità e trasparenza. È fondamentale disporre di metodi di Quantificazione dell'Incertezza (UQ) che permettano agli utenti di valutare la fiducia nelle risposte del modello.

Attualmente, l'approccio più promettente per l'UQ nei modelli "black-box" (senza accesso ai gradienti interni) è basato sul campionamento, in particolare il Semantic Entropy (SE). Tuttavia, il paper identifica limitazioni critiche nell'SE:

• Dipendenza da Euristiche Rigide: L'SE richiede il raggruppamento delle risposte in cluster semanticamente equivalenti, utilizzando modelli di "entailment" (implicazione) bidirezionali.
• Scarsa Generalizzazione: Questo approccio funziona bene per domande a risposta breve (es. TriviaQA), ma fallisce su compiti più complessi, aperti o multimodali (es. riassunti lunghi, domande visive), dove la definizione di "equivalenza semantica" testuale diventa ambigua o inadeguata.
• Limitazione Modale: L'SE è intrinsecamente legato al testo e non si estende facilmente ad altri domini o modalità.

2. Metodologia: Directional Concentration Uncertainty (DCU)

Gli autori propongono DCU, un nuovo framework geometrico per quantificare l'incertezza basato sulle rappresentazioni continue (embedding) delle risposte generate, eliminando la necessità di clustering semantico esplicito.

Il Processo Tecnico

1. Campionamento: Per un dato input $x$, il modello linguistico genera $N$ risposte diverse ($y_1, ..., y_N$) mantenendo fissi gli iperparametri di generazione (es. temperatura).
2. Embedding: Ogni risposta testuale viene convertita in un vettore continuo $z_i$ utilizzando un modello di embedding pre-addestrato (es. e5-large-v2 per il testo, CLIP per multimodale).
3. Normalizzazione: I vettori vengono normalizzati in norma $L_2$ per giacere su un'ipersfera unitaria ($S^{d-1}$).
4. Modellazione Statistica (vMF): La distribuzione dei vettori normalizzati viene modellata utilizzando la distribuzione von Mises-Fisher (vMF). Questa distribuzione è definita su ipersfere e ha due parametri:
   • $\mu$: La direzione media.
   • $\kappa$: Il parametro di concentrazione.
5. Calcolo dell'Incertezza:
   • Il parametro $\kappa$ misura quanto i campioni sono concentrati attorno alla direzione media.
   • Un $\kappa$ alto indica bassa dispersione (risposte coerenti $\rightarrow$ bassa incertezza).
   • Un $\kappa$ basso indica alta dispersione (risposte divergenti $\rightarrow$ alta incertezza).
   • Il punteggio di incertezza è definito come l'inverso della concentrazione: $Uncertainty = 1/\kappa$.

Differenze Chiave rispetto al Semantic Entropy (SE)

• Nessun Clustering Discreto: DCU opera direttamente nello spazio continuo degli embedding, evitando la necessità di assegnare risposte a cluster discreti.
• Indipendenza dal Task: Non richiede modelli di entailment specifici per il compito o definizioni ad hoc di equivalenza semantica.
• Generalità Modale: Poiché si basa su vettori, può essere applicato a qualsiasi modalità (testo, immagini, audio) purché esista un encoder appropriato.

3. Contributi Chiave

• Framework Geometrico Unificato: Introduzione di DCU come metodo di UQ basato sulla dispersione geometrica degli embedding, superando le limitazioni strutturali del clustering semantico.
• Generalizzazione Multimodale: Dimostrazione che l'approccio basato su embedding funziona efficacemente non solo su compiti testuali, ma anche su Visual Question Answering (VQA), un dominio dove l'SE fallisce.
• Rimozione delle Assunzioni Ad Hoc: Eliminazione della dipendenza da modelli di equivalenza semantica, rendendo il metodo applicabile a qualsiasi dominio generativo.
• Integrazione per Sistemi Agentic: Proposta di utilizzare DCU per rilevare l'incertezza negli stati nascosti dei sistemi agentic prima che l'informazione venga propagata ai passaggi successivi.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su diversi dataset (SQuAD, TriviaQA, NQ-Open, ScienceQA) e modelli (LLaMA-2, Falcon, Mistral, LLaVA, Gemma).

• Compiti di QA Testuale (Semplici):
  • Su dataset come TriviaQA e SQuAD, DCU ha mostrato prestazioni comparabili o leggermente inferiori all'SE in termini di AUROC (Area Under the Receiver Operating Characteristic Curve).
  • In alcuni casi (es. modello Falcon su NQ-Open), DCU ha eguagliato o superato l'SE, confermando che la concentrazione degli embedding cattura lo stesso segnale di incertezza dell'entropia semantica.
• Compiti Multimodali (Visual QA - ScienceQA):
  • Qui emerge il vero vantaggio di DCU. L'SE ha ottenuto punteggi AUROC molto bassi (vicini a 0.5, ovvero casuali), fallendo nel distinguere risposte corrette da errate.
  • DCU ha superato significativamente l'SE, ottenendo un AUROC di 0.67 per il modello LLaVA-1.5, dimostrando la capacità di generalizzare a compiti complessi e multimodali dove la semantica testuale pura non è sufficiente.
• Robustezza: L'analisi tramite bootstrap ha confermato che i risultati sono stabili e non dovuti a rumore di campionamento.

5. Significato e Implicazioni

Il lavoro di Chattopadhyay et al. segna un cambiamento di paradigma nella quantificazione dell'incertezza per i modelli generativi:

1. Superamento delle Barriere Modali: Sposta l'UQ dal dominio puramente testuale a uno spazio rappresentazionale universale, aprendo la strada a sistemi di affidabilità per modelli multimodali e agentic.
2. Semplificazione del Pipeline: Rimuove la necessità di modelli di entailment complessi e costosi, rendendo l'UQ più scalabile e facile da implementare.
3. Fondamento Teorico: Suggerisce che il successo dell'entropia semantica deriva in realtà dalla concentrazione delle rappresentazioni sottostanti, non dalla logica di clustering testuale.
4. Sfide Future: Sebbene promettente, il metodo richiede ancora il campionamento multiplo (costoso in termini computazionali), sebbene il costo degli encoder sia inferiore rispetto alla generazione ripetuta. Il lavoro futuro si concentrerà sull'applicazione a domini arbitrari (immagini, audio) e sull'integrazione in pipeline agentiche per il controllo dell'incertezza in tempo reale.

In sintesi, DCU offre un approccio più flessibile, robusto e generalizzabile per valutare la fiducia nei modelli generativi, superando i limiti delle euristiche testuali tradizionali.