Sintesi Tecnica: Disgiungere l'Ambiguità dall'Instabilità nei Large Language Models

Definizione del Problema

L'implementazione di Large Language Models (LLM) per applicazioni cliniche di Text-to-SQL affronta una barriera critica: il rischio di generare query sintatticamente corrette ma semanticamente errate. Una sfida primaria è l'ambiguità latente, dove le query di input contengono incertezze implicite (ad esempio, "pazienti sopra i 18 anni" che può riferirsi all'età alla diagnosi o all'età attuale) che alterano significativamente i risultati ma non sono evidenti all'utente.

Gli attuali metodi di quantificazione dell'incertezza, come la Kernel Language Entropy (KLE), forniscono un punteggio singolo per misurare la diversità dell'output. Tuttavia, questo approccio confonde due fonti di incertezza fondamentalmente distinte:

1. Ambiguità di Input (tipo Aleatoria): Diversità derivante dall'ambiguità intrinseca della query dell'utente, che legittimamente genera molteplici interpretazioni valide.
2. Instabilità del Modello (tipo Epistemica): Diversità derivante dall'incoerenza interna del modello o dalla mancanza di conoscenza durante l'elaborazione di un'unica interpretazione chiara.

Questa confusione ostacola l'implementazione efficace del sistema. Un'alta ambiguità dovrebbe innescare un dialogo di chiarimento con l'utente, mentre un'alta instabilità dovrebbe segnalare la query per una revisione umana. I metodi esistenti non possono distinguere tra questi regimi, impedendo interventi mirati.

Metodologia: Il Framework CLUES

Gli autori propongono CLUES (Conditional Language Uncertainty via Entropy and Schur), un framework che modella il Text-to-SQL come un processo generativo a due stadi per decomporre l'incertezza semantica.

1. Processo Generativo a Due Stadi

Il sistema è formalizzato come:

• Stadio di Interpretazione: Il sistema genera $N$ interpretazioni semantiche distinte ($I = \{I_1, ..., I_N\}$) che rappresentano letture plausibili della query originale.
• Stadio di Generazione: Per ogni interpretazione $I_n$, il sistema genera $M$ query SQL candidate e le relative risposte ($R_n = \{R_{n,1}, ..., R_{n,M}\}$).
  Questa struttura crea una relazione bipartita in cui la diversità tra le interpretazioni rappresenta l'ambiguità, e la diversità all'interno di una singola interpretazione rappresenta l'instabilità.

2. Costruzione del Grafo Semantico Bipartito

Viene utilizzata una funzione di similarità $k(\cdot, \cdot)$ per costruire una matrice di adiacenza pesata $W$, strutturata come un grafo bipartito:
$$W = \begin{pmatrix} W_{II} & W_{IR} \\ W_{RI} & W_{RR} \end{pmatrix}$$

• $W_{II}$: Codifica la similarità semantica tra le interpretazioni.
• $W_{RR}$: Codifica la similarità semantica tra tutte le risposte generate.
• $W_{IR}/W_{RI}$: Matrici di assegnazione binaria che collegano le risposte alla loro interpretazione genitrice.

Un kernel di diffusione del calore ($K_\tau = e^{-\tau L}$) viene applicato per smussare queste similarità, dove $\tau$ controlla la granularità del clustering.

3. Decomposizione tramite Complemento di Schur

L'innovazione principale è la decomposizione dell'incertezza totale in un Punteggio di Ambiguità ($H_I$) e un Punteggio di Instabilità ($H_{R|I}$).

• Ambiguità ($H_I$): Calcolata come l'entropia della matrice di interpretazione $W_{II}$ utilizzando il framework KLE.
• Instabilità ($H_{R|I}$): Definita come l'entropia condizionata dei risultati date le interpretazioni. Gli autori rifiutano l'approccio di sottrazione ingenua ($H_{R,I} - H_I$) perché viola la regola della catena per l'entropia di von Neumann sulle matrici di densità del kernel di calore e produce frequentemente valori negativi.
• Soluzione del Complemento di Schur: Invece della sottrazione, il framework calcola direttamente la struttura di similarità condizionata:
  $$S = W_{RR} - W_{RI}(W_{II} + \epsilon I)^{-1}W_{IR}$$
  La matrice $S$ rappresenta la similarità residua nelle risposte che non può essere spiegata dalla struttura delle interpretazioni. L'entropia di $S$ fornisce $H_{R|I}$. Questo approccio garantisce punteggi non negativi e isola matematicamente l'incoerenza interna del sistema.

4. Regimi di Incertezza

Il framework definisce quattro regimi operativi basati su soglie per $H_I$ e $H_{R|I}$:

• Regime I (Confiante): Bassa ambiguità, bassa instabilità $\rightarrow$ Risposta automatica.
• Regime II (Ambiguità): Alta ambiguità, bassa instabilità $\rightarrow$ Innesca un dialogo di chiarimento.
• Regime III (Instabilità): Bassa ambiguità, alta instabilità $\rightarrow$ Segnala per revisione umana.
• Regime IV (Composto): Alta ambiguità, alta instabilità $\rightarrow$ Chiarimento + Revisione.

Contributi Chiave

1. Framework CLUES: Un metodo agnostico rispetto al modello per decomporre l'incertezza semantica in ambiguità e instabilità condizionata utilizzando il complemento di Schur di un grafo semantico bipartito.
2. Dataset Clinico e Procedura: Una procedura di interpretazione-generazione per domande epidemiologiche e un benchmark di Text-to-SQL clinico che presenta molteplici interpretazioni valide per le query note.
3. Validazione Empirica: Evidenza che dimostra come $H_{R|I}$ migliori la predizione dei fallimenti rispetto allo stato dell'arte KLE ($H_R$) e permetta un efficace triage degli errori tramite il routing basato sui regimi.

Risultati Sperimentali

QA Open-Domain (AmbigQA & SituatedQA)

Utilizzando interpretazioni gold-standard, CLUES è stato valutato su cinque LLM di frontiera.

• Predizione dei Fallimenti: Il punteggio di instabilità $H_{R|I}$ ha superato costantemente il baseline $H_R$ nella predizione dei fallimenti (miglioramenti dell'AUROC di +0,074 a +0,077 sui dati aggregati).
• Discriminazione dei Regimi: Tra le query con alta diversità di output (alta $H_R$), quelle con bassa instabilità ($H_{R|I}$) hanno mostrato un'accuratezza significativamente superiore rispetto a quelle con alta instabilità. Ad esempio, in SituatedQA, l'accuratezza è scesa dal 46,8% (Regime A) al 13,3% (Regime B), una differenza statisticamente significativa (odds ratio ~5,7).
• Fallimento della Sottrazione Naive: L'approccio di sottrazione ingenua ($\tilde{H}_{R|I}$) ha prodotto valori negativi nel 37–60% dei casi e ha performato vicino al caso casuale, validando la necessità del complemento di Schur.

Clinical Text-to-SQL (Interpretazioni Note)

Valutato su un dataset derivato da EHRSQL ed EpiAskKB con 2.180 istanze query-modello.

• Performance: $H_{R|I}$ ha raggiunto un AUROC aggregato di 0,762 rispetto a 0,600 per $H_R$ (p < $10^{-10}$).
• Robustezza: Il punteggio di instabilità è rimasto stabile attraverso diversi parametri del kernel di calore ($\tau \in [2, 20]$), mentre il baseline $H_R$ è degradato significativamente a $\tau$ più elevati.
• Sensibilità alla Temperatura: Temperature di campionamento moderate (T=1,0–1,5) hanno prodotto i segnali di instabilità più forti, suggerendo che una maggiore diversità esponga l'instabilità latente del modello.

Setting di Deployment (Interpretazioni Generate)

In un setting simile alla produzione in cui le interpretazioni vengono generate on-the-fly (non fornite come etichette gold):

• Accuratezza: I modelli hanno raggiunto un'alta accuratezza (84–100%), risultando in errori sparsi (tasso di errore del 4,4%).
• Efficienza dei Regimi: Sebbene l'AUROC a singolo punteggio non fosse significativamente diverso tra $H_R$ e $H_{R|I}$ in questo regime di scarsità, l'analisi dei regimi si è rivelata preziosa. Il Regime IV (Alta Ambiguità + Alta Instabilità) conteneva il 51% di tutti gli errori pur coprendo solo il 25% delle query.
• Routing: Una strategia che instrada solo il Regime IV alla revisione umana avrebbe catturato la metà di tutti i fallimenti esaminando solo un quarto delle query, raddoppiando l'efficienza rispetto alla selezione casuale.

Significato e Rivendicazioni

L'articolo sostiene che CLUES fornisce una decomposizione diagnostica non disponibile dalle metriche a punteggio singolo. Distinguendo tra ambiguità di input e instabilità del modello, il framework consente interventi mirati:

• Chiarimento per le query ad alta ambiguità.
• Revisione Umana per le query ad alta instabilità.

Gli autori sottolineano che questa distinzione è operativamente critica per domini a criticità elevata come l'accesso ai dati clinici EHR, dove i risultati "plausibili ma errati" pongono rischi significativi. Il framework è progettato per essere agnostico rispetto al modello, richiedendo solo il campionamento dell'output, e offre un approccio matematico rigoroso all'incertezza che evita le insidie della sottrazione ingenua dell'entropia.

Gli autori notano con modestia i limiti, inclusi il costo computazionale delle molteplici chiamate LLM per query e la dipendenza dalla qualità delle interpretazioni generate. Riconoscono inoltre che, in contesti di deployment ad alta accuratezza, il tasso di errore sparso limita il potere discriminante dei segnali di incertezza fine, sebbene il routing basato sui regimi offra comunque guadagni di efficienza rispetto alla selezione casuale.