Sintesi Tecnica: QUEST per la Quantificazione dell'Incertezza tramite Regioni ad Alta Densità

1. Definizione del Problema

La quantificazione dell'incertezza (UQ) è fondamentale per un processo decisionale affidabile nel machine learning probabilistico critico per la sicurezza. Mentre le misure basate sull'entropia sono lo standard per la classificazione, la UQ per la regressione si è ampiamente affidata alle Regole di Punteggio Proprie (Proper Scoring Rules - PSR), che operano la quantificazione dell'incertezza come il rischio predittivo puntuale di un modello rispetto alla distribuzione reale.

Gli autori identificano un difetto fondamentale negli approcci basati su PSR (come varianza ed entropia differenziale) quando la statistica target non è l'aspettativa condizionale (media). In molti contesti pratici — come l'apprendimento per rinforzo o la modellazione bayesiana — il target è la moda condizionale (Massima A Posteriori, o MAP). In presenza di asimmetria (skewness), multimodalità o outlier, la media e la moda possono divergere significativamente. Le misure standard come la varianza spesso sovrastimano l'incertezza in questi casi perché sono sensibili alla massa nelle code piuttosto che alla concentrazione di probabilità attorno alla moda. Inoltre, gli esistenti framework assiomatici per la UQ di regressione spesso non soddisfano proprietà intuitive come la monotonicità sotto diffusione distributiva o l'invarianza rispetto agli spostamenti di locazione quando applicati a distribuzioni non gaussiane o asimmetriche.

2. Metodologia: Il Framework QUEST

Il documento introduce QUEST (Quantifying Uncertainty via highest dEnSiTy regions), un framework che caratterizza l'incertezza attraverso il volume del sottoinsieme più probabile del supporto di una distribuzione, piuttosto che attraverso il rischio puntuale.

Concetti Chiave

• Regioni ad Alta Densità (Highest Density Regions - HDRs): Per una funzione di densità di probabilità (PDF) $p$ e un parametro di robustezza $\alpha \in (0,1)$, la $(1-\alpha)$-HDR ($C_\alpha$) è l'insieme più piccolo che contiene $1-\alpha$ della massa di probabilità. È definita come $C_\alpha = \{x : p(x) \ge t_\alpha(p)\}$, dove $t_\alpha$ è la soglia che garantisce il vincolo di massa.
• $\alpha$-Volume (Misura Locale): Definito come $V_\alpha(p) := \lambda(C_\alpha)$, dove $\lambda$ è la misura di Lebesgue. Questo misura la "dimensione" della regione che contiene il grosso della massa di probabilità. Volumi piccoli indicano alta concentrazione (bassa incertezza); volumi grandi indicano dispersione (alta incertezza).
• Volume Integrato (Misura Globale): Definito come $IV(p) = \int_0^1 V_\alpha(p) d\alpha$. Questo riassume l'intera curva di copertura, fornendo una valutazione globale della concentrazione. Gli autori stabiliscono un'equivalenza geometrica tra la curva di copertura e la curva di Lorenz dell'economia, e tra il volume integrato e il coefficiente di Gini.

Tipologia di Incertezza in QUEST

Il framework definisce tre tipi di incertezza basati su una seconda distribuzione $q$ (che rappresenta le credenze sui parametri $\theta$) e sulla vera distribuzione di base $p_{\theta^*}$:

1. Incertezza Aleatoria (Aleatoric Uncertainty - AU): Quantificata dal volume della HDR della distribuzione reale $p_{\theta^*}$. Questa cattura l'incertezza irreducibile intrinseca nel processo di generazione dei dati.
   • Locale: $V_\alpha(p_{\theta^*})$
   • Globale: $IV(p_{\theta^*})$
2. Incertezza Epistemica (Epistemic Uncertainty - EU): Quantificata dal volume della HDR della seconda distribuzione $q$. A differenza degli approcci standard che trattano l'EU come un residuo (Totale - Aleatoria), QUEST tratta l'EU come una misura puramente soggettiva della concentrazione delle credenze dell'agente, indipendente dalla verità.
   • Locale: $V_\alpha(q)$
   • Globale: $IV(q)$
3. Incertezza Totale (Total Uncertainty - TU): Definita tramite un'interazione tra AU ed EU. Poiché AU ed EU esistono su spazi diversi, non si sommano semplicemente. Invece, la TU è modellata come il volume della AU scalato da un fattore di penalità derivato dalla divergenza tra la densità condizionale reale e la densità condizionale predittiva nei rispettivi HDR.
   • Formula: $TU = V_\alpha(p_{\theta^*}) \cdot g_f(D_f(p^*_\alpha || \hat{p}_\alpha))$
   • Qui, $D_f$ è una $f$-divergenza ammissibile (ad esempio, la variazione totale) e $g_f$ è una funzione strettamente crescente che penalizza il disallineamento tra la credenza dell'agente e la verità.

3. Contributi Principali

Il documento presenta quattro contributi primari:

1. Concettuale: Propone un'interpretazione centrata sul volume dell'incertezza basata sulla concentrazione della densità e su un parametro di robustezza $\alpha fornito dall'utente, offrendo un'alternativa alle misure PSR basate sul rischio.
2. Metodologico: Introduce nuove misure locali ($\alpha$-volume) e globali (volume integrato) per l'incertezza aleatoria ed epistemica. Stabilisce connessioni teoriche tra queste misure e la statistica classica dell'informazione (entropia differenziale) ed economica (curve di Lorenz, coefficienti di Gini).
3. Teorico: Dimostra che le misure QUEST per AU ed EU soddisfano un insieme di assiomi adattati dalla letteratura sulla UQ (A0–A5). Questi includono non negatività, minimizzazione presso le masse di Dirac, monotonicità sotto "livellamento" (diffusione distributiva) e invarianza rispetto agli spostamenti di locazione. Notevolmente, il documento sostiene che la Total Uncertainty (TU) non dovrebbe soddisfare l'assioma di monotonicità (A4) in tutti i casi, poiché una migliore calibrazione (riduzione della TU) può verificarsi anche se l'incertezza epistemica aumenta.
4. Empirico: Valida il framework attraverso benchmark di predizione selettiva. I risultati mostrano che QUEST (in particolare la misura globale) supera la varianza e l'entropia differenziale in contesti asimmetrici e multimodali, portando a una classificazione più accurata dell'affidabilità della predizione.

4. Risultati Sperimentali

Gli autori hanno valutato QUEST rispetto a varianza, entropia differenziale e baseline casuali utilizzando ensemble di deep mixture-of-experts su tre processi di generazione dei dati (DGP) sintetici:

• Unimodale Gaussiano: Tutti i metodi si sono comportati in modo simile, come previsto.
• Unimodale Asimmetrico (Skewed): Varianza ed entropia hanno avuto difficoltà a causa della sensibilità alla massa nelle code. QUEST ha fornito classifiche di incertezza più affidabili.
• Miscela Bimodale: Le misure standard spesso classificano erroneamente l'incertezza in contesti multimodali. QUEST ha superato significativamente varianza ed entropia, identificando correttamente le regioni di alta concentrazione di densità.

Nei compiti di predizione selettiva (dove le predizioni vengono effettuate solo sui campioni più certi), QUEST (globale) ha ottenuto una perdita inferiore in tutti i test rispetto ai competitor. Un esperimento supplementare di apprendimento attivo ha mostrato QUEST con prestazioni paragonabili a varianza ed entropia, sebbene gli autori notino che le prestazioni di QUEST sono sensibili alla qualità della stima del modello della densità reale in contesti non-oracle.

5. Significato e Rivendicazioni

Il documento afferma che QUEST affronta specifiche patologie delle misure basate su PSR, in particolare quando il target è la moda piuttosto che la media. Spostando l'attenzione dal rischio puntuale alla concentrazione della misura, QUEST fornisce una caratterizzazione più intuitiva e robusta dell'incertezza per distribuzioni non gaussiane, asimmetriche o multimodali.

Gli autori sottolineano che il loro approccio:

• Evita i risultati controintuitivi delle misure basate sulla varianza in presenza di outlier o asimmetria.
• Fornisce una solida base assiomatica per AU ed EU che rispetta la geometria delle densità di probabilità.
• Offre un framework flessibile in cui il parametro di robustezza $\alpha$ permette agli utenti di controllare la sensibilità alle fluttuazioni delle code.

Il documento conclude con modestia, riconoscendo limitazioni come l'assunzione di assoluta continuità rispetto alla misura di Lebesgue e il costo computazionale della stima degli HDR in alte dimensioni. Suggerisce come lavoro futuro l'estensione del framework all'inferenza statistica e la gestione di distribuzioni con atomi o supporti a dimensione inferiore.