Riepilogo Tecnico: Predizione Conformale Bayesiana tramite Selezione di Soglie Basata sulla Teoria delle Decisioni

1. Enunciato del Problema

La quantificazione dell'incertezza nell'apprendimento automatico affronta un compromesso tra validità statistica ed efficienza, in particolare quando i modelli probabilistici sottostanti sono specificati in modo errato. I metodi bayesiani standard forniscono incertezza a posteriori ma possono fallire nel mantenere una copertura nominale quando il modello è errato. Al contrario, la Predizione Conformale (CP) standard offre garanzie di copertura distributive libere e su campioni finiti sotto l'assunzione di scambiabilità, ma spesso si basa su una singola soglia di quantile fissa. Questa soglia fissa produce tipicamente insiemi di previsione connessi (intervalli), che possono risultare inefficienti quando la distribuzione predittiva a posteriori è multimodale. In tali casi, i metodi standard sono costretti a coprire regioni a bassa densità tra modi separati per mantenere la validità, risultando in insiemi di previsione inutilmente grandi.

Il problema centrale affrontato è se le soglie conformali possano essere ottimizzate utilizzando le distribuzioni predittive a posteriori bayesiane per produrre insiemi di previsione geometricamente adattivi (nello specifico, insiemi di Densità Posteriore più Alta o HPD) che rimangano validi anche in caso di specificazione errata del modello.

2. Metodologia: Predizione Conformale Bayesiana (BCP)

Gli autori propongono la Predizione Conformale Bayesiana (BCP), un quadro che riformula la predizione conformale come un problema di ottimizzazione del rischio decisionale. Invece di accettare una soglia di quantile fissa, la BCP tratta la soglia $\lambda$ come una variabile decisionale per minimizzare la dimensione attesa dell'insieme di previsione soddisfacendo un vincolo di copertura in stile PAC (Probabilmente Approssimativamente Corretto).

Componenti Chiave

1. Punteggi di Non-Conformità Bayesiana:
   La BCP utilizza punteggi derivati dalla densità predittiva a posteriori:
   $$s(x, y) = -\log \hat{p}(y \mid x, D_{tr})$$
   Questi punteggi incorporano sia l'incertezza dei parametri che quella predittiva. Per calcolarli efficientemente senza riadattare il modello per ogni punto di calibrazione, gli autori impiegano il campionamento per importanza Add-One-In (AOI). Questo ripesa i campioni posteriori esistenti per approssimare la densità predittiva in punti arbitrari $(x, y)$, assicurando che la funzione di punteggio rimanga fissa rispetto alle etichette di calibrazione per preservare la scambiabilità.

2. Controllo del Rischio in Stile PAC (Statistica $L_+$):
   Per imporre la validità, la BCP adotta il quadro del Controllo del Rischio Conformale (CRC). Utilizza la statistica $L_+$, che limita superiormente stocasticamente il vero rischio di mancata copertura. La soglia $\lambda^*$ è selezionata in modo tale che:
   $$P_D(P_{(X,Y)}(Y \notin C(X; \lambda)) \le \alpha) \ge 1 - \beta$$
   Questo garantisce una copertura di $1-\alpha$ con probabilità almeno $1-\beta$ sulla casualità dei dati di calibrazione, fornendo robustezza anche se il modello bayesiano è specificato in modo errato.

3. Quadratura Bayesiana (BQ) per la Stima dell'Efficienza:
   La funzione obiettivo $g(\lambda) = E_X[|C(X; \lambda)|]$ (dimensione attesa dell'insieme) è spesso intrattabile. La BCP approssima questo utilizzando la Quadratura Bayesiana, ponendo un prior di Processo Gaussiano sulla mappatura $\lambda \mapsto g(\lambda)$.

   • Ruolo nei contesti basati su soglie: La BQ riduce il rumore di stima quando si identifica la soglia fattibile più piccola.
   • Ruolo nei contesti HPD: Nelle distribuzioni multimodali, la geometria degli insiemi HPD cambia bruscamente (componenti sconnesse appaiono/scompaiono) quando $\lambda$ attraversa i livelli di densità ai confini dei modi. Ciò causa un'alta varianza nelle stime Monte Carlo naive. La BQ stabilizza la stima di $g(\lambda)$ vicino a queste discontinuità, consentendo una selezione affidabile della soglia ottimale.

4. Geometria Adattiva (Insiemi HPD):
   A differenza della Split-CP standard o della Regressione Quantilica Conformalizzata (CQR) che impongono intervalli connessi, la BCP costruisce insiemi di previsione basati sugli insiemi di livello superiore della densità predittiva a posteriori:
   $$C_{HPD}(x; \lambda) = \{y : \hat{p}(y \mid x, D_{tr}) \ge e^{-\lambda}\}$$
   Sotto posteriori multimodali, questi insiemi possono essere disgiunti, concentrando la massa di probabilità su regioni ad alta densità separate ed evitando le valli a bassa densità.

3. Contributi Chiave

• Formulazione Basata sulla Teoria delle Decisioni: Il documento presenta la CP come un problema di ottimizzazione in cui la soglia è una variabile decisionale che minimizza la dimensione attesa dell'insieme soggetta a un vincolo di copertura PAC.
• Adattività Geometrica: Utilizzando le densità predittive a posteriori, la BCP genera insiemi di previsione HPD che possono essere disgiunti sotto distribuzioni multimodali, migliorando significativamente l'efficienza rispetto ai metodi basati su intervalli connessi.
• Robustezza alla Specificazione Errata: Il quadro disaccoppia la validità dalla correttezza del modello. Mentre gli Intervalli di Credibilità Bayesiani (BCI) falliscono in caso di specificazione errata del prior, la BCP ripristina una copertura vicina al nominale tramite il vincolo $L_+$.
• Selezione Stabile della Soglia: L'integrazione della Quadratura Bayesiana affronta l'instabilità nella stima delle funzioni obiettivo vicino ai confini dei modi in contesti multimodali.

4. Risultati Sperimentali

Gli autori valutano la BCP su compiti di regressione, classificazione e spostamento di distribuzione confrontandola con baseline che includono Split-CP, CQR, Intervalli di Credibilità Bayesiani (BCI), Computazione Bayesiana Conformale (CB) e Snell-HPD.

• Regressione (Dataset Diabetes): In caso di specificazione errata del prior ($c=0.02$), la copertura BCI crollò al 49,2%, mentre la BCP mantenne una copertura dell'80,0%. La BCP raggiunse la copertura target con un intervallo leggermente più ampio rispetto a Snell-HPD a causa dell'ottimizzazione esplicita dell'efficienza, ma superò significativamente la BCI in termini di validità.
• Classificazione (Cancro al Senso): La BCI sovracoprì severamente (98,9% vs 80% target). La BCP raggiunse una copertura dell'82,5% con una dimensione media dell'insieme di 0,829, dimostrando un efficace controllo efficienza-validità.
• Regressione Multimodale Sintetica: Questo scenario evidenzia il vantaggio principale della BCP. I metodi basati su intervalli standard (Split-CP, CQR) produssero insiemi connessi che coprivano la valle a bassa densità tra i modi, risultando in dimensioni medie di circa 4,8. La BCP e Snell-HPD utilizzarono insiemi HPD disgiunti, riducendo la dimensione media a 2,07 (un miglioramento statisticamente significativo, $p < 0,0001$). La BCP ottenne un tasso di superamento PAC di 0,80, soddisfacendo l'obiettivo, mentre Snell-HPD fallì leggermente (0,78).
• Classificazione ad Alta Dimensionalità (ImageNet-A): In un contesto unimodale dove la dimensione attesa dell'insieme è monotona rispetto alla soglia, la BCP recuperò la stessa soluzione di Snell-HPD (dimensione media dell'insieme 40,3 vs 122+ per i metodi marginali). Ciò conferma che i guadagni di efficienza della BCP sono guidati dalla capacità di gestire geometrie complesse e multimodali piuttosto che dal vincolo PAC da solo.

5. Significato e Affermazioni

Il documento afferma che la BCP fornisce un quadro robusto per la quantificazione dell'incertezza che combina le garanzie di validità della predizione conformale con l'adattività geometrica dell'inferenza bayesiana.

• Validità: Il metodo garantisce una copertura su campioni finiti sotto scambiabilità, indipendentemente dalla correttezza del modello.
• Efficienza: Il contributo principale all'efficienza è la capacità di costruire insiemi di previsione disgiunti in scenari multimodali, evitando la "penalità di bassa densità" intrinseca nei metodi basati su intervalli connessi.
• Ambito di Applicazione: Gli autori notano che nei contesti standard a soglia annidata (regressione unimodale, classificazione standard), la BCP recupera la soglia fattibile più piccola e si allinea con i metodi esistenti basati su PAC. Il vantaggio distintivo sorge specificamente quando la distribuzione predittiva è multimodale.
• Limitazioni: Il metodo eredita il costo computazionale dell'inferenza a posteriori (richiedendo campioni MCMC e ripesatura AOI). Gli autori riconoscono che la scalabilità a dataset molto grandi o spazi di etichette ad alta dimensionalità rimane una sfida aperta.

In sintesi, la BCP offre un approccio principiato alla costruzione di insiemi di previsione che sono sia statisticamente validi in caso di specificazione errata del modello sia geometricamente efficienti in paesaggi predittivi complessi e multimodali.