Shape-Adaptive Conditional Calibration for Conformal Prediction via Minimax Optimization

1. Il Problema

L'inferenza predittiva mira a costruire un insieme di previsione per un'etichetta sconosciuta $Y$ dato un covariato $X$, garantendo che l'etichetta vera sia contenuta nell'insieme con un livello di confidenza predefinito ($1-\alpha$). La Conformal Prediction (CP) offre garanzie di validità "marginali" (cioè $P(Y \in C(X)) \ge 1-\alpha$) senza assumere distribuzioni specifiche.

Tuttavia, la copertura marginale può fallire nel garantire affidabilità uniforme su sottogruppi specifici o in regioni eterogenee dello spazio delle caratteristiche. L'obiettivo desiderato è la copertura condizionata: $P(Y \in C(X) | X) \ge 1-\alpha$ quasi certamente.
I metodi esistenti per la copertura condizionata (come la Conditional Calibration di Gibbs et al., 2025) presentano due limitazioni principali:

1. Rigidità Geometrica: Si basano su funzioni di punteggio pre-addestrate fisse e calibrano solo una soglia scalare. Questo impedisce di adattare la forma dell'insieme di previsione (es. orientamento o rapporto d'aspetto di ellissoidi o scatole) per catturare l'eteroschedasticità locale, specialmente in regressioni multivariate.
2. Dipendenza dalle Variabili di Condizionamento: Richiedono che la variabile di condizionamento $Z$ (es. attributi sensibili come genere o razza) sia osservabile sia in fase di calibrazione che di test. Questo è problematico per la parità algoritmica, dove $Z$ potrebbe essere mascherato (non osservabile) al momento della previsione.

2. Metodologia: MOPI

Gli autori propongono MOPI (Minimax Optimization Predictive Inference), un nuovo framework che riformula l'inferenza predittiva condizionata come un problema di ottimizzazione minimax.

Formulazione del Problema

L'obiettivo è trovare un insieme di previsione $C(X)$ che soddisfi le restrizioni di momento marginali derivanti dalla copertura condizionata:
$$E[f(Z)(1\{Y \notin C(X)\} - \alpha)] = 0, \quad \forall f \in \mathcal{F}$$
dove $\mathcal{F}$ è una classe di funzioni di peso definite sul dominio di condizionamento $Z$.

MOPI risolve il seguente problema minimax:
$$\min_{C \in \mathcal{C}} \max_{f \in \mathcal{F}} E\left[ f(Z)(1\{Y \notin C(X)\} - \alpha) - f^2(Z) \right]$$
dove il termine $-f^2(Z)$ agisce come regolarizzazione $L_2$ per rendere il problema ben posto e concavo rispetto a $f$.

Caratteristiche Chiave

1. Adattabilità della Forma (Shape-Adaptive):
   A differenza dei metodi precedenti che ottimizzano solo una soglia, MOPI ottimizza direttamente la classe di funzioni a valori insiemistici $\mathcal{C}$.
   $$C(x; h) = \{ y \in \mathcal{Y} : T(h(x), y) \le 0 \}$$
   Qui, $h(x)$ può essere un vettore o una matrice che codifica la struttura geometrica (es. media $\mu(x)$ e covarianza $\Sigma(x)$). Questo permette di "rimodellare" dinamicamente l'insieme di previsione (es. ruotare un ellissoide o adattare un rettangolo) per adattarsi alla densità locale dei dati.

2. Gestione di Variabili di Condizionamento Mascherate:
   Il framework decouple la fase di enforcement della copertura (massimizzazione interna che dipende da $Z$) dalla mappatura predittiva (minimizzazione esterna che dipende da $X$).

   • Fase di Calibrazione: $Z$ è disponibile e guida la costruzione di $C(X)$.
   • Fase di Test: $Z$ può essere assente (mascherato). Poiché $C(X)$ è stato appreso per soddisfare le condizioni su $Z$ durante la calibrazione, la previsione rimane valida anche senza osservare $Z$ al test. Questo è cruciale per la fairness (es. garantire copertura uguale per gruppi sensibili senza conoscere il gruppo al momento della previsione).

3. Interpretazione Statistica:
   Gli autori dimostrano che minimizzare l'obiettivo minimax è equivalente alla minimizzazione dell'Errore Quadratico Medio di Copertura (MSCE):
   $$\text{MSCE}(C) = E[(P(Y \notin C(X) | Z) - \alpha)^2]$$
   Se la classe di funzioni di peso $\mathcal{F}$ è sufficientemente espressiva, la soluzione MOPI raggiunge l'ottimalità statistica (disuguaglianza oracolare).

4. Implementazione Empirica:
   Poiché l'indicatore di mancata copertura $1\{Y \notin C(X)\}$ non è differenziabile, viene sostituito con un surrogato liscio (es. funzione sigmoide o errore gaussiano). Il problema risultante viene risolto tramite discesa del gradiente stocastica. Per classi di funzioni finite o RKHS (Reproducing Kernel Hilbert Space), la massimizzazione interna ammette una forma chiusa, semplificando notevolmente l'ottimizzazione.

3. Contributi Principali

1. Generalizzazione della Calibrazione Condizionata: MOPI generalizza il lavoro di Gibbs et al. (2025) permettendo alla geometria dell'insieme di previsione di evolvere con la densità dei dati locale, superando la rigidità delle soglie fisse.
2. Decoupling di $X$ e $Z$: Permette di imporre copertura condizionata su attributi sensibili o gruppi latenti disponibili solo in calibrazione ma non al test, un requisito fondamentale per l'equità algoritmica.
3. Garanzie Teoriche Non-Asintotiche: Vengono fornite disuguaglianze oracolari non asintotiche per l'MSCE. I tassi di convergenza dell'errore di copertura sono ottimali (fino a fattori logaritmici) sia per classi parametriche finite che per RKHS.
4. Guida Pratica per la Scelta di $\mathcal{F}$: Viene proposta una strategia per scegliere la classe di pesi $\mathcal{F}$ in base alla cardinalità di $Z$ (funzioni parametriche per $Z$ finito, RKHS per $Z$ continuo), facilitando la risoluzione del problema.

4. Risultati Sperimentali

Il framework è stato valutato su dati sintetici e reali, confrontandolo con metodi baseline come Conformal Prediction Split (SCP), Conditional Calibration (CC) e Randomized Localized Conformal Prediction (RLCP).

• Dati Multidimensionali (Regressione): In scenari con etichette vettoriali e eteroschedasticità complessa, MOPI produce insiemi di previsione significativamente più compatti (volume ridotto) rispetto ai baseline, mantenendo una copertura condizionata superiore. MOPI riesce ad adattare l'orientamento e l'ellitticità degli insiemi, mentre i baseline falliscono nel catturare le correlazioni locali.
• Copertura di Gruppo: MOPI raggiunge tassi di copertura più vicini al livello nominale ($1-\alpha$) su vari gruppi definiti, riducendo l'errore MSCE.
• Attributi Sensibili Mascherati: In scenari dove $Z$ (es. genere, razza) è nascosto al test, i metodi baseline (CC, RLCP) falliscono nel mantenere la copertura equa tra i gruppi. MOPI, sfruttando $Z$ solo in calibrazione, mantiene una copertura bilanciata e robusta.
• Dati Reali: Sui dataset Households (spese abitative/sanitarie) e Communities and Crime, MOPI dimostra una copertura locale più uniforme e una migliore equità rispetto ai metodi esistenti.

5. Significato e Impatto

Questo lavoro rappresenta un avanzamento significativo nella teoria e nella pratica della Conformal Prediction:

• Flessibilità Geometrica: Risolve il problema della rigidità geometrica nei set di previsione multivariati, permettendo una modellazione più fedele della distribuzione condizionata.
• Equità Algoritmica: Fornisce un meccanismo teorico solido per garantire la parità di copertura (equalized coverage) anche quando gli attributi sensibili non sono disponibili al momento della decisione, un problema aperto nella letteratura sulla fairness.
• Efficienza Statistica: Dimostra che è possibile ottenere garanzie di copertura condizionate forti senza sacrificare l'efficienza (dimensione degli insiemi), superando i compromessi tipici dei metodi precedenti.

In sintesi, MOPI offre un approccio unificato e adattivo per l'inferenza predittiva robusta, capace di gestire complessità geometriche e vincoli di equità in scenari reali.