Minimum Volume Conformal Sets for Multivariate Regression

Titolo: Insiemi Conformali a Volume Minimo per la Regressione Multivariata

1. Il Problema

Nella modellazione predittiva, la quantificazione dell'incertezza è cruciale quanto l'accuratezza della previsione. La conformal prediction offre un quadro teorico per costruire insiemi predittivi con validità a campione finito (garantendo che il vero risultato sia contenuto nell'insieme con probabilità almeno $1-\alpha$), senza assumere distribuzioni specifiche.

Tuttavia, mentre per la regressione univariata esistono metodi consolidati (come la regressione quantilica), l'estensione alla regressione multivariata (dove la risposta $Y$ è un vettore) presenta sfide significative:

• I metodi semplici (es. prodotto cartesiano di intervalli marginali) ignorano le dipendenze tra le dimensioni, portando a insiemi predittivi eccessivamente conservativi e inefficienti.
• I metodi strutturati (es. ellissoidi basati sulla covarianza empirica) assumono simmetria ellittica, limitando l'adattabilità a distribuzioni complesse o asimmetriche.
• I metodi flessibili (es. basati su copule o stime di densità) sono spesso computazionalmente costosi in alta dimensionalità e non ottimizzano esplicitamente il volume dell'insieme predittivo, risultando in regioni di previsione inutilmente grandi.

L'obiettivo è quindi sviluppare un framework che costruisca insiemi predittivi multivariati che siano validi (copertura garantita), adattivi alla distribuzione dei residui e minimizzino il volume per massimizzare l'informazione.

2. Metodologia

Gli autori propongono un framework basato sull'ottimizzazione che integra la conformal prediction con la minimizzazione del volume geometrico.

A. Insiemi di Copertura a Volume Minimo (MVCS)
Il cuore del metodo è la risoluzione di un problema di ottimizzazione per trovare l'insieme di volume minimo che contiene una frazione $1-\alpha$ di un dato set di punti in $\mathbb{R}^k$.

• Formulazione: Si definiscono insiemi basati su norme arbitrarie: $B(\|\cdot\|, M, \mu) = \{y \in \mathbb{R}^k \mid \|M(y-\mu)\| \le 1\}$.
• Ottimizzazione: Si ottimizzano la matrice di forma $M$ (che determina l'orientamento e l'allungamento), il centro $\mu$ e, in modo innovativo, il parametro della norma $p$ (dove $\|\cdot\|_p$).
• Riformulazione DC: Il problema è intrinsecamente non convesso a causa del vincolo di cardinalità (numero di punti inclusi). Gli autori lo riformulano come un problema Difference-of-Convex (DC), permettendo l'uso di algoritmi efficienti come il Difference-of-Convex Algorithm (DCA) o rilassamenti convessi.
• Norme Adattive:
  • Single-norm: Si apprende un unico parametro $p$ ottimale per l'intero spazio, permettendo all'insieme di adattarsi alla geometria dei dati (es. forme allungate per $p<2$, rettangolari per $p \to \infty$).
  • Multi-norm: Lo spazio viene partizionato in regioni (es. ottanti), ciascuna con la propria norma $p_j$, permettendo di catturare strutture di incertezza asimmetriche e locali.

B. Apprendimento Supervisionato e Adattività Locale
Il framework viene esteso alla regressione supervisionata:

• Ottimizzazione Congiunta: Invece di addestrare un modello predittivo $f_\theta$ e poi costruire l'insieme sui residui, si ottimizza congiuntamente il modello $f_\theta$ e i parametri dell'insieme di incertezza. Questo allinea la funzione predittiva con il criterio di volume minimo.
• Adattività Locale: Per gestire l'eteroschedasticità (varianza dell'errore che dipende dalle covariate $X$), si introduce una trasformazione locale $M(x)$. L'insieme predittivo diventa $C(x) = f_\theta(x) + B(p, M(x), 0)$, dove $M(x)$ è appresa tramite una rete neurale che mappa le caratteristiche $x$ in una matrice di trasformazione.

C. Conformalizzazione
Per garantire la validità a campione finito su dati non visti:

1. Si divide il dataset in set di addestramento e calibrazione.
2. Si addestra il modello e si apprendono le trasformazioni $M(x)$ sul set di addestramento.
3. Si calcolano i nonconformity scores $s(x, y) = \|M(x)(y - f_\theta(x))\|_p$ sul set di calibrazione.
4. Si determina una soglia empirica (quantile) per scalare l'insieme, garantendo la copertura marginale $1-\alpha$.

3. Contributi Chiave

1. MVCS Generali: Introduzione di un framework di ottimizzazione per insiemi di volume minimo che supporta norme arbitrarie (singole o multiple) e si adatta alla geometria dei dati, superando le limitazioni delle forme ellittiche fisse.
2. Apprendimento Supervisionato Integrato: Un nuovo schema di ottimizzazione che apprende simultaneamente il modello predittivo, la struttura della norma e la trasformazione di incertezza, massimizzando l'efficienza dell'insieme predittivo.
3. Garanzie di Copertura: Integrazione del framework con la conformal prediction per ottenere garanzie di copertura finite senza assumere distribuzioni sottostanti, mantenendo la forma adattiva appresa.
4. Efficienza Computazionale: Sviluppo di strategie di ottimizzazione di primo ordine (gradient descent) e algoritmi DC che rendono il metodo scalabile e applicabile a dataset reali.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset sintetici e nove dataset reali di benchmark per la regressione multivariata.

• Performance su Dati Sintetici: Il metodo (MVCS) ha dimostrato di produrre insiemi predittivi con volume medio significativamente inferiore rispetto a baseline come la regressione quantilica (Naïve QR), la covarianza empirica globale e locale, mantenendo la copertura target (es. 90% o 99%).
• Robustezza agli Outlier: Il metodo si è mostrato robusto alla presenza di valori anomali, a differenza dei metodi basati su quantili che tendono a espandersi eccessivamente in presenza di contaminazione.
• Dati Reali: Su 18 esperimenti (9 dataset x 2 livelli di copertura), il metodo MVCS ha ottenuto il volume medio più basso in 16 casi, mantenendo la copertura desiderata.
• Adattività: Le visualizzazioni mostrano che il metodo apprende forme di predizione complesse (non solo ellissoidi) che si adattano alla distribuzione dei residui, cambiando forma in base alle caratteristiche di input (eteroschedasticità).

5. Significato e Impatto

Questo lavoro rappresenta un avanzamento significativo nella quantificazione dell'incertezza multivariata:

• Efficienza: Risolve il compromesso tra validità e efficienza, fornendo insiemi predittivi molto più compatti e informativi rispetto ai metodi attuali.
• Flessibilità Geometrica: Rimuove l'ipotesi restrittiva di simmetria ellittica, permettendo di modellare distribuzioni di errore complesse, asimmetriche e multimodali.
• Scalabilità: Offre un approccio basato sull'ottimizzazione che è computazionalmente efficiente e può essere integrato con modelli di deep learning moderni.
• Applicabilità: Il framework è generale e può essere applicato a vari scenari di regressione, offrendo una soluzione pratica per problemi dove la precisione dell'intervallo di confidenza è critica (es. finanza, controllo di processo, robotica).

In sintesi, gli autori hanno colmato il divario tra la teoria della conformal prediction e l'ottimizzazione geometrica, creando uno strumento potente per la previsione multivariata che è sia teoricamente solido che praticamente superiore.