Multivariate Standardized Residuals for Conformal Prediction

Sintesi Tecnica: Residui Standardizzati Multivariati per la Predizione Conformale

Enunciato del Problema
La predizione conformale offre un framework agnostico rispetto al modello per costruire insiemi predittivi con copertura marginale garantita su campioni finiti. Tuttavia, una limitazione significativa è la difficoltà di ottenere una copertura condizionale, dove la validità vale per specifici input osservati e non solo in media. Ciò è particolarmente critico in contesti eteroschedastici, dove l'incertezza predittiva varia in base alle caratteristiche di input. Gli approcci esistenti presentano compromessi:

• Metodi univariati: Tecniche come i "residui standardizzati" (normalizzando gli errori per la varianza locale) migliorano la copertura condizionale nella regressione univariata, ma non si estendono naturalmente a output multivariati.
• Stima della densità multivariata: Metodi che stimano l'intera densità condizionale possono produrre insiemi validi, ma sono computazionalmente costosi, spesso richiedono campionamento e faticano a gestire la "maledizione della dimensionalità".
• Metodi a forma fissa: Approcci che producono insiemi di dimensione fissa o non adattivi non riescono a catturare l'incertezza dipendente dall'input.
• Metodi basati su campionamento: Strategie recenti per migliorare la copertura condizionale introducono spesso casualità e variabilità per input identici, minando la riproducibilità.

Metodologia
Gli autori propongono un framework che estende il concetto di residui standardizzati al contesto multivariato. L'idea centrale è apprendere una matrice di covarianza locale dipendente dalle caratteristiche per "sbiancare" i residui, disaccoppiando efficacemente le correlazioni tra output e standardizzando la varianza locale.

1. Modellazione: Dato un vettore di caratteristiche $X$ e una risposta multivariata $Y \in \mathbb{R}^k$, il metodo apprende due funzioni:

   • Un predittore $f_\theta(X)$ che stima la media condizionale $\mathbb{E}[Y|X]$.
   • Un estimatore di covarianza $\Sigma_\varphi(X)$ che stima la matrice di covarianza condizionale.
     Queste possono essere apprese congiuntamente tramite massima verosimiglianza (assumendo un'approssimazione gaussiana) o applicate sopra un predittore puntuale preesistente di tipo "scatola nera".

2. Punteggio di non-conformità: Il metodo definisce un punteggio di non-conformità basato sulla distanza di Mahalanobis:
   $$S_{\text{Mah}}(X, Y) = \|\Sigma_\varphi(X)^{-1/2}(Y - f_\theta(X))\|_2$$
   Questo punteggio misura la distanza di un residuo dalla media, scalata dalla struttura di covarianza locale.

3. Insiemi Conformali: L'insieme predittivo risultante $C_\alpha(X_{\text{test}})$ è un ellissoide centrato in $f_\theta(X_{\text{test}})$, con forma e dimensione determinate da $\Sigma_\varphi(X_{\text{test}})$ e da una soglia derivata dall'insieme di calibrazione. Ciò permette all'insieme di adattarsi all'eteroschedasticità.

4. Estensioni: Il framework supporta naturalmente diverse estensioni pratiche:

   • Output Mancanti: Marginalizzando la densità gaussiana sulle dimensioni osservate e utilizzando la funzione di distribuzione cumulativa (CDF) del Chi-quadro, il metodo costruisce punteggi validi anche quando i dati di calibrazione presentano valori mancanti.
   • Output Parzialmente Rivelati: Se una parte dell'output $Y_r$ è rivelata al momento del test, il metodo utilizza le proprietà gaussiane condizionali per affinare l'insieme predittivo per la parte nascosta $Y_h$ senza riaddestramento.
   • Trasformazioni dell'Output: Per trasformazioni lineari dell'output (ad esempio, rendimenti di portafoglio), il metodo costruisce insiemi conformali direttamente sulle variabili trasformate utilizzando media e covarianza trasformate, evitando la conservatività del proiettare insiemi esistenti.

Garanzie Teoriche
Il documento stabilisce una condizione sufficiente affinché il metodo raggiunga una copertura condizionale asintotica. Nello specifico, se il residuo standardizzato $U = \Sigma(X)^{-1/2}(Y - f(X))$ è indipendente da $X$, il metodo produce una copertura condizionale esatta asintoticamente. Questa condizione vale per una vasta classe di distribuzioni, incluse le distribuzioni ellittiche, ma non richiede strettamente che il rumore sia ellittico. Anche quando questa indipendenza non vale, il metodo dimostra di migliorare la copertura condizionale normalizzando i primi due momenti dei residui.

Contributi Chiave

• Estensione Multivariata: Una generalizzazione naturale dei residui standardizzati alla regressione multivariata utilizzando una matrice di covarianza locale appresa.
• Efficienza in Forma Chiusa: A differenza dei metodi basati sulla densità che richiedono campionamento, questo approccio produce insiemi conformali in forma chiusa, rendendolo computazionalmente efficiente al momento dell'inferenza.
• Caratterizzazione Teorica: Una condizione sufficiente che caratterizza le distribuzioni per le quali i residui standardizzati producono copertura condizionale asintotica.
• Flessibilità Pratica: Il framework permette di gestire output di calibrazione mancanti, affinare gli insiemi in caso di rivelazione parziale degli output e costruire insiemi validi per trasformazioni dell'output.

Risultati Sperimentali
Gli autori valutano il metodo su dataset sintetici e reali (ad esempio Bias, CASP, House, rf1, scm1d, Taxi) confrontandolo con baseline tra cui HPD (basato sulla densità), C-PCP, L-CP, ECM (covarianza empirica) e OT (trasporto ottimo).

• Copertura Condizionale: Il metodo raggiunge una copertura condizionale più vicina al livello target (ad esempio, 90%) rispetto alle baseline multivariate esistenti, superando in particolare i metodi "solo marginali" che sovrastimano la copertura in alcune regioni per compensare la sottostima altrove.
• Dimensione dell'Insieme: Il metodo produce insiemi conformali più compatti (volume minore) rispetto ai metodi basati sulla densità, mantenendo la copertura.
• Efficienza Computazionale: Il metodo è significativamente più veloce degli approcci basati sulla densità (HPD, PCP, C-PCP), che spesso richiedono costosi campionamenti Monte Carlo. Ad esempio, valutare la copertura per 1.000 punti richiede tempo trascurabile rispetto ai centinaia o migliaia di secondi richiesti dalle baseline.
• Robustezza: Il metodo performa bene anche quando l'assunzione gaussiana sottostante è specificata in modo errato (ad esempio, con rumore esponenziale), suggerendo una robustezza oltre le assunzioni teoriche.

Significato e Affermazioni
Il documento afferma che questo approccio costituisce un "passo incoraggiante" verso l'obiettivo di una copertura condizionale affidabile sotto assunzioni minime. Evitando la necessità di una stima completa della densità condizionale, il metodo offre un'alternativa computazionalmente trattabile e robusta che bilancia il compromesso tra le garanzie rigorose della copertura marginale e l'adattabilità della copertura condizionale. Gli autori sottolineano che, sebbene una copertura condizionale rigorosa non possa essere garantita per tutte le distribuzioni, il metodo la raggiunge asintoticamente per una vasta classe e fornisce una copertura approssimata robusta nella pratica. La capacità di gestire valori mancanti e di affinare le previsioni con informazioni parziali estende ulteriormente l'applicabilità della predizione conformale a scenari reali dove i dati sono spesso incompleti o parzialmente osservati.