Conformalised imprecise inference for robust extrapolation under limited data

Sintesi Tecnica: Inferenza Imprecisa Conformalizzata per l'Estrapolazione Robusta in Condizioni di Dati Limitati

Enunciazione del Problema
I sistemi di apprendimento automatico affrontano sfide significative quando generalizzano oltre il dominio di addestramento, in particolare in contesti caratterizzati da dati limitati e spostamenti distribuzionali (estrapolazione). Sebbene i recenti progressi nella quantificazione dell'incertezza (UQ) abbiano distinto tra incertezza aleatoria (irriducibile) e incertezza epistemica (basata sul modello), i metodi esistenti spesso mancano di garanzie rigorose quando applicati a dati fuori distribuzione (OOD). Gli approcci probabilistici standard falliscono frequentemente nel mantenere la copertura nei regimi di estrapolazione, portando a previsioni eccessivamente confidenti e inaffidabili. Il problema centrale affrontato è la necessità di un quadro unificato che fornisca garanzie statistiche rigorose per la generalizzazione, tenendo esplicitamente conto della scarsità dei dati e della deviazione degli input di test rispetto alla varietà di addestramento.

Metodologia
Gli autori propongono un quadro di Inferenza Imprecisa Conformalizzata (CII), un approccio agnostico rispetto al modello che integra la consapevolezza della distanza con rappresentazioni di probabilità imprecisa (nello specifico, le scatole di probabilità, o p-box). La metodologia procede attraverso quattro fasi chiave:

1. Calibrazione Consapevole della Distanza:
   Il quadro utilizza un punteggio di distanza scalare, $r(x)$, definito come la distanza di Mahalanobis tra un input di test e la distribuzione dei dati di addestramento. Questo punteggio caratterizza la deviazione di un punto di test rispetto alla varietà dei dati di addestramento. Un sottoinsieme di calibrazione viene utilizzato per costruire un modello predittore di intervalli (IPM) che mappa questo punteggio di distanza in un intervallo di discrepanza $[d, \bar{d}]$. Questo modello è addestrato per caratterizzare rigorosamente l'intervallo delle discrepanze per input non visti, in particolare nelle regioni di confine.

2. Regolazione della Discrepanza Dipendente dalla Distanza:
   Viene applicata una nuova regola di aggiustamento ai punteggi conformali basata sulla distanza $r(x)$. All'interno del supporto di addestramento ($r(x) \leq r_0$), il metodo mantiene limiti orientati all'accuratezza. Tuttavia, per i regimi di estrapolazione ($r(x) > r_0$), il metodo adatta l'incertezza selezionando il limite superiore dell'intervallo di discrepanza. Ciò garantisce che l'incertezza si espanda man mano che gli input si allontanano dai dati di addestramento, colmando il divario tra la previsione conforme e lo spostamento distribuzionale senza richiedere una modellazione esplicita della distribuzione di test.

3. Costruzione dei Limiti "AsCloseAs":
   Per generare la previsione finale, il quadro recupera l'insieme di tutte le distribuzioni di probabilità all'interno della metrica dell'area calcolata (interpretata come una distanza di Wasserstein) partendo dall'ipotesi di base. Ciò viene ottenuto risolvendo un problema di ottimizzazione per trovare i limiti "ascloseas" (le funzioni di distribuzione cumulativa superiore e inferiore più strette) che racchiudono la previsione di base soddisfacendo il budget di discrepanza. Ciò risulta in una previsione di p-box conformalizzata, $C(x^*) = [G(x), \bar{G}(x)]$, che rappresenta un insieme credale di possibili previsioni.

4. Gestione delle Osservazioni Imprecise:
   Il quadro è progettato per gestire l'"incertezza polimorfa", dove le osservazioni possono essere precise, intervalli o distribuzioni. Impiega una metrica dell'area stocastica per calcolare la discrepanza tra la p-box predittiva e la p-box dell'osservazione empirica, consentendo un trattamento unificato dell'incertezza di misurazione e dell'incertezza del modello.

Contributi Chiave

• Un Quadro Unificato per l'Estrapolazione: Il documento introduce un quadro di inferenza imprecisa conformalizzata che è agnostico rispetto al modello predittivo sottostante (ad esempio, reti neurali bayesiane, ensemble) ma li potenzia con garanzie di copertura rigorose in caso di spostamento distribuzionale.
• Inflazione Adattiva dell'Incertezza: A differenza della previsione conforme standard che assume l'scambiabilità, la CII differenzia esplicitamente tra dati in distribuzione (ID) e dati OOD. Utilizza un meccanismo dipendente dalla distanza per espandere adattivamente i limiti di incertezza nei regimi di estrapolazione, garantendo la validità laddove i metodi tradizionali falliscono.
• Rappresentazione della Probabilità Imprecisa: Il metodo produce scatole di probabilità (p-box) anziché stime puntuali o singole distribuzioni. Questa struttura confonde naturalmente le incertezze aleatorie ed epistemiche, fornendo un modo principiato per rappresentare il "livello di ignoranza" attraverso l'ampiezza dei limiti.
• Metriche di Valutazione Rigorose: Gli autori propongono e utilizzano metriche specifiche per la valutazione, inclusa la copertura stratificata per distanza (per valutare la validità attraverso lo spettro delle distanze), l'ampiezza predittiva scalata per quantile (per misurare l'imprecisione indipendentemente dalla scala) e l'accuratezza raggruppata tramite u-pooling.

Risultati Sperimentali
Gli autori hanno valutato la CII su dati sintetici (regressione di funzione cubica) e su molteplici benchmark di regressione UCI (ad esempio, Boston, Concrete, Energy, Naval Propulsion) sotto diverse proporzioni di dati ($\epsilon$) e spostamenti distribuzionali.

• Copertura e Validità: In contesti di estrapolazione (OOD), la CII ha raggiunto costantemente una copertura empirica perfetta o quasi perfetta ($\xi \approx 1.0$), mentre i metodi di base come la Miscela di Gaussiane (MoG) e la Stima Media-Varianza (MVE) hanno subito un significativo degrado della copertura.
• Robustezza ai Dati Limitati: Man mano che la proporzione di dati di addestramento diminuiva, la CII manteneva un'alta copertura mentre aumentava adattivamente l'ampiezza predittiva ($\gamma_n$). Ciò ha dimostrato la capacità del metodo di codificare l'aumentata incertezza epistemica associata alla scarsità dei dati.
• Prestazioni Stratificate per Distanza: L'analisi ha mostrato che, mentre la copertura rimaneva stabile attraverso diversi bin di distanza, l'ampiezza predittiva aumentava sistematicamente con il punteggio di distanza $r(x)$. Ciò conferma la capacità del metodo di modulare l'incertezza in base al grado di estrapolazione.
• Confronto: Nei confronti tra dataset a proporzioni di dati fisse, la CII ha preservato uniformemente la copertura mentre le linee di base non sono riuscite a mantenere la validità sotto spostamento distribuzionale. La CII ha inoltre dimostrato un errore di calibrazione raggruppato ($d_p$) inferiore rispetto alle linee di base.

Significato e Affermazioni
Il documento afferma che il quadro CII fornisce un meccanismo principiato per colmare il divario tra previsione conforme e spostamento distribuzionale, offrendo garanzie rigorose per la generalizzazione anche con dati limitati. Sfruttando la consapevolezza della distanza e la probabilità imprecisa, il metodo garantisce che le previsioni rimangano valide (coprendo la verità fondamentale) mentre adattano l'espansione dell'incertezza per riflettere l'aumentato rischio di estrapolazione. Gli autori sottolineano che questo approccio evita la necessità di una modellazione esplicita della distribuzione di test, rendendolo una soluzione robusta per contesti ad alto rischio dove l'eccessiva sicurezza è pericolosa. Il lavoro evidenzia l'importanza di incorporare la consapevolezza distribuzionale direttamente nella geometria degli insiemi predittivi per gestire efficacemente l'incertezza epistemica. Si nota che il lavoro futuro esplorerà estensioni per gestire l'incertezza di misurazione in modo più rigoroso e migliorare la scalabilità.