Sintesi Tecnica: Predizione Conforme Multi-Distribuzione (Multi-Distribution Robust Conformal Prediction)

Definizione del Problema

Il documento affronta la sfida di costruire set di predizione che mantengano garanzie di copertura valide quando i dati di test possono originare da un membro arbitrario o da una miscela di $K$ distribuzioni sorgente eterogenee. In molti scenari reali — come la previsione del rischio clinico tra diversi ospedali, l'equità (fairness) tra gruppi protetti senza osservare le etichette di gruppo, o l'apprendimento multi-sorgente — la distribuzione di test è sconosciuta e può differire significativamente dalla distribuzione di addestramento.

La predizione conforme standard, quando calibrata su dati aggregati, garantisce la copertura solo per la specifica distribuzione di miscela indotta dal campione di addestramento. Viceversa, la calibrazione su una singola sorgente non garantisce la copertura quando il punto di test proviene da una sorgente differente. Gli autori formalizzano l'obiettivo come la costruzione di un singolo set di predizione $\hat{C}(X_{n+1})$ che ottenga una copertura uniforme:
$$\min_{k \in [K]} \mathbb{P}_{D \times P^{(k)}} \left( Y_{n+1} \in \hat{C}(X_{n+1}) \right) \ge 1 - \alpha$$
Ciò assicura che la garanzia di copertura sia valida simultaneamente per tutte le possibili distribuzioni sorgente, indipendentemente da quale di esse abbia generato il punto di test.

Metodologia: Predizione Conforme Multi-Distribuzione (MDCP)

Il framework proposto, MDCP, consiste in due componenti principali: un meccanismo di validità e una strategia di ottimizzazione dell'efficienza.

1. Aggregazione Max-p per la Validità

La base del metodo è uno schema di aggregazione privo di distribuzione (distribution-free).

• P-value a Singola Sorgente: Per ogni sorgente $k$, viene calcolato un punteggio di conformità $s_k$. Un p-value conforme $p^{(k)}(y)$ viene derivato per un candidato label $y$ basandosi sul fold di calibrazione della sorgente $k$.
• Aggregazione: Il metodo aggrega questi p-value calcolando il loro massimo: $p(y) = \max_{k \in [K]} p^{(k)}(y)$.
• Set di Predizione: Il set di predizione finale è l'insieme dei label dove il p-value aggregato supera il livello di significatività $\alpha$: $\hat{C}(X) = \{ y : p(y) \ge \alpha \}$.
• Garanzia Teorica: Gli autori dimostrano che questo set aggregato è esattamente l'unione dei set conformi a singola sorgente. Di conseguenza, fornisce una validità uniforme a campione finito per qualsiasi miscela delle distribuzioni sorgente, senza richiedere la conoscenza della sorgente del punto di test.

2. Ottimizzazione dell'Efficienza tramite Formulazione Duale

Sebbene l'aggregazione max-p assicuri la validità, l'applicazione ingenua di essa agli standard punteggi a singola sorgente spesso risulta in set di predizione eccessivamente conservativi (ampi). Per affrontare questo problema, il documento deriva il set di predizione ottimale a livello di popolazione che minimizza la dimensione soggetto a vincoli di copertura uniforme.

• Punteggio Ottimale: Gli autori mostrano che il set di predizione ottimale corrisponde al superlivello di un punteggio di conformità "condiviso" $h^*(x, y) = \sum_{k=1}^K \lambda_k^*(x) f_k(y|x)$, dove $f_k$ è la densità condizionale della sorgente $k$ e $\lambda_k^*(x)$ sono pesi duali non negativi.
• Apprendimento dei Pesi: I pesi $\lambda_k^*(x)$ sono determinati risolvendo un problema di ottimizzazione duale che bilancia i vincoli di copertura tra le sorgenti.
• Algoritmo Empirico: Il documento propone una procedura end-to-end per apprendere questi pesi:
  1. Adattare modelli di densità condizionale (o classificatori) per ogni sorgente e un modello aggregato.
  2. Parametrizzare le funzioni di peso $\lambda_k(x)$ (ad esempio, utilizzando spline o reti neurali).
  3. Ottimizzare un obiettivo duale empirico (derivato dal Lagrangiano del problema di popolazione) per apprendere i parametri $\hat{\Theta}$.
  4. Costruire il set MDCP finale utilizzando i punteggi appresi e l'aggregazione max-p.

Contributi Chiave

1. Schema di Aggregazione Max-p Generale: Introduzione di un meccanismo semplice e privo di distribuzione che ottiene una copertura uniforme a campione finito attraverso molteplici sorgenti eterogenee, aggregando i p-value conformi a singola sorgente.
2. Caratterizzazione dell'Ottimalità: Derivazione teorica dei set di predizione ottimali a livello di popolazione sotto vincoli di copertura uniforme. Gli autori dimostrano che l'aggregazione max-p è asintoticamente ottimale e stringente quando accoppiata con i punteggi di conformità correttamente appresi (specificamente, l'ottimale punteggio condiviso $h^*$).
3. Algoritmo End-to-End: Una pipeline pratica per apprendere gli ottimali punteggi di conformità sia per compiti di classificazione che di regressione, utilizzando la minimizzazione del rischio empirico su un obiettivo duale.
4. Validazione Empirica: Esperimenti estesi che dimostrano come MDCP ottenga una copertura nel caso peggiore (worst-case) compatibile con il livello nominale ($1-\alpha$) riducendo significativamente le dimensioni dei set di predizione rispetto ai baseline di aggregazione ingenua.

Risultati

Il documento valuta MDCP su dati sintetici e tre dataset del mondo reale:

• Esperimenti Sintetici: Attraverso impostazioni lineari, non lineari e di variazione di temperatura (eterogeneità) sia per la classificazione che per la regressione, MDCP mantiene costantemente una copertura nel caso peggiore vicina al livello nominale ($1-\alpha$). Al contrario, i baseline a singola sorgente soffrono di sottocopertura sui dati spostati (shifted), e l'aggregazione ingenua (BASELINE-AGG) è eccessivamente conservativa. MDCP riduce le dimensioni dei set di predizione di circa il 34% nella classificazione e del 22% nella regressione rispetto all'aggregazione ingenua, avvicinandosi spesso all'efficienza di un oracle con accesso alle vere densità.
• Applicazioni nel Mondo Reale:
  • FMoW (Immagini Satellitari): Dimostra robustezza contro gli shift geografici attraverso sei regioni. MDCP fornisce una copertura valida in tutte le regioni con dimensioni dei set inferiori ad alcuni set a singola sorgente.
  • PovertyMap: Affronta gli shift urbano-rurali. MDCP mantiene una copertura stretta dove i metodi a singola sorgente falliscono (copertura bassa fino a 0.6) e l'aggregazione ingenua è troppo ampia.
  • MEPS (Spesa Medica): Gestisce l'eterogeneità tra gruppi sensibili (razza) senza richiedere le etichette di gruppo al momento dell'inferenza. MDCP ottiene una copertura equalizzata e intervalli più brevi rispetto ai baseline.

Significato e Rivendicazioni

Il documento sostiene che MDCP offra una soluzione robusta per la quantificazione dell'incertezza in ambienti eterogenei, colmando il divario tra robustezza distributiva ed equità (fairness).

• Equità senza Attributi Protetti: Il metodo consente garanzie di copertura condizionate al gruppo (assicurando l'affidabilità per tutti i sottogruppi) senza dover osservare l'attributo del gruppo sensibile al momento dell'inferenza, affrontando un limite critico nel machine learning equo.
• Protezione dallo Shift di Sottopopolazione: Fornisce garanzie contro arbitrarie variazioni di sottopopolazione, assicurando l'affidabilità anche quando la distribuzione di test è una miscela di sorgenti diverse da quella di addestramento.
• Trade-off Efficienza-Validità: Il lavoro dimostra che è possibile ottenere una validità uniforme senza le severe penalità di efficienza tipicamente associate alla robustezza nel caso peggiore, a condizione di apprendere un appropriato punteggio di conformità condiviso.

Gli autori posizionano MDCP come un'alternativa pratica alla predizione conforme standard in contesti multi-sorgente, offrendo garanzie esatte a campione finito e ottimalità asintotica sotto deboli condizioni di consistenza.