Sintesi Tecnica: Sistemi Predittivi Conformi Generalizzati sotto Shift Distribuzionali

1. Definizione del Probleamento

I sistemi di machine learning impiegati in contesti decisionali richiedono non solo previsioni puntuali accurate, ma anche una quantificazione dell'incertezza statisticamente affidabile. Nello specifico, le distribuzioni predittive devono essere calibrate, ovvero le probabilità previste dovrebbero corrispondere alle frequenze empiriche, e gli intervalli di previsione dovrebbero raggiungere la copertura target.

Un ostacolo primario al raggiungimento della calibrazione out-of-sample è lo shift distribuzionale. I metodi classici di predizione conforme si basano sull'assunzione di scambiabilità (che i punti dati siano identicamente distribuiti e indipendenti dall'ordine). Questa assunzione viene regolarmente violata nella pratica da:

• Shift dei covariate (cambiamenti nella distribuzione degli input).
• Shift delle etichette (label shift).
• Drift temporale.
• Raccolta dati adattiva o guidata dal feedback (ad esempio, nel design biomolecolare).

Mentre il lavoro precedente ha esteso i Sistemi Predittivi Conformi (CPS) a specifici regimi di shift (ad esempio, covariate shift noto tramite rapporti di verosimiglianza), mancava un framework generale per i Sistemi Predittivi Conformi Generalizzati (GCPS) che gestisca shift distribuzionali arbitrari tenendo conto dell'incertezza nella stima dei pesi di shift. La sfida centrale consiste nel costruire involucri predittivi (insiemi di Funzioni di Distribuzione Cumulata, CDF) che rimangano validi e calibrati anche quando il punto di test è estratto da una distribuzione diversa dai dati di addestramento, e quando i pesi che correggono tale shift sono stimati anziché noti.

2. Metodologia

2.1. Framework Teorico: Pesi di Permutazione

Gli autori estendono i GCPS a scenari non scambiabili modellando gli effetti di ordinamento attraverso pesi di permutazione. Invece di assumere che il punto di test $Z_{n+1}$ sia scambiabile con l'insieme di addestramento $\{Z_1, \dots, Z_n\}$, il metodo condiziona sull'insieme non ordinato di atomi osservati. L'identità del punto di test tra questi atomi è modellata come un prelievo pesato con probabilità $w_i$.

• Legge Empirica Pesata: Per un valore di risposta candidato $y'$, il metodo costruisce una misura osservata pesata $\mu_{obs}$ e una misura ipotetica completa $\tilde{\mu}$ che incorpora il punto di test con il suo peso realizzato $w_{n+1}$.
• Involucri Sensibili allo Shift: Il sistema predittivo è costruito inserendo l'atomo di test con il suo specifico peso nel set di calibrazione. Il Teorema 1 stabilisce che se la procedura di regressione distribuzionale $G$ è calibrata in-sample (probabilistica, isotonica o auto-calibrata), il sistema predittivo risultante $\Pi[X_{n+1}]$ contiene una CDF predittiva calibrata per $Y_{n+1}$ sotto la vera legge (potenzialmente non scambiabile).

2.2. Gestione dell'Incertezza del Peso

Nella pratica, i pesi di shift sono raramente noti e devono essere stimati (ad esempio, tramite rapporti di densità), introducendo incertezza epistemica. Per affrontare questo problema, gli autori introducono scatole di incertezza del peso (weight-uncertainty boxes):

• Definizione: Una scatola moltiplicativa per componente attorno ai pesi stimati $\hat{w}_i$, definita come $L_i \hat{w}_i \leq w_i^* \leq U_i \hat{w}_i$.
• Regione di Confidenza: Questa scatola $WWU_\alpha$ è trattata come una regione di confidenza $(1-\alpha)$ per i veri pesi.
• Involucri Robusti: Il metodo costruisce involucri di CDF robusti rispetto al peso ottimizzando i limiti del sistema predittivo su tutti i vettori di peso all'interno della scatola di incertezza. Ciò produce un insieme di CDF che garantisce il contenimento di una distribuzione calibrata con probabilità almeno $1-\alpha$, anche se i pesi sono errati all'interno della scatola.

2.3. Computazione Efficiente

Il paper deriva regole di computazione efficienti per tre istanze specifiche di $G$, evitando la necessità di un'indagine esaustiva (sweep) su tutti i valori candidati $y'$:

1. Conformal Binning (CBIN): Utilizza CDF empiriche pesate all'interno di bin. Gli involucri robusti hanno espressioni in forma chiusa derivate spingendo gli atomi con $Y_i \leq y$ verso i loro limiti di peso superiori e quelli con $Y_i > y$ verso i loro limiti inferiori.
2. Conformity-Measure CPS (CMCPS): Applica la stessa logica di CBIN ma opera su punteggi di conformità invece che su risultati grezzi.
3. Conformal Isotonic Distributional Regression (CIDR): Utilizza la regressione antitonica. Gli involucri robusti sono calcolati eseguendo la routine di regressione isotonica (PAVA) due volte: una volta con i pesi impostati sui loro limiti superiori e una volta sui limiti inferiori, a seconda dei valori degli indicatori.

3. Contributi Chiave

Il paper apporta tre contributi primari:

1. Estensione alla Non-Scambiabilità: Estende i GCPS a sequenze non scambiabili codificando le deviazioni dalla scambiabilità tramite pesi di permutazione, costruendo involucri predittivi sensibili allo shift che rimangono validi sotto shift distribuzionali arbitrari.
2. Robustezza all'Incertezza del Peso: Sviluppa sistemi predittivi robusti basati su scatole di incertezza del peso. Questi forniscono garanzie di confidenza a campione finito o asintotiche che l'involucro contenga una CDF predittiva calibrata, con lo spessore dell'involucro che riflette sia l'incertezza del campione finito che la misspecificazione del peso.
3. Algoritmi Efficienti e Validazione Empirica: Fornisce regole di valutazione efficienti e forme chiuse per CBIN, CMCPS e CIDR. Dimostra empiricamente che il weighting sensibile allo shift migliora le prestazioni predittive e preserva la calibrazione sotto feedback covariate shift, mentre la larghezza della banda quantifica efficacemente l'incertezza epistemica.

4. Risultati Sperimentali

4.1. Covariate Shift Sintetico

Gli esperimenti sono stati condotti su un compito di regressione a 5 dimensioni con covariate shift.

• Calibrazione: I metodi non pesati hanno sottostimato significativamente la copertura (copertura $\approx 0.83-0.88$ rispetto al nominale $0.90$).
• Metodi Pesati: Il weighting oracle e quello stimato hanno ripristinato la copertura a livelli quasi nominali ($\approx 0.91-0.93$).
• Propagazione dell'Incertezza: Il metodo "Estimated CI weighting" (utilizzando la scatola di incertezza) è stato il più conservativo, raggiungendo una copertura fino a $\approx 0.97$. Ciò è avvenuto al costo di un CRPS (Continuous Ranked Probability Score) leggermente più alto e bande più larghe, riflettendo correttamente l'aggiunta di incertezza epistemica derivante dalla stima dei pesi.
• Dimensione del Campione: All'aumentare delle dimensioni del campione di addestramento e di calibrazione, le bande conformi si sono ristrette, indicando una riduzione dell'incertezza epistemica.

4.2. Design Biomolecolare Guidato dal Feedback (Capsidi AAV)

Il metodo è stato applicato al design del packaging dei capsidi del virus dell'adeno-associato (AAV), uno scenario che coinvolge il Feedback Covariate Shift (FCS) dove le distribuzioni di test sono progettate in base alle predizioni del modello.

• Setup: Le distribuzioni di test sono state generate con vari parametri di "temperatura inversa" ($\lambda$), spostando la massa verso sequenze con alta fitness di packaging predetta.
• Performance: Il weighting per importanza ha ripristinato una copertura quasi nominale attraverso l'intervallo di shift rispetto alle varianti non pesate.
• Shift Estremi: Allo shift più estremo ($\lambda=7$), i metodi pesati hanno mostrato un CRPS leggermente peggiore e bande più larghe, coerentemente con un collasso della dimensione effettiva del campione e un aumento dell'incertezza epistemica.
• Affidabilità: Le procedure pesate hanno mantenuto una buona calibrazione per esiti rari e di alto valore (eventi estremi), confermando la loro utilità in contesti di design ad alto rischio.

5. Significato e Rivendicazioni

Il paper sostiene di aver stabilito la prima garanzia di calibrazione out-of-sample per i predittori di tipo Venn-Abers (un caso speciale di conformal IDR) sotto shift distribuzionali e incertezza del peso all'interno di un framework unificato di sistemi predittivi.

Gli autori sottolineano che la larghezza della banda predittiva è una metrica informativa dell'incertezza epistemica. Nel loro setting sensibile allo shift, la larghezza della banda cattura sia l'incertezza nell'apprendimento della distribuzione condizionale $Y|X$ sia l'incertezza nella stima dei pesi di shift. Ciò consente ai professionisti di:

• Riportare una singola previsione rappresentativa per l'uso ordinario.
• Riportare simultaneamente i limiti impliciti dalla banda su quantità rilevanti per le decisioni (ad esempio, rischi di coda) per garantire che le decisioni siano robuste all'incertezza epistemica.

Il lavoro posiziona i GCPS non semplicemente come un wrapper per i punteggi di conformità, ma come un framework di calibrazione flessibile che può avvolgere qualsiasi procedura di regressione distribuzionale calibrata in-sample, estendendone la validità ben oltre l'assunzione di scambiabilità.

6. Limitazioni

Gli autori notano due specifiche avvertenze:

1. Regioni di Confidenza Congiunte: Il Teorema 2 richiede che la scatola di incertezza del peso sia una regione di confidenza congiunta valida per i veri pesi. Negli esperimenti, questa è stata costruita asintoticamente tramite un modello di propensione stimato.
2. Active Set Fissi: Le forme chiuse degli involucri per CBIN e CIDR assumono che l'active set (per il binning) o l'ordinamento (per l'IDR) sia fisso attraverso la scatola di incertezza. Ciò restringe le scelte di binning e ordinamento a quelle definite prima del weighting.