Conformal Bayes for Two-Sided Censored Gaussian Regression under Label Shift

Sintesi Tecnica: Conformal Bayes per la Regressione Gaussiana con Censura Bidirezionale sotto Label Shift

1. Definizione del Problema

Il documento affronta la sfida di costruire set di predizione validi per compiti di regressione in cui la variabile risposta è soggetta a censura bidirezionale e label shift.

• Censura Bidirezionale: Le risposte continue latenti $Y^*$ sono osservate come $\tilde{Y} = T(Y^*)$, dove i valori al di sotto di un limite inferiore $L$ sono registrati come $L$, i valori al di sopra di un limite superiore $U$ sono registrati come $U$, e i valori all'interno di $(L, U)$ sono osservati esattamente. Ciò crea uno spazio di osservazione misto $\{L\} \cup (L, U) \cup \{U\}$ con masse puntuali (atomi) ai confini e una densità continua nell'interno.
• Label Shift: La distribuzione marginale della risposta cambia tra l'ambiente di addestramento (source) e quello di deployment (target).
• La Difficoltà Centrale: La conformal prediction standard assume risposte continue. In questo contesto, la distribuzione osservata è un insieme misto di atomi discreti e densità continua. Inoltre, un label shift latente (un tilt esponenziale su $Y^*$ non osservato) non induce un semplice rapporto di densità sulla scala censurata osservata. Invece, lo shift induce pesi mediati sulle code agli atomi di confine e un normale rapporto di densità nell'interno. Questa discrepanza complica sia la calibrazione della copertura che la geometria dei set di predizione.

2. Metodologia

Il metodo proposto, Weighted Tilted Conformal Bayes (WT), combina la modellazione predittiva bayesiana con la calibrazione conforme pesata sullo spazio misto osservato.

A. Testa Predittiva Bayesiana
Gli autori utilizzano un modello Tobit Gaussiano a due lati con un'approssimazione posteriore di Laplace.

• Modello Latente: $Y^* | x \sim \mathcal{N}(\theta^\top \phi(x), \sigma^2_\epsilon)$.
• Posteriore: Approssimato come $\mathcal{N}(\hat{\theta}, \hat{\Sigma}_\theta)$ tramite approssimazione di Laplace al MAP.
• Distribuzione Predittiva: La distribuzione predittiva risultante per $\tilde{Y}$ osservato è una misura mista:
  $$dP_s(\tilde{y}|x) = \pi_L(x)\delta_L + f_s(\tilde{y}|x)\mathbb{1}_{(L,U)} + \pi_U(x)\delta_U$$
  dove $\pi_L, \pi_U$ sono le probabilità di censura delle code e $f_s$ è la densità gaussiana interna.

B. Pesi di Importanza nello Spazio Misto
Per correggere il label shift, il metodo definisce un peso di importanza nello spazio misto $w(\tilde{y}) = \frac{dP_t}{dP_s}(\tilde{y})$.

• Interno ($L < \tilde{y} < U$): Il peso è un ordinario rapporto di densità, modellato come un tilt esponenziale $w(\tilde{y}) \propto \exp(\beta \tilde{y})$.
• Atomi ($\tilde{y} = L$ o $U$): Il peso è il rapporto delle probabilità di censura marginali ($\rho_{t,L}/\rho_{s,L}$ e $\rho_{t,U}/\rho_{s,U}$).
• Insight Chiave: Un tilt esponenziale latente induce pesi mediati sulle code per gli atomi, che sono generalmente dipendenti dall'input. L'algoritmo pratico approssima questi valori con rapporti scalari marginali, una distinzione che il documento evidenzia esplicitamente come fonte di errore di approssimazione.

C. Tilted Predictive e Calibrazione
Il metodo distingue tra lo score (che determina la geometria del set) e il peso (che determina la validità della calibrazione).

1. Distribuzione Predittiva Tilted: La distribuzione predittiva sorgente è "tilted" dal rapporto di label osservato per allinearsi alla distribuzione target:
   $$p_t(\tilde{y}|x) \propto p_s(\tilde{y}|x) w(\tilde{y})$$
   Ciò produce una nuova distribuzione mista con un normalizzatore a tre termini in forma chiusa $Z(x)$, regolando sia la media interna che le masse degli atomi.
2. Score: Lo score conforme è il logaritmo negativo della densità della distribuzione predittiva tilted: $s(\tilde{y}) = -\log p_t(\tilde{y}|x)$.
3. Calibrazione: Un quantile conforme pesato viene calcolato utilizzando i dati sorgente, dove ogni campione è pesato dal rapporto marginale osservato nello spazio $w(\tilde{y})$.

D. Set di Predizione (Mixed-HDR)
Il set di predizione risultante è una Mixed Highest Density Region (HDR). È definito come il livello di densità della distribuzione mista tilted:
$$C(x) = \{ \tilde{y} : p_t(\tilde{y}|x) \geq \lambda^* \}$$
A causa della misura mista, questo set può assumere tre forme:

1. Un intervallo interno $[y_\ell, y_u]$.
2. Un intervallo interno unito a uno o entrambi gli atomi di confine (es. $\{L\} \cup [y_\ell, y_u]$).
3. Un set composto solo da atomi (es. $\{U\}$) in presenza di forte censura o shift estremo.

3. Contributi Principali

Il documento presenta quattro contributi tecnici primari:

1. Normalizzatore Tilted in Forma Chiusa: Derivazione delle distribuzioni predittive sorgente e tilted per un modello Tobit a due lati con approssimazione di Laplace. Il normalizzatore tilted si decompone in termini di atomo sinistro, interno e atomo destro, consentendo il calcolo esatto della legge predittiva mista.
2. Caratterizzazione dello Shift Latente-Osservato: Identificazione del fatto che un label shift latente non mappa in un singolo rapporto di densità sulla scala osservata. Inveve, crea un peso misto dove le componenti atomiche sono rapporti mediati sulle code e l'interno è un rapporto di densità. Il documento distingue esplicitamente il pushforward esatto latente dall'approssimazione marginale pratica.
3. Geometria Mixed-HDR: Caratterizzazione dei set di predizione nello spazio censurato. I set sono unioni di optional atomi di confine e di un singolo intervallo interno. Il documento dimostra che i set disconnessi (es. $\{L\} \cup \{U\}$ con un gap) sono non generici sotto la testa predittiva gaussiana.
4. Gerarchia e Efficienza del Metodo: Confronto di tre configurazioni di calibrazione:
   • UT (Unweighted Tilted): Utilizza score tilted ma nessun peso (miscalibrato sotto shift).
   • WS (Weighted Source): Utilizza score sorgente con pesi (valido ma con geometria subottimale).
   • WT (Weighted Tilted): Utilizza score tilted con pesi (valido ed efficiente).
     L'analisi mostra che WT ripristina la copertura marginale riducendo significativamente la dimensione dei set rispetto a WS.

4. Risultati Sperimentali

Esperimenti sintetici su un modello di regressione gaussiana latente con censura bidirezionale dimostrano:

• Validità della Copertura: La regola WT con candidato pesato esatto raggiunge la copertura marginale nominale (es. 90%) sotto label shift, mentre i metodi non pesati (UT) sovrastimano o sottostimano la copertura a seconda della direzione dello shift.
• Efficienza: WT produce set di predizione significativamente più piccoli rispetto a WS. Per un parametro di shift $\beta=1.2$, la dimensione media del set è scesa da 2.894 (WS) a 1.740 (WT), una riduzione di circa il 40%.
• Gap di Approssimazione: L'approssimazione pratica "scalar atom" (usando rapporti marginali invece di medie sulle code dipendenti dall'input) e le soglie di "solo calibrazione" introducono un errore trascurabile nella copertura marginale nel regime sintetico testato, sebbene non garantiscano la copertura componente per componente.
• Adattamento della Geometria: All'aumentare dell'intensità della censura, i set di predizione passano da intervalli interni a set dominati dagli atomi di confine. Sotto forte censura, i set spesso collassano a singoli atomi (es. $\{U\}$), riflettendo correttamente l'incertezza sul fatto che il valore reale si trovi oltre il limite di rilevamento.
• Stima del Rapporto di Densità: Gli stimatori che ignorano la varianza residua (pseudo-label puntuali) soffrono di compressione della varianza, portando a stime del tilt attenuate e set sovradimensionati. Il tilted predictive sampling si dimostra essere l'approccio principale per stimare il parametro di tilt $\beta$, ripristinando la necessaria varianza.

5. Significato e Rivendicazioni

Il documento sostiene di fornire un framework rigoroso per la conformal prediction in contesti in cui le risposte sono censurate e le distribuzioni cambiano.

• Separazione Teorica: Separa chiaramente la validità (garantita dall'identità di importanza nello spazio misto e dalla calibrazione pesata) dall'efficienza (garantita dallo score tilted e dalla geometria mixed-HDR).
• Novità della Censura: Il lavoro sottolinea che il censored label shift non è una semplice variante notazionale dello shift continuo. La trasformazione "latente-al-misto" crea sottigliezze tecniche uniche, specificamente la natura dei pesi degli atomi mediati sulle code e la risultante geometria mixed-HDR.
• Utilità Pratica: Il metodo offre una soluzione computazionalmente trattabile (espressioni in forma chiusa) che si adatta ai regimi di censura specifici, evitando l'inefficienza di trattare i confini censurati come ordinari valori numerici.

Gli autori segnalano i limiti, inclusa la dipendenza dall'approssimazione di Laplace e l'assunzione di errori latenti gaussiani, e identificano il lavoro futuro in likelihood non gaussiane e applicazioni su dati molecolari reali.