Riepilogo Tecnico: Conformal Bayes sotto Label Shift

1. Definizione del Problema

Il documento affronta la sfida di costruire set di predizione statisticamente validi sotto label shift, uno shift distributivo in cui la distribuzione marginale delle etichette cambia tra i domini sorgente ($p_s(y)$) e target ($p_t(y)$), mentre la distribuzione condizionale delle feature rimane invariante ($p_t(x|y) = p_s(x|y)$).

Nel Conformal Bayes standard, i set di predizione sono costruiti utilizzando la densità predittiva bayesiana posteriore $p(y|x, D_{tr})$ e un punteggio di non conformità (tipicamente il log-negativo della densità predittiva, NLPD). Sotto label shift, i dati di calibrazione estratti dal dominio sorgente e i dati di test estratti dal dominio target non sono più scambiabili sotto la stessa misura. Di conseguenza, i set di predizione calibrati sui dati sorgente non riescono a raggiungere il livello di copertura nominale sui punti di test target. Questo problema è particolarmente rilevante in domini come la lead-optimization, dove i dati di addestramento sono arricchiti con composti ad alta attività, ma le predizioni sono richieste su una libreria chimica completa con una distribuzione delle etichette differente.

2. Metodologia

Gli autori propongono un framework unificato che analizza due strategie complementari per ripristinare la copertura nominale nel dominio target. Entrambe le strategie si affidano alla calibrazione pesata per importanza (IW - importance-weighted) per garantire la validità, ma differiscono fondamentalmente nel modo in cui regolano la geometria predittiva.

Assunzioni Core

1. Label Shift (Invarianza Condizionale): $p_t(x|y) = p_s(x|y)$, ma $p_t(y) \neq p_s(y)$.
2. Rapporto di Densità: Lo shift è modellato tramite tilting esponenziale: $w(y) = p_t(y)/p_s(y) \propto \exp(\beta y)$, dove $\beta$ è un parametro noto (o stimato).
3. Modello: Un backbone congelato $\phi(x)$ con un head lineare gaussiano: $y|x, \theta \sim \mathcal{N}(\theta^\top \phi(x), \sigma^2)$.

Strategia A: Calibrazione Post-Hoc (Predictive Tilting)

• Meccanismo: La posteriore dei parametri $\pi_s(\theta|D_{tr})$ rimane invariata. La correzione viene applicata a livello predittivo.
• Processo:
  1. La predittiva target viene derivata effettuando il tilting della predittiva sorgente: $p_A(y|x, D_{tr}) \propto p_s(y|x, D_{tr}) w(y)$.
  2. Il punteggio di non conformità è il log-negativo della densità della predittiva inclinata: $s_A(x, y) = -\log p_A(y|x, D_{tr})$.
  3. La soglia conforme è calcolata utilizzando un quantile pesato per importanza dei punteggi di calibrazione.
• Geometria: Il centro del set di predizione include uno shift proporzionale all'incertezza epistemica ($\phi(x)^\top \Sigma_\theta \phi(x)$). Gli input lontani dalla distribuzione di addestramento ricevono intervalli più ampi.
• Requisiti: Non richiede l'accesso alla pipeline di addestramento; tratta il modello sorgente come una black box.

Strategia B: Adattamento In-Training (Posterior Tilting)

• Meccanismo: La correzione viene applicata a livello di parametro prima della calibrazione.
• Processo:
  1. Viene costruita una posteriore "target-tilted" regolando la posteriore sorgente tramite i rapporti di verosimiglianza per osservazione: $\pi_t(\theta|D_{tr}) \propto \pi_s(\theta|D_{tr}) \prod_{i} Z_\theta(x_i)^{-1}$.
  2. Per gli head gaussiani, questo produce una posteriore gaussiana in forma chiusa con una media spostata: $\hat{\theta}_t = \hat{\theta}_s - \beta n \Sigma_\theta \bar{\phi}$, dove $\bar{\phi}$ è la feature media dell'insieme di addestramento.
  3. Il punteggio di non conformità è l'NLPD della distribuzione predittiva derivata da questa posteriore corretta.
  4. La soglia conforme utilizza lo stesso quantile pesato per importanza della Strategia A.
• Geometria: Lo shift nel centro del set di predizione dipende dalla somiglianza tra il punto di test e la distribuzione di addestramento ($\phi(x)^\top \bar{\phi}$), piuttosto che dall'incertezza epistemica.
• Requisiti: Richiede l'accesso alla pipeline di addestramento e alle feature di addestramento per calcolare la correzione della media.

Pipeline Algoritmica

Entrambe le strategie seguono una pipeline unificata (Algoritmo 1):

1. Calcolare i parametri della regressione lineare bayesiana sorgente.
2. Calcolare la funzione di punteggio (sia $s_A$ che $s_B$).
3. Valutare il set di calibrazione.
4. Calcolare la soglia del quantile pesato per importanza.
5. Costruire il set di predizione $C(x) = \{y : s(x, y) \leq \hat{q}\}$.

3. Contributi Chiave

1. Framework Unificato: Una separazione della validità (governata dal quantile pesato per importanza) dalla efficienza (governata dalla scelta della geometria dello score: predictive vs. posterior tilting).
2. Soluzioni in Forma Chiusa: Derivazione di una posteriore target-tilted in forma chiusa per gli head gaussiani, consentendo il calcolo esatto della distribuzione predittiva corretta.
3. Analisi Comparativa: Un confronto diretto che identifica i regimi in cui ogni strategia è preferibile:
   • Addestramento Unbiased: Entrambe le strategie ottengono una copertura valida, ma la Strategia A (Predictive Tilting) produce intervalli più stretti. La Strategia B introduce un bias non necessario se i dati sorgente sono già rappresentativi.
   • Addestramento Biased/Enriched (Lead-Optimization): La Strategia B agisce come un operatore di debiasing. Correggendo la posteriore dei parametri, riduce simultaneamente il bias dei parametri, il bias predittivo e la larghezza dell'intervallo, mantenendo una copertura valida.

4. Risultati Sperimentali

Gli autori valutano i metodi su dati di regressione lineare gaussiana sintetica sotto due regimi:

• Esperimento 1 (Regime Unbiased): I dati di addestramento sono un campionamento uniforme dalla distribuzione sorgente.

  • Copertura: Tutti i metodi che utilizzano il quantile IW (CB-IW, Strategia A, Strategia B) mantengono una copertura nominale del 90% indipendentemente dall'intensità del label shift ($\beta$). Il baseline non pesato fallisce, perdendo copertura all'aumentare di $\beta$.
  • Efficienza: La Strategia A produce gli intervalli più stretti. La Strategia B è più ampia perché la correzione MAP sposta la posteriore lontano dalla verità in un contesto unbiased.

• Esperimento 2 (Regime Lead-Optimization): I dati di addestramento sono arricchiti per composti ad alta risposta (sorgente biased).

  • Copertura: Tutti i metodi basati su IW mantengono una copertura valida del 90%. Il baseline non pesato sovra-copre (91–95%) a causa dei punteggi di calibrazione gonfiati dal modello biased.
  • Debiasing: La Strategia B riduce il bias dei parametri di circa il 40% e il bias predittivo del 34% rispetto alla posteriore sorgente biased.
  • Efficienza: La Strategia B produce intervalli strettamente più stretti della Strategia A (fino a una riduzione del 16% della larghezza a $\beta=0.6$) mantenendo la stessa copertura. Ciò dimostra che correggere la posteriore dei parametri è più efficiente rispetto alla correzione della densità predittiva quando i dati di addestramento sorgente sono biased.

5. Significato e Rivendicazioni

Il documento sostiene di fornire una visione unitaria e rigorosa per la gestione del label shift nel Conformal Bayes: la sua importanza primaria risiede nella distinzione tra calibrazione per la validità e adattamento per l'efficienza:

• La validità è garantita esclusivamente dalla regola del quantile pesato per importanza, indipendentemente dal fatto che lo score sia corretto post-hoc o in fase di addestramento.
• L'efficienza è dipendente dal contesto. In contesti unbiased, il predictive tilting post-hoc è superiore poiché evita di alterare la posteriore dei parametri. Tuttavia, in scenari con dati di addestramento arricchiti/biased (comuni nella lead-optimization), l'adattamento della posteriore in-training agisce come un necessario passo di debiasing, migliorando sia l'accuratezza del modello sottostante che l'efficienza dei set di predizione.

Gli autori osservano che il framework attualmente si basa su assunzioni forti (label shift puro, parametro di tilt noto, head lineari gaussiani) e sulla validazione sintetica. Suggeriscono che l'estensione a modelli deep richieda l'inferenza approssimata (es. approssimazione di Laplace) e che la validazione nel mondo reale sia lasciata a lavori futuri. Descrivono inoltre una procedura in due fasi per stimare $\beta$ senza dati target etichettati utilizzando pseudo-label, facendo riferimento a un paper complementare per applicazioni di proprietà molecolare.