Technische Samenvatting: Conformal Bayes onder Label Shift

1. Probleemstelling

Het artikel behandelt de uitdaging van het construeren van statistisch valide predictiesets onder label shift, een distributieverschuiving waarbij de marginale labelverdeling verandert tussen bron- ($p_s(y)$) en doelgebieden ($p_t(y)$), terwijl de conditionele feature-distributie invariant blijft ($p_t(x|y) = p_s(x|y)$).

In standaard Conformal Bayes worden predictiesets geconstrueerd met behulp van de Bayesiaanse posterior predictive $p(y|x, D_{tr})$ en een nonconformity score (typisch de negatieve log-predictieve dichtheid, NLPD). Onder label shift zijn kalibratiedata uit het brongebied en testdata uit het doelgebied niet langer uitwisselbaar onder dezelfde maatstaf. Gevolgelijk slagen predictiesets die gekalibreerd zijn op brongegevens er niet in om het nominale dekkingsniveau te bereiken op testpunten uit het doelgebied. Dit probleem is bijzonder relevant in domeinen zoals lead-optimization, waar trainingsdata verrijkt zijn met actieve verbindingen, maar voorspellingen vereist zijn voor een volledige chemische bibliotheek met een andere labelverdeling.

2. Methodologie

De auteurs stellen een verenigd kader voor waarbij twee complementaire strategieën worden geanalyseerd om nominale doelgebied-dekking te herstellen. Beide strategieën vertrouwen op importance-weighted (IW) conformal calibration om validiteit te garanderen, maar verschillen fundamenteel in de manier waarop ze de predictieve geometrie aanpassen.

Kernaannames

1. Label Shift (Conditionele Invariantie): $p_t(x|y) = p_s(x|y)$, maar $p_t(y) \neq p_s(y)$.
2. Density Ratio: De verschuiving wordt gemodelleerd via exponential tilting: $w(y) = p_t(y)/p_s(y) \propto \exp(\beta y)$, waarbij $\beta$ een bekende parameter is (of geschat wordt).
3. Model: Een bevroren backbone $\phi(x)$ met een Gaussische lineaire kop: $y|x, \theta \sim \mathcal{N}(\theta^\top \phi(x), \sigma^2)$.

Strategie A: Post-Hoc Kalibratie (Predictive Tilting)

• Mechanisme: De parameter posterior $\pi_s(\theta|D_{tr})$ blijft ongewijzigd. De correctie wordt toegepast op het predictieve niveau.
• Proces:
  1. De doel-posterior predictive wordt afgeleid door de bron-predictive te 'tilten': $p_A(y|x, D_{tr}) \propto p_s(y|x, D_{tr}) w(y)$.
  2. De nonconformity score is de negatieve log-densiteit van deze getilte predictive: $s_A(x, y) = -\log p_A(y|x, D_{tr})$.
  3. De conformal drempelwaarde wordt berekend met behulp van een importance-weighted kwantiel van de kalibratiescores.
• Geometrie: Het resulterende predictieset-centrum bevat een verschuiving proportioneel aan de epistemische onzekerheid ($\phi(x)^\top \Sigma_\theta \phi(x)$). Inputs die ver van de trainingsdistributie liggen, ontvangen bredere intervallen.
• Vereisten: Vereist geen toegang tot de trainingspipeline; behandelt het bronmodel als een black box.

Strategie B: In-Training Adaptatie (Posterior Tilting)

• Mechanisme: De correctie wordt toegepast op het parameterniveau vóór de kalibratie.
• Proces:
  1. Een "doel-getilte" posterior wordt geconstrueerd door de bron-posterior aan te passen met per-observatie likelihood ratio's: $\pi_t(\theta|D_{tr}) \propto \pi_s(\theta|D_{tr}) \prod_{i} Z_\theta(x_i)^{-1}$.
  2. Voor Gaussische koppen levert dit een closed-form Gaussische posterior op met een verschoven gemiddelde: $\hat{\theta}_t = \hat{\theta}_s - \beta n \Sigma_\theta \bar{\phi}$, waarbij $\bar{\phi}$ het gemiddelde kenmerk van de trainingsset is.
  3. De nonconformity score is de NLPD van de predictieve distributie afgeleid van deze gecorrigeerde posterior.
  4. De conformal drempelwaarde gebruikt hetzelfde importance-weighted kwantiel als Strategie A.
• Geometrie: De verschuiving in het centrum van de predictieset hangt af van de gelijkenis tussen het testpunt en de trainingsdistributie ($\phi(x)^\top \bar{\phi}$), in plaats van de epistemische onzekerheid.
• Vereisten: Vereist toegang tot de trainingspipeline en de trainingsfeatures om de gemiddelde correctie te berekenen.

Algoritmische Pipeline

Beide strategieën volgen een verenigde pipeline (Algoritme 1):

1. Bereken de bron Bayesiaanse lineaire regressie parameters.
2. Bereken de scorefunctie (ofwel $s_A$ of $s_B$).
3. Score de kalibratieset.
4. Bereken de importance-weighted kwantiel drempelwaarde.
5. Construeer de predictieset $C(x) = \{y : s(x, y) \leq \hat{q}\}$.

3. Belangrijkste Bijdragen

1. Verenigd Kader: Een scheiding van validiteit (bepaald door de importance-weighted kwantielregel) van efficiëntie (bepaald door de keuze van de score-geometrie: predictive vs. posterior tilting).
2. Closed-Form Oplossingen: Afleiding van een closed-form doel-getilte posterior voor Gaussische koppen, wat exacte berekening van de gecorrigeerde predictieve distributie mogelijk maakt.
3. Vergelijkende Analyse: Een head-to-head vergelijking die identificeert in welke regimes elke strategie de voorkeur verdient:
   • Onbiased Training: Beide strategieën bereiken valide dekking, maar Strategie A (Predictive Tilting) levert smallere intervallen. Strategie B introduceert onnodige bias als de brongegevens al representatief zijn.
   • Biased/Enriched Training (Lead-Optimization): Strategie B fungeert als een debiasing operator. Door de parameter posterior te corrigeren, vermindert het parameter bias, predictieve bias en intervalbreedte gelijktijdig, terwijl de valide dekking behouden blijft.

4. Experimentele Resultaten

De auteurs evalueren de methoden op synthetische Gaussische lineaire regressie data onder twee regimes:

• Experiment 1 (Unbiased Regime): Trainingsdata is een uniforme trekking uit de bronverdeling.

  • Dekking: Alle methoden die de IW kwantiel gebruiken (CB-IW, Strategie A, Strategie B) behouden een nominale dekking van 90%, ongeacht de intensiteit van de label shift ($\beta$). De ongewogen baseline faalt en verliest dekking naarmate $\beta$ toeneemt.
  • Efficiëntie: Strategie A produceert de smalste intervallen. Strategie B is breder omdat de MAP-correctie de posterior weg beweegt van de waarheid in een unbiased setting.

• Experiment 2 (Lead-Optimization Regime): Trainingsdata is verrijkt met reactie-rijke verbindingen (biased bron).

  • Dekking: Alle IW-gebaseerde methoden behouden een valide dekking van 90%. De ongewogen baseline over-dekt (91–95%) door opgeblazen kalibratiescores van het gebiaste model.
  • Debiasing: Strategie B vermindert de parameter bias met ongeveer 40% en de predictieve bias met 34% vergeleken met de gebiaste bron-posterior.
  • Efficiëntie: Strategie B produceert strikt smallere intervallen dan Strategie A (tot 16% reductie in breedte bij $\beta=0.6$) terwijl dezelfde dekking wordt behouden. Dit demonstreert dat het corrigeren van de parameter posterior efficiënter is dan het corrigeren van de predictieve dichtheid wanneer de bron-trainingsdata gebiast is.

5. Betekenis en Claims

Het artikel claimt een principieel, verenigd beeld te bieden voor het omgaan met label shift in Conformal Bayes. De primaire betekenis ligt in het onderscheid tussen kalibratie voor validiteit en adaptatie voor efficiëntie:

• Validiteit is gegarandeerd uitsluitend door de importance-weighted kwantielregel, ongeacht of de score post-hoc of in-training wordt gecorrigeerd.
• Efficiëntie is contextafhankelijk. In unbiased settings is post-hoc predictive tilting superieur omdat het de parameter posterior ongemoeid laat. Echter, in scenario's met verrijkte/gebiaste trainingsdata (gangbaar in lead-optimization), fungeert in-training posterior adaptatie als een noodzakelijke debiasing stap, wat zowel de nauwkeurigheid van het onderliggende model als de efficiëntie van de predictiesets verbetert.

De auteurs merken op dat het kader momenteel steunt op sterke aannames (pure label shift, bekende tilt-parameter, Gaussische lineaire koppen) en synthetische validatie. Zij suggereren dat het uitbreiden naar diepe modellen benaderde inferentie (bijv. Laplace-benadering) vereist en dat validatie in de echte wereld aan toekomstig werk wordt overgelaten. Ze schetsen ook een tweestaps-procedure voor het schatten van $\beta$ zonder gelabelde doeldata met behulp van pseudo-labels, waarbij zij verwijzen naar een begeleidend artikel voor moleculaire eigenschappen.