Conformal Bayes for Two-Sided Censored Gaussian Regression under Label Shift

Technische Samenvatting: Conformal Bayes voor Twee-Zijdige Gecensureerde Gaussische Regressie onder Label Shift

1. Probleemstelling

Het artikel behandelt de uitdaging van het construeren van geldige predictiesets voor regressietaken waarbij de respons-variabele onderhevig is aan twee-zijdige censoring en label shift.

• Twee-zijdige Censoring: Latente continue responsen $Y^*$ worden geobserveerd als $\tilde{Y} = T(Y^*)$, waarbij waarden onder een ondergrens $L$ worden geregistreerd als $L$, waarden boven een bovengrens $U$ als $U$, en waarden binnen $(L, U)$ exact worden geobserveerd. Dit creëert een gemengde observatieruimte $\{L\} \cup (L, U) \cup \{U\}$ met puntmassa's (atomen) op de grenzen en een continue dichtheid in het binnenste.
• Label Shift: De marginale distributie van de respons verandert tussen de trainingsomgeving (bron) en de deployment-omgeving (doel).
• De Kern van de Moeilijkheid: Standaard conformal prediction gaat uit van continue responsen. In deze setting is de geobserveerde distributie een mengeling van discrete atomen en een continue dichtheid. Bovendien induceert een latente label shift (een exponentiële tilt op de niet-geobserveerde $Y^*$) geen eenvoudige dichtheidsratio op de geobserveerde gecensureerde schaal. In plaats daarvan induceert de shift staart-gemiddelde gewichten bij de grensatomen en een standaard dichtheidsratio in het binnenste. Deze mismatch bemoeilijkt zowel de kalibratie van de dekking als de geometrie van de predictiesets.

2. Methodologie

De voorgestelde methode, Weighted Tilted Conformal Bayes (WT), combineert Bayesiaanse predictieve modellering met gewogen conformal kalibratie op de geobserveerde gemengde ruimte.

A. Bayesiaanse Predictiekop
De auteurs gebruiken een twee-zijdige Tobit Gaussisch model met een Laplace posterior benadering.

• Latent Model: $Y^* | x \sim \mathcal{N}(\theta^\top \phi(x), \sigma^2_\epsilon)$.
• Posterior: Benaderd als $\mathcal{N}(\hat{\theta}, \hat{\Sigma}_\theta)$ via een Laplace-benadering bij de MAP.
• Predictieve Distributie: De resulterende predictieve distributie voor de geobserveerde $\tilde{Y}$ is een gemengde maat:
  $$dP_s(\tilde{y}|x) = \pi_L(x)\delta_L + f_s(\tilde{y}|x)\mathbb{1}_{(L,U)} + \pi_U(x)\delta_U$$
  waarbij $\pi_L, \pi_U$ de gecensureerde staartkansen zijn en $f_s$ de binnenste Gaussische dichtheid is.

B. Gemengde-Ruimte Belangrijkheidsgewichten
Om label shift te corrigeren, definieert de methode een gemengde-ruimte belang weight $w(\tilde{y}) = \frac{dP_t}{dP_s}(\tilde{y})$.

• Binnenste ($L < \tilde{y} < U$): Het gewicht is een gewone dichtheidsratio, gemodelleerd als een exponentiële tilt $w(\tilde{y}) \propto \exp(\beta \tilde{y})$.
• Atomen ($\tilde{y} = L$ of $U$): Het gewicht is de ratio van de marginale censoring kansen ($\rho_{t,L}/\rho_{s,L}$ en $\rho_{t,U}/\rho_{s,U}$).
• Cruciaal Inzicht: Een latente exponentiële tilt induceert staart-gemiddelde atoomgewichten, die over het algemeen input-afhankelijk zijn. Het praktische algoritme benadert deze met scalaire marginale ratio's, een onderscheid dat het artikel expliciet aanstipt als een bron van benaderingsfout.

C. Predictieve Tilting en Kalibratie
De methode maakt onderscheid tussen de score (bepaalt de set-geometrie) en het gewicht (bepaalt de kalibratie-geldigheid).

1. Getilted Predictieve Distributie: De bron predictieve distributie wordt getilt door de geobserveerde label ratio om uit te lijnen met de doel distributie:
   $$p_t(\tilde{y}|x) \propto p_s(\tilde{y}|x) w(\tilde{y})$$
   Dit levert een nieuwe gemengde distributie op met een driedelige gesloten vorm normalisator $Z(x)$, die zowel de binnenste gemiddelde als de atoommassa's aanpast.
2. Score: De conformal score is de negatieve log-dichtheid van de getilted predictieve distributie: $s(\tilde{y}) = -\log p_t(\tilde{y}|x)$.
3. Kalibratie: Een gewogen conformal kwantiel wordt berekend met behulp van de bron data, waarbij elke sample wordt gewogen door de marginale geobserveerde-ruimte ratio $w(\tilde{y})$.

D. Predictiesets (Mixed-HDR)
De resulterende predictieset is een Mixed Highest Density Region (HDR). Deze wordt gedefinieerd als een level set van de getilted gemengde dichtheid:
$$C(x) = \{ \tilde{y} : p_t(\tilde{y}|x) \geq \lambda^* \}$$
Vanwege de gemengde maat kan deze set drie vormen aannemen:

1. Een binnenste interval $[y_\ell, y_u]$.
2. Een binnenste interval verenigd met één of beide grensatomen (bijv. $\{L\} \cup [y_\ell, y_u]$).
3. Een enkelvoudige atoom-set (bijv. $\{U\}$) onder sterke censoring of extreme shift.

3. Belangrijkste Bijdragen

Het artikel levert vier primaire technische bijdragen:

1. Gesloten Vorm Getilted Normalizer: Afleiding van de bron en getilted predictieve distributies voor een twee-zijdige Tobit model met Laplace benadering. De getilted normalizer ontleedt in een linker-atoom, binnenste, en rechter-atoom term, wat exacte berekening van de gemengde predictieve wet mogelijk maakt.
2. Karakterisering van Latent-naar-Geobserveerd Shift: Identificatie dat een latente label shift niet naar een enkele dichtheidsratio op de geobserveerde schaal mapt. In plaats daarvan creëert het een gemengd gewicht waarbij atoomcomponenten staart-gemiddelde ratio's zijn en het binnenste een dichtheidsratio is. Het artikel maakt expliciet onderscheid tussen de exacte latente pushforward en de praktische marginale benadering.
3. Mixed-HDR Geometrie: Karakterisering van predictiesets op de gecensureerde ruimte. De sets zijn verenigingen van optionele grensatomen en een enkel binnenste interval. Het artikel bewijst dat gedisconnecteerde sets (bijv. $\{L\} \cup \{U\}$ met een gat) niet-generiek zijn onder de Gaussische predictiekop.
4. Methode Hiërarchie en Efficiëntie: Vergelijking van drie kalibratie configuraties:
   • UT (Unweighted Tilted): Gebruikt getilted scores maar geen gewichten (misgekalibreerd onder shift).
   • WS (Weighted Source): Gebruikt bron scores met gewichten (geldig maar suboptimaal qua geometrie).
   • WT (Weighted Tilted): Gebruikt getilted scores met gewichten (geldig en efficiënt).
     De analyse toont aan dat WT de marginale dekking herstelt terwijl het de set-grootte aanzienlijk vermindert vergeleken met WS.

4. Experimentele Resultaten

Synthetische experimenten op een latente Gaussische regressie model met twee-zijdige censoring demonstreren:

• Dekking Geldigheid: De exacte kandidaat-gewogen WT regel bereikt de nominale marginale dekking (bijv. 90%) onder label shift, terwijl ongewogen methoden (UT) over- of ondercoveren afhankelijk van de richting van de shift.
• Efficiëntie: WT produceert aanzienlijk kleinere predictiesets dan WS. Voor een shift parameter $\beta=1.2$, nam de gemiddelde set grootte af van 2.894 (WS) naar 1.740 (WT), een reductie van ~40%.
• Benaderingsgat: Estimators die de residuele variantie negeren (punt pseudo-labels) lijden aan variantiecompressie, wat leidt tot verzwakte tilt-schattingen en te grote sets. Getilted predictieve sampling wordt getoond de principiële standaard te zijn voor het schatten van de tilt parameter $\beta$, wat de noodzakelijke variantie herstelt.
• Geometrie Adaptatie: Naarmate de intensiteit van de censoring toeneemt, transformeren de predictiesets van binnenste intervallen naar sets die gedomineerd worden door grensatomen. Onder sterke censoring krimpen sets vaak tot enkele atomen (bijv. $\{U\}$), wat de onzekerheid correct reflecteert dat de ware waarde voorbij de detectiegrens ligt.
• Dichtheidsratio Schatting: Estimators die de residuele variantie negeren (punt pseudo-labels) lijden aan variantiecompressie, wat leidt tot verzwakte tilt-schattingen en oversized sets. Getilted predictive sampling wordt getoond de principiële standaard te zijn voor het schatten van de tilt parameter $\beta$, wat de noodzakelijke variantie herstelt.

5. Betekenis en Claims

Het artikel claimt een rigoureus kader te bieden voor conformal prediction in settings waar responsen gecensureerd zijn en distributies verschuiven.

• Theoretische Separatie: Het scheidt helder geldigheid (gegarandeerd door de gemengde-ruimte belangrijkheidsidentiteit en gewogen kalibratie) van efficiëntie (gegarandeerd door de getilted score en mixed-HDR geometrie).
• Nieuwigheid van Censoring: Het werk benadrukt dat gecensureerde label shift niet louter een notationele variant is van continue shift. De "latent-naar-mixed" transformatie creëert unieke technische subtiliteiten, specifelijk de staart-gemiddelde aard van atoomgewichten en de resulterende mixed-HDR geometrie.
• Praktisch Nut: De methode biedt een computationeel tractabele oplossing (gesloten vorm expressies) die predictiesets aanpast aan de specifieke censoring regime, waardoor het inefficiënt behandelen van gecensureerde grenzen als gewone numerieke waarden wordt vermeden.

De auteurs noemen beperkingen, waaronder de afhankelijkheid van de Laplace benadering en de aanname van Gaussische latente fouten, en identificeren toekomstig werk in niet-Gaussische likelihoods en real-world moleculaire data toepassingen.