Conformal Bayes for Two-Sided Censored Gaussian Regression under Label Shift

기술 요약: 레이블 시프트가 존재하는 양방향 검열 가우시안 회귀를 위한 컨포멀 베이즈(Conformal Bayes)

1. 문제 정의

본 논문은 반응 변수가 **양방향 검열(two-sided censoring)**과 **레이블 시프트(label shift)**의 영향을 받는 회귀 작업에서 유효한 예측 집합(prediction sets)을 구축하는 과제를 다룹니다.

• 양방향 검열: 잠재적인 연속 반응 $Y^*$는 $\tilde{Y} = T(Y^*)$로 관측됩니다. 여기서 하한 $L$보다 낮은 값은 $L$로 기록되고, 상한 $U$보다 높은 값은 $U$로 기록되며, $(L, U)$ 범위 내의 값은 정확하게 관측됩니다. 이는 경계면에 점 질량(atoms)을 가진 $\{L\} \cup (L, U) \cup \{U\}$ 형태의 혼합 관측 공간을 생성합니다.
• 레이블 시프트: 훈련(소스) 환경과 배포(타겟) 환경 사이에서 반응 변수의 주변 분포가 변화합니다.
• 핵심 난제: 표준 컨포멀 예측은 연속적인 반응을 가정합니다. 그러나 이 설정에서 관측된 분포는 이산적 원자(atoms)와 연속 밀도의 혼합체입니다. 또한, 잠재적 레이블 시프트(관측되지 않은 $Y^*$에 대한 지수적 기울기/exponential tilt)는 관측된 검열 스케일 상에서 단순한 밀도 비율을 유도하지 않습니다. 대신, 이 시프트는 경계 원자에 대해 **꼬리 평균화된 가중치(tail-averaged weights)**를 유도하고 내부에서는 표준 밀도 비율을 유도합니다. 이러한 불일치는 보정(calibration)의 정확도와 예측 집합의 기하학적 구조를 모두 복잡하게 만듭니다.

2. 방법론

제안된 방법인 **가중 기울기 컨포멀 베이즈(Weighted Tilted Conformal Bayes, WT)**는 베이지안 예측 모델링과 혼합 공간에서의 가중 컨포멀 보정을 결합합니다.

A. 베이지안 예측 헤드(Bayesian Prediction Head)
저자들은 라플라스 근사(Laplace approximation)를 사용하는 양방형 토빗 가우시안(two-sided Tobit Gaussian) 모델을 채택합니다.

• 잠재 모델: $Y^* | x \sim \mathcal{N}(\theta^\top \phi(x), \sigma^2_\epsilon)$.
• 사후 분포: MAP에서의 라플라스 근사를 통해 $\mathcal{N}(\hat{\theta}, \hat{\Sigma}_\theta)$로 근사됩니다.
• 예측 분포: 결과적인 관측된 $\tilde{Y}$에 대한 예측 분포는 다음과 같은 혼합 측도(mixed measure)입니다:
  $$dP_s(\tilde{y}|x) = \pi_L(x)\delta_L + f_s(\tilde{y}|x)\mathbb{1}_{(L,U)} + \pi_U(x)\delta_U$$
  여기서 $\pi_L, \pi_U$는 검열된 꼬리 확률이며, $f_s$는 내부 가우시안 밀도입니다.

B. 혼합 공간 중요도 가중치(Mixed-Space Importance Weights)
레이블 시프트를 교정하기 위해, 방법론은 혼합 공간 중요도 가중치 $w(\tilde{y}) = \frac{dP_t}{dP_s}(\tilde{y})$를 정의합니다.

• 내부 ($L < \tilde{y} < U$): 가중치는 일반적인 밀도 비율이며, $\exp(\beta \tilde{y})$ 형태의 지수적 기울기로 모델링됩니다.
• 원자 ($\tilde{y} = L$ 또는 $U$): 가중치는 주변 검열 확률의 비율($\rho_{t,L}/\rho_{s,L}$ 및 $\rho_{t,U}/\rho_{s,U}$)입니다.
• 핵심 통찰: 잠재적 지수 기울기는 관측 스케일 상에서 꼬리 평균화된 원자 가중치를 생성하며, 이는 일반적으로 입력값에 의존합니다. 실제 알고리즘은 이를 스칼라 주변 비율로 근사하며, 논문은 이 차이를 근사 오차의 원인으로 명시적으로 강조합니다.

C. 예측 기울기 및 보정(Predictive Tilting and Calibration)
이 방법은 스코어(score)(집합의 기하학적 구조 결정)와 가중치(weight)(보정의 유효성 결정)를 구분합니다.

1. 기울어진 예측 분포: 소스 예측 분포를 관측된 레이블 비율에 의해 기울여 타겟 분포와 일치시킵니다:
   $$p_t(\tilde{y}|x) \propto p_s(\tilde{y}|x) w(\tilde{y})$$
   이는 좌측 원자, 내부, 우측 원자 항으로 구성된 세 항의 폐쇄형 정규화 인자 $Z(x)$를 갖는 새로운 혼합 분포를 생성하며, 내부 평균과 원자 질량을 조정합니다.
2. 스코어: 컨포멀 스코어는 기울어진 예측 분포의 음의 로그 밀도입니다: $s(\tilde{y}) = -\log p_t(\tilde{y}|x)$.
3. 보정: 각 샘플은 관측된 주변 공간 비율 $w(\tilde{y})$에 의해 가중치가 부여된 소스 데이터를 사용하여 가중 컨포멀 분위수(weighted conformal quantile)를 계산합니다.

D. 예측 집합 (Mixed-HDR)
결과적인 예측 집합은 **혼합 최고 밀도 영역(Mixed Highest Density Region, HDR)**입니다. 이는 기울어진 혼합 밀도의 레벨 셋(level set)으로 정의됩니다:
$$C(x) = \{ \tilde{y} : p_t(\tilde{y}|x) \geq \lambda^* \}$$
혼합 측도로 인해, 이 집합은 다음 세 가지 형태를 가질 수 있습니다:

1. 내부 구간 $[y_\ell, y_u]$.
2. 내부 구간과 하나 또는 두 개의 경계 원자의 합집합 (예: $\{L\} \cup [y_\ell, y_u]$).
3. 극심한 검열 또는 극단적인 시프트 하에서의 원자 전용 집합 (예: $\{U\}$).

3. 주요 기여

본 논문의 주요 기술적 기여는 네 가지입니다:

1. 폐쇄형 기울기 정규화 인자(Closed-Form Tilted Normalizer): 라플라스 근사를 적용한 양방향 토빗 모델에 대한 소스 및 기울어진 예측 분포의 유도. 기울어진 정규화 인자는 좌측 원자, 내부, 우측 원자 항으로 분해되어 혼합 예측 법칙의 정확한 계산을 가능하게 합니다.
2. 잠재적-관측적 시프트 특성 규명: 잠재적 레이블 시프트가 관측 스케일 상에서 단일 밀도 비율로 매핑되지 않음을 식별했습니다. 대신, 이는 원자 성분은 꼬리 평균화된 비율이고 내부는 밀도 비율인 혼합 가중치를 생성합니다. 논문은 정확한 잠재적 푸시포워드(pushforward)와 실용적인 주변 근사 간의 차이를 명확히 구분합니다.
3. Mixed-HDR 기하학: 검열된 공간에서의 예측 집합 특성을 규명했습니다. 집합은 선택적인 경계 원자들과 하나의 내부 구간의 합집합입니다. 논문은 가우시안 예측 헤드 하에서 불연속 집합(예: 간격이 있는 $\{L\} \cup \{U\}$)이 일반적이지 않음을 증명합니다.
4. 방법론 계층 및 효율성: 세 가지 보정 구성을 비교합니다:
   • UT (Unweighted Tilted): 기울어진 스코어를 사용하지만 가중치는 사용하지 않음 (시프트 하에서 미보정됨).
   • WS (Weighted Source): 가중치가 부여된 소스 스코어를 사용함 (유효하지만 기하학적 구조가 최적은 아님).
   • WT (Weighted Tilted): 기울어진 스코어와 가중치를 모두 사용함 (유효하며 효율적임).
     분석 결과, WT는 WS에 비해 집합 크기를 크게 줄이면서도 주변 피복률(marginal coverage)을 복구함을 보여줍니다.

4. 실험 결과

두 방향 검열이 있는 잠재 가우시안 회귀 모델에 대한 합성 실험을 통해 다음을 입증했습니다:

• 피복 유효성(Coverage Validity): 정확한 후보 가중치 WT 규칙은 레이블 시프트 하에서도 명목 주변 피복률(예: 90%)을 달로 달성하는 반면, 가중치가 없는 방법(UT)은 시프트 방향에 따라 과잉 피복하거나 과소 피복합니다.
• 효율성(Efficiency): WT는 WS보다 현저히 작은 예측 집합을 생성합니다. $\beta=1.2$인 경우, 평균 집합 크기가 WS의 2.894에서 WT의 1.740으로 감소하여 약 40%의 감소를 보였습니다.
• 근사 격차(Approximation Gap): 실용적인 "스칼라 원자" 근사(주변 비율을 사용하는 방식)와 "보정 전용" 임계값은 테스트된 합성 체계 내에서 주변 피복률에 미미한 오차를 도입하지만, 구성 요소별 피복률을 보장하지는 않습니다.
• 기하학적 적응: 검열 강도가 증가함에 따라 예측 집합은 내부 구간에서 경계 원자가 지배적인 집합으로 전환됩니다. 강한 검열 하에서 집합은 종종 단일 원자(예: $\{U\}$)로 붕로되며, 이는 실제 값이 탐지 한계 너머에 있다는 불확실성을 정확하게 반영합니다.
• 밀도 비율 추정: 잔차 분산을 무시하는 추정기(점 의사 레이블)는 분산 압축을 초래하여 기울기 추정치를 약화시키고 집합을 과도하게 크게 만듭니다. **기울어진 예측 샘플링(Tilted predictive sampling)**이 기울기 파라미터 $\beta$를 추정하기 위한 원칙적인 기본 방식임을 보여주며, 이를 통해 필요한 분산을 복구합니다.

5. 의의 및 주장

본 논문은 반응이 검열되고 분포가 변화하는 환경에서의 컨포멀 예측을 위한 엄격한 프레임워크를 제공한다고 주장합니다.

• 이론적 분리: 유효성(혼합 공간 중요도 항등식과 가중 보정에 의해 보장)과 효율성(기울어진 스코어와 혼합-HDR 기하학에 의해 보장)을 명확히 분리합니다.
• 검열의 참신함: 본 연구는 검열된 레이블 시프트가 단순히 연속적 시프트의 표기법적 변형이 아님을 강조합니다. "잠재적-혼합" 변환은 꼬리 평균화된 성격의 원자 가중치와 그에 따른 혼합-HDR 기하학이라는 고유한 기술적 미묘함을 생성합니다.
• 실용적 유용성: 제안된 방법은 (폐쇄형 표현식을 통해) 계산 가능한 솔루션을 제공하며, 검열된 경계를 일반적인 수치 값으로 취급하는 비효율성을 피하면서 특정 검열 체제에 적응합니다.

저자들은 라플라스 근사에 대한 의존성과 가우시안 잠재 오차 가정의 한계를 언급하며, 비가우시안 가능도 및 실제 분자 데이터 응용 분야에서의 향후 연구 과제를 제시합니다.