Anytime-Valid Confirmation of Label-Shift Corrections

기술 요약: 레이블 시프트 보정에 대한 언제든 유효한(Anytime-Valid) 확인법

1. 문제 정의

소규모 배치 과학적 배포 환경에서는 BBSE나 MLLS와 같은 전통적인 비라벨 타겟(unlabeled-target) 방법론을 사용하여 레이블 시프트(조건부 확률 $p(x|y)$는 안정적이지만 주변 분포 $p(y)$가 변하는 현상)를 신뢰성 있게 추정하기에는 라벨이 지정된 타겟 결과값이 너무 희소할 수 있습니다. 이러한 시나리오에서 실무자들은 도메인 지식, 규제 사양 또는 브릿징 실험으로부터 도출된 사전 지정된 후보 보정치를 보유하고 있는 경우가 많습니다.

본 논문이 다루는 핵심 문제는 시프트를 추정하는 것이 아니라, 들어오는 라벨링된 결과가 소스 예측 모델에 대해 상정된 고정된 레이블 시프트 보정을 뒷받침하는지 확인하는 것입니다. 이는 추정 문제가 아닌 확인 문제로 프레임화되며, 사전 지정된 샘플 크기 없이 순차적으로 도착하는 데이터를 처리하면서 선택적 정지(optional stopping) 상황에서도 제1종 오류를 제어할 수 있는 통계적 도구를 요구합니다.

2. 방법론

본 논문은 e-값(e-values) 및 e-프로세스(e-processes)(Vovk & Wang, 2021; Shafer, 2021)에 기반한 순차적 검정 프레임워크를 제안합니다.

핵심 구성:
고정된 소스 예측 $p_s(y|x, D_{tr})$과 도메인 지식으로부터 도출된 후보 가중치 $w(y)$가 주어졌을 때, 저자들은 다음과 같은 **틸티드 예측(tilted predictive)**을 정의합니다:
$$\tilde{p}_w(y|x, D_{tr}) \propto w(y) p_s(y|x, D_{tr})$$
검정은 틸티드 예측과 소스 예측 사이의 관측당 우도 비(likelihood ratio)를 누적합니다:
$$e_i = \frac{\tilde{p}_w(y_i|x_i, D_{tr})}{p_s(y_i|x_i, D_{tr})} = \frac{w(y_i)}{Z_w(x_i)}$$
여기서 $Z_w(x_i)$는 정규화 상수입니다.

이론적 보장:

• 조건부 e-값 (Conditional E-Value): 예측 귀무가설 $H_0^{pred}$(결과가 소스 예측 $p_s$를 따름) 하에서, 과거 데이터와 현재 입력이 주어졌을 때 $e_i$의 기댓값은 1입니다. 따라서 $e_i$는 유효한 조건부 e-값입니다.
• 마팅게일 성질 (Martingale Property): 실행 곱(running product) $M_t = \prod_{i=1}^t e_i$는 비음수 마팅게일(nonnegative martingale, 즉 e-프로세스)을 형성합니다.
• 언제든 유효한 규칙 (Anytime-Valid Rule): 빌의 부등식(Ville's inequality)에 의해, 정지 규칙 $\tau^* = \inf\{t : M_t > 1/\alpha\}$는 선택적 정지에 대한 보정 없이 모든 샘플 크기 $t$에 대해 유의수준 $\alpha$에서 제1종 오류를 제로 제어합니다.
• NLPD 간극 항등식 (NLPD Gap Identity): 로그 자산(log-wealth) $\log M_t$는 소스 모델과 틸티드 예측 모델 사이의 누적 음의 로그 예측 밀도(Negative Log-Predictive Density, NLPD) 차이와 같습니다:
  $$\log M_t = \sum_{i=1}^t (\text{NLPD}_i(p_s) - \text{NLPD}_i(\tilde{p}_w))$$
  $\log(1/\alpha)$를 초과하는 로그 점수 이득이 누적될 때 기각이 발생합니다.

가우시안 프로세스를 위한 폐쇄형 해법 (Closed-Form for Gaussian Processes):
가우시안 프로세스(GP) 소스가 가우시안 레이블 시프트 비율을 갖는 경우, 저자들은 정규화 상수 $Z_w(x)$와 샘플당 로그 e-값에 대한 폐쇄형 표현식을 도출합니다. 이를 통해 GP 사후 확률 출력($\mu_s, \sigma^2_s$)과 시프트 파라미터만을 사용하여 효율적인 계산이 가능합니다.

다중 검정 (Multiple Testing):
$K$개의 스트림에 대한 병렬 검정의 경우, 본 논문은 보수적인 본페로니(Bonferroni) 보정을 사용하는 대신 배치 e-값을 사용하여 허위 발견율(False Discovery Rate, FDR)을 제어하는 e-BH 절차(Wang & Ramdas, 2022)를 권장합니다.

3. 주요 기여

1. NLPD 간극 항등식: 켈리 최적 베팅(Kelly-optimal betting)과 모델 평가를 연결하여, 누적 NLPD 간극이 유효한 e-프로세스의 로그 자산 역할을 함을 보여줍니다.
2. 언제든 유효한 확인 검정: 사전 지정된 샘플 크기를 요구하지 않으며 선택적 정지 하에서도 제1종 오류를 제어하는, 고정된 가설ed 시프트를 위한 공식적인 순차적 검정을 제공합니다.
3. 폐쇄형 GP e-값: 가우시안 레이블 시프트 틸트 하에서의 분석적 해법을 도출하여 GP 회귀에서의 실질적인 구현을 가능하게 합니다.
4. 성장률 특성화: 대안 가설(올바른 명세) 하에서, 본 검정은 점근적 검정력 1을 가지며, 그 성장률는 틸티드 모델과 소스 모델 사이의 평균 KL 발산과 같습니다.
5. 실증적 검증: 제1종 오류 제어, 유한 샘플 검정력, 미교정(miscalibration)에 대한 민감도, 그리고 희소한 배치에서 재추정보다 신뢰할 수 있는 사전 확률(prior)을 사용하는 것의 이점을 입증합니다.

4. 실험 결과

저자들은 엔드 투 엔드 GP 회귀 시뮬레이션을 통해 방법을 검증했습니다:

• 제1종 오류 제어: 예측 귀무가설 하에서, 경험적 허위 경보율은 모든 시계열 구간 동안 공칭 $\alpha$ (0.05) 미만으로 엄격하게 유지되어 언제든 유효한 보장을 확인했습니다.
• 고정 샘플 LRT 대비 검정력: 특정 샘플 크기에 맞춰 교정된 고정 샘플 우도비 검정(LRT)은 큰 시계열 구간에서 약간 더 높은 검정력을 보이지만, e-프로세스는 임의의 정지 시점에서도 유효성을 유지하므로 유연성과 검정력 사이의 근본적인 트레이드오프를 제공합니다.
• 소규모 배치 이점: 타겟 배치 크기가 작은 시나리오($n_t=10$)에서, 신뢰할 수 있는 사전 보정(오라클)은 홀드아웃(held-out) NLPD 측면에서 적응형 재추정 방식보다 성능이 훨씬 뛰어납니다. 확인 검정은 이러한 사전 확률 사용을 뒷받침하는 공식적인 근거를 제공합니다.
• 미교정 민감도: 본 검정은 소스 예측의 미교정 상태에 매우 민감합니다. 소스 GP의 분산 과소 추정(예: 인자 $c=2$)은 제1종 오류를 급격히 팽창시켜 최대 36.45%까지 높이는데, 이는 유효성 보장이 소스 모델이 잘 교정되어 있다는 조건에 의존함을 강조합니다.
• 명세 오류 강건성: 가설된 시프트가 잘못 명세된 경우(크기나 방향이 틀린 경우), 검정의 검정력은 감소하지만, 가중치가 테스트 전에 고정되어 있는 한 제1종 오류는 제어된 상태를 유지합니다. 즉, 본 검정은 명세 오류 때문에 허위로 귀무가설을 기각하지 않으며, 단지 귀무가설을 기각하지 못할 뿐입니다.

5. 의의 및 주장

본 논문은 모델 배포 시 자주 간과되는 특정 설정, 즉 **추정이 아닌 확인(confirmation rather than estimation)**을 위한 필수적인 도구를 제공한다고 주장합니다.

• 추정과의 차이: 저자들은 기각이 가설된 보정이 소스 모델에 비해 데이터와 일관성이 있음을 확인하는 것이지, 시프트의 정확한 정도를 정량화하는 것은 아님을 강조합니다. 정량적 추정을 위해서는 비라벨 타겟 방법론이 여전히 적절한 도구입니다.
• 실용적 유용성: 이 방법은 실무자가 도메인 지식 기반의 보정(예: 규제 사양)을 데이터가 도착함에 따라 공식적으로 검증할 수 있게 하여, 라벨링된 데이터가 희소한 상황에서 발생하는 재추정의 불확료성을 피할 수 있게 합니다.
• 한계점: 저자들은 제1종 오류 제어 보장이 예측 귀무가설(즉, 소스 모델이 잘 교정되어 있어야 함)에 조건부임을 명시적으로 밝힙니다. 본 검정은 추가적인 교정 계층 없이는 임의의 모델 명세 오류에 대해 강건하지 않습니다. 또한, 테스트를 시작하기 전에 후보 가중치가 반드시 고정되어야 합니다. 테스트 스트림의 데이터를 사용하여 가중치를 추정하면 e-값의 속성이 무효화됩니다.

요약하자면, 본 논문은 데이터가 부족한 환경에서 도메인 지식과 순차적 통계적 증거 사이의 간극을 메우며, 사전 지정된 레이블 시프트 보정을 확인하기 위한 엄격하고 언제든 유효한 프레임워크를 제공합니다.