Null-Calibrated Conformal Selection via Target-Membership Scores

기술 요약: 타겟-멤버십 점수를 통한 Null-Calibrated Conformal Selection

1. 문제 정의

Conformal selection은 미지의 응답이 사용자가 지정한 타겟 영역 $I \subseteq \mathcal{Y}$ 내에 있는 후보들을, 거짓 발견율(False Discovery Rate, FDR)을 제어하면서 추출하는 것을 목표로 한다. 이 과제는 두 가지 목적 사이의 균형을 맞추는 데 어려움이 있다: 즉, 거짓 발견(대상 $Y \notin I$인 후보가 선택되는 경우)을 최소화하는 것과 실제 타겟을 최대한 많이 선택하는 것(Power 극대화)이다.

기존 방법론들은 일반적으로 부호 잔차(signed residuals), 클리핑된 잔차(clipped residuals), 또는 조건부 분위수 점수(conditional quantile scores)와 같은 conformal prediction의 비정상성 점수(nonconformity scores)를 그대로 계승한다. 이러한 점수들은 선택 작업(Y가 I에 속하는지 여부를 결정하는 작업)보다는 예측 작업(Y를 추정하는 작업)에 설계되었다. 저자들은 이러한 예측 지향적 점수들이 선택 목적과 구조적으로 어긋날 수 있다고 주장하며, 특히 타겟 영역이 구간(interval), 분산 기반(variance-driven), 다중 모드(multimodal), 또는 여러 조건으로 정의된 경우 그러하다. 이러한 경우, 높은 예측 점수(예: 높은 조건부 평균)가 반드시 높은 타겟 멤버십 확률을 의미하는 것은 아니다.

2. 방법론

타겟-멤버십 원칙 (The Target-Membership Principle)
본 논문은 점수 선택의 근본적인 전환을 제안한다: Conformal selection의 자연스러운 점수는 타겟-멤버십 확률이다:
$$\eta_I(x) = P(Y \in I \mid X = x)$$
이 점수는 선택 문제를 레이블이 $Z = \mathbb{I}\{Y \in I\}$인 이진 분류 작업으로 취급한다. 네이만-피어슨 정리(Neyman–Pearson lemma)에 따라, $\eta_I(x)$의 임의의 단조 변환(monotone transform)을 임계값 처리하는 것은 고정된 null selection 수준에서 타겟 선택 확률을 극대화하는 오라클 랭킹(oracle ranking)을 제공한다.

점수-타겟 정렬 특성 (Score-Target Alignment Characterization)
본 논문은 기존 점수가 충분한 경우와 실패하는 경우를 엄격하게 규명한다:

• 평균-단조 타겟 (Mean-Monotone Targets): 타겟 멤버십이 조건부 평균에 대해 단조적인 일방향 타겟(예: $I = [c, \infty)$)의 경우, 기존 점수(잔차, 우도비 등)는 $\eta_I(x)$와 동일한 랭킹을 유도한다. 이러한 체제에서는 새로운 원칙이 기존 관행을 회복할 뿐, 파워(power) 측면에서 이점을 제공하지 않는다.
• 미정렬 타겟 (Misaligned Targets): 구간 타겟, 분산 기반 타겟, 다중 모드 분포, 또는 다중 조건 타겟의 경우, 기존 점수들은 종종 $\eta_I(x)$와 정렬되는 데 실패한다. 예를 들어, 분산 기반 구간 타겟에서 조건부 평균은 멤버십에 대한 정보를 전혀 포함하지 않을 수 있는 반면, $\eta_I(x)$는 관련 신호를 포착한다.

Null-Calibrated Conformal Selection (NCCS)
멤버십 점수를 실행하기 위해, 본 논문은 랭킹을 유한 표본 유효한 p-값으로 변환하는 특정 교정 경로인 NCCS를 도입한다.

1. 점수 학습 (Score Learning): 타겟-멤버십 점수 $g(x)$를 이진 레이블 $Z_i = \mathbb{I}\{Y_i \in I\}$를 사용하여 전용 분할 데이터($D_{sc}$)에서 학습시킨다. 논문은 비용 민감 로지스틱 회귀(cost-sensitive logistic regression)나 그래디언트 부스팅 트리(gradient-boosted trees) 사용을 제안한다.
2. Null 교정 (Null Calibration): 모든 교정 예시를 테스트 점수와 비교하는 표준 conformal selection과 달리, NCCS는 테스트 점수를 오직 확인된 비-타겟 교정 예시($C_0 = \{i \in D_{cal} : Y_i \notin I\}$)와만 비교한다.
3. P-값 구성 (P-Value Construction): 테스트 후보 $j$에 대하여, null-calibrated p-값은 다음과 같다:
   $$p_j(g) = \frac{1 + \#\{i \in C_0 : g(X_i) \ge g(X_{N+j})\}}{|C_0| + 1}$$
4. 선택 (Selection): 이 p-값들은 최종 집합을 선택하기 위해 다중 검정 절차(예: Benjamini–Hochberg 또는 Benjamini–Yekutieli)에 입력된다.

3. 주요 기여

1. 타겟-멤버십 원칙: 본 논문은 conformal selection을 $Y \in I$ 사건에 대한 분류 문제로 보는 것이 타당함을 확립한다. 이는 $\eta_I(x)$가 예측 지향적 점수와 구별되는 이론적 근거로서 타겟-멤버십 확률이 최적의 점수임을 보여준다.
2. 정렬 특성 규명: 기존 점수가 작동하는 지점(평균-단조 타겟)과 실패하는 지점(구간, 분산 기반, 다중 모드 타겟)의 경계를 정확히 구분하여, 왜 멤버십 스코어링이 후자의 경우에 대한 "표준적 수선(canonical repair)"이 되는지를 설명한다.
3. NCCS를 통한 유한 표본 유효성: 본 논문은 랭킹을 유한 표본 null p-값으로 변환하는 특정 교정 경로(NCCs)를 격리하여, null exchangeability 하에서 유한 표본 null p-값 유효성을 보장한다. 이는 점근적으로만 FDR을 제어하고 타겟이 희귀할 때 반-보수적(anti-conservative)일 수 있는 직접적인 경험적-FDP 임계값 설정(예: Qin et al., 2025)과 차별화된다.
4. 실증적 검증: 실험을 통해 이론적 예측을 확인한다:
   • 평균-단조 타겟에서, 멤버십 점수는 기존 점수와 유사한 성능을 보인다.
   • 분산 기반 구간 타겟에서, 멤버십 점수는 평균 점수 기반 선택(성능 붕괴 발생)보다 실질적으로 우수한 성능을 보인다.
   • NCCS는 유한 표본에서도 엄격한 FDR 제어를 유지하는 반면, 직접 임계값 설정 방식은 특히 희귀 타겟 체제에서 명목 FDR을 초과할 수 있다.

4. 결과 및 한계

실험적 결과

• 평균-단조 체제: 상측 꼬리(upper-tail) 타겟 설정에서, NCCS-BH(Benjamini-Hochberg 사용)는 clipped cfBH 또는 직접 Neyman-Pearson(Qin-NP) 임계값 설정보다 더 보수적이었으며, 이는 낮은 파워와 유사한 FDR 제어를 가져왔다. 이는 이 원칙이 기존 방법이 이미 작동하는 곳에서 인위적으로 파워를 부풀리지 않음을 확인시켜 준다.
• 분산 기반 체제: 조건부 분산에 의해 구동되는 구간 타겟 설정에서, 평균 점수 기반 방법(Mean-Null-BH)은 완전히 실패했다(파워 $\approx 0$). 반면 NCCS-BH는 오라클(0.354)에 근접하는 상당한 파워(0.288)를 유지하며, 평균 기반 접근법을 크게 압도했다.
• 희귀 타겟: 타겟 빈도가 낮을 때, 직접적인 경험적-FDP 임계값 설정(Qin-NP)은 inflated FDR(예: 명목 0.10 대비 0.170)을 보였으나, NCCS-BH는 명목 수준 아래를 엄격히 유지하며 유한 표본 희귀 이벤트 시나리오에서의 강건성을 입증했다.

제한 사항 및 한계
저자들은 NCCS가 보편적인 파워 승자로 제시된 것이 아님을 명시한다.

• 파워 트레이드오프: NCCS는 점근적 FDP 추정 대신 유한 표본 p-값 유효성에 의존하기 때문에, 직접적인 Neyman-Pearson 임계값 설정보다 종종 더 보수적이다.
• 희귀 타겟: 타겟 이벤트 자체가 매우 희귀할 경우 멤버십 점수를 학습하는 것 자체가 어려울 수 있으며, 효율성을 위해 분포론적 또는 베이지안 모델이 필요할 수 있다.
• 교환 가능성 (Exchangeability): NCCS의 유한 표본 유효성은 null exchangeability 가정에 의존한다. 공변량 변화(covariate shift)나 레이블 변화(label shift)가 있는 경우, null 교정 세트가 더 이상 null 테스트 후보를 대표하지 못할 수 있으며, 이는 가중 교정(weighted calibration)이 필요한 방향으로 남겨진 향후 연구 과제이다.
• 범위: 본 논문은 단일 방법론의 우월성을 홍보하기보다는, 일반적인 타겟을 위한 올바른 점수를 식별하고 그 경계를 규명하는 원칙과 특성 파악에 집중한다.

5. 의의

본 논문의 의의는 conformal selection을 분류 문제로 재정의함으로써, 타겟-멤버십 확률을 이론적으로 최적의 점수로 식별했다는 점에 있다. 또한, 이 새로운 접근 방식이 필요한 지점(비-단조 타겟)과 불필요한 지점을 명확하고 테스트 가능한 경계로 제시한다. 나아가, 점근적 파워보다 유한 표본 유효성을 우선시하는 NCCS를 도입하여, 작은 표본이나 희귀 이벤트 체제에서 거짓 발견 제어가 중요한 선택 문제에 대한 강건한 솔루션을 제공한다.