[기술 요약] 비대칭 규칙을 가진 온라인 선택적 컨포멀 예측: 순열 검정 접근법

1. 문제 정의 (Problem Statement)

**선택적 컨포멀 예측(Selective Conformal Prediction)**의 목표는 데이터 기반 메커니즘(Selection Mechanism)에 의해 선택된 테스트 샘플에 대해 유효한 커버리지(valid coverage)를 갖는 예측 집합(prediction set)을 구축하는 것입니다.

• 기존 연구의 한계: 기존의 오프라인 방식(예: JOMI)은 데이터의 순서가 바뀌어도 선택 결과가 변하지 않는 '대칭적(permutation invariant)' 선택 규칙만을 다룰 수 있었습니다.
• 온라인 설정의 난제: 데이터가 순차적으로 들어오는 온라인 환경에서는 **선택 규칙이 본질적으로 비대칭적(asymmetric)**입니다. 즉, 과거 데이터의 순서가 현재의 선택 결정($S_t$)에 영향을 미치기 때문에, 기존의 '데이터 스와핑(swapping)' 방식으로는 교환 가능성(exchangeability)을 유지하며 유효한 커버리지를 보장하기 어렵습니다.

2. 핵심 방법론: PEMI (PErmutation-based Mondrian Conformal Inference)

본 논문은 임의의 비대칭 선택 규칙에 적용 가능한 일반적인 순열 기반 프레임워크인 PEMI를 제안합니다.

핵심 아이디어: 순열 기반 선택적 추론 (Selective Inference over Permutations)

기존 방식이 개별 데이터 포인트를 교체(swap)하는 방식이었다면, PEMI는 데이터 전체의 순열(permutation) 수준에서 추론을 수행합니다.

1. 참조 집합(Reference Set) 구축: 관측된 데이터의 모든 가능한 순열(또는 몬테카를로 샘플링된 부분집합) 중에서, 동일한 선택 이벤트($S_t=1$)를 유발하는 순열들만 모아 참조 집합 $\hat{R}_t$를 구성합니다.
2. 순열 검정(Permutation Test) 수행: 가설 레이블 $y$에 대해, 해당 $y$를 포함했을 때의 순열 데이터들이 참조 집합 내의 다른 순열들과 비교했을 때 얼마나 '정상 범위(conformity score)'에 있는지를 측정하여 p-value($p_t$)를 계산합니다.
3. 예측 집합 생성: 계산된 p-value가 설정된 유의 수준 $\alpha$보다 큰 $y$값들을 모아 예측 집합 $\hat{C}_{\alpha,t}$를 만듭니다.

주요 이론적 보장 (Theoretical Guarantees)

• 유한 표본 선택 조건부 커버리지(Finite-sample SCC): 데이터가 교환 가능(exchangeable)하다는 가정하에, 선택 규칙의 형태와 상관없이 유한한 표본에서도 $P(Y_t \in \hat{C}_{\alpha,t} | S_t = 1) \geq 1-\alpha$를 만족함을 증명했습니다.
• 확장성: 오프라인 데이터 통합, 다중 테스트 샘플로의 확장, 그리고 잘못된 커버리지율(FCR) 제어까지 이론적으로 확장 가능함을 보였습니다.

3. 주요 기여 및 효율적 구현 (Key Contributions & Implementations)

모든 순열을 계산하는 것은 계산적으로 불가능할 수 있으므로, 논문은 실용적인 세 가지 효율적 구현 방식을 제안합니다.

1. 공변량 기반 규칙 (Covariate-dependent rules): 선택 결정이 레이블($Y$)이 아닌 특징량($X$)에만 의존하는 경우(예: 결정론적 선택, 가중 평균/분위수 기반 선택). 이 경우 참조 집합이 $y$에 독립적이므로 매우 빠르게 계산 가능합니다.
2. 컨포멀 선택 (Conformal selection): p-value나 e-value를 임계값으로 사용하여 샘플을 선택하는 경우. 논문은 이를 위해 구간별로 참조 집합을 나누어 계산하는 알고리즘을 제시합니다.
3. 이전 결과 기반 선택 (Selection based on earlier outcomes): 과거의 실제 레이블 값들을 기준으로 현재 샘플을 선택하는 경우.

4. 실험 결과 (Results)

신약 개발 데이터셋 (Drug Discovery) 적용

실제 약물-타겟 상호작용(DTI) 데이터셋을 통해 PEMI의 성능을 검증했습니다.

• 커버리지(Coverage): 기존의 Vanilla CP는 선택된 샘플에 대해 커버리지가 현저히 낮았고, EXPRESS와 같은 기존 온라인 방식은 너무 보수적이어서 예측 집합이 무한대(vacuous)가 되는 경우가 많았습니다. 반면, PEMI는 타겟 커버리지를 매우 정확하게 유지했습니다.
• 효율성(Efficiency): PEMI는 유효한 커버리지를 보장하면서도 예측 집합의 크기를 적절하게 유지하여 실용성을 입증했습니다.

시뮬레이션 연구

• 모델 품질 및 노이즈: 예측 모델이 부정확하거나 데이터에 노이즈가 많더라도 PEMI는 강건하게(robust) 타겟 커버리지를 달성했습니다.
• 가중치 감쇠 및 점수 함수: 다양한 가중치 설정과 다양한 적합도 점수 함수(CQR 등) 하에서도 안정적인 성능을 보였습니다.

5. 의의 (Significance)

본 논문은 온라인 환경에서의 비대칭적 선택 문제라는 까다로운 문제를 **순열 검정(Permutation Test)**이라는 강력한 통계적 도구를 통해 해결했습니다.

1. 일반성(Generality): 특정 선택 규칙에 국한되지 않고, 거의 모든 형태의 데이터 기반 선택 메커니즘에 적용할 수 있는 범용 프레임워크를 제공합니다.
2. 엄밀성(Rigor): 점근적(asymptotic) 보장이 아닌, 유한 표본(finite-sample)에서의 정확한 통계적 보장을 제공합니다.
3. 실용성(Practicality): 이론에 그치지 않고 실제 신약 개발과 같은 고위험(high-stakes) 의사결정 분야에서 즉시 활용 가능한 효율적인 알고리즘을 함께 제시했습니다.