[기술 요약] Selective Conformal Risk Control (SCRC)

1. 문제 정의 (Problem Statement)

기존의 **컨포멀 예측(Conformal Prediction, CP)**은 분포에 무관(distribution-free)하며 유한 샘플에 대한 보장된 커버리지(coverage)를 제공한다는 강력한 장점이 있습니다. 하지만 실무적인 한계가 존재합니다:

• 비효율성: 원하는 커버리지 수준을 맞추기 위해 예측 세트(prediction set)의 크기가 지나치게 커지는 경향이 있습니다. 이는 의료 진단과 같이 정밀하고 압축된 정보가 필요한 분야에서 실용성을 떨어뜨립니다.
• 불확실성 처리의 부재: 모든 샘플에 대해 예측을 시도하려다 보니, 매우 불확실한 샘플에 대해서도 너무 큰 예측 세트를 생성하게 됩니다.

본 논문은 이를 해결하기 위해 선택적 분류(Selective Classification) 개념을 결합합니다. 즉, 모델이 확신이 없는 샘플은 예측을 포기(abstain)하고, 확신이 있는 샘플에 대해서만 효율적이고 압축된 예측 세트를 제공하는 것을 목표로 합니다.

2. 핵심 방법론 (Methodology)

SCRC는 2단계 리스크 제어(Two-stage Risk Control) 프레임워크를 제안합니다.

1단계: 선택 제어 (Selection Control)

• 목적: 어떤 샘플을 예측 대상으로 수락(accept)할지 결정하여 목표 커버리지($\xi$)를 달성합니다.
• 핵심 아이디어: 선택 과정이 데이터의 교환 가능성(exchangeability)을 깨뜨리지 않도록, 선택 임계값($\lambda_1$)을 계산할 때 테스트 데이터와 교정(calibration) 데이터를 대칭적으로 고려하는 방식을 사용합니다. 이를 통해 선택된 하위 집단에서도 통계적 유효성을 유지합니다.

2단계: 리스크 제어 (Risk Control)

• 목적: 수락된 샘플들에 대해 목표 리스크($\alpha$)를 만족하면서도 가장 작은 예측 세트를 구성합니다.
• 방법: 컨포멀 리스크 제어(Conformal Risk Control, CRC)를 적용하여, 수락된 샘플 집단 내에서 조건부 리스크를 제어하는 임계값($\lambda_2$)을 찾습니다.

두 가지 알고리즘 변형

1. SCRC-T (Transductive): 교정 데이터와 테스트 데이터를 대칭적으로 사용하여 엄격한 교환 가능성을 보장합니다. 이론적으로 정확한 유한 샘플 보장을 제공하지만, 새로운 테스트 데이터가 들어올 때마다 재계산이 필요하여 계산 비용이 높습니다.
2. SCRC-I (Inductive): 교정 데이터에서 임계값을 한 번만 계산하여 재사용합니다. PAC-style(Probably Approximately Correct) 확률적 보장을 제공하며, 계산 효율성이 뛰어나 실제 배포(deployment)에 훨씬 적합합니다.

3. 주요 기여 (Key Contributions)

• 통합 프레임워크 제안: 컨포멀 리스크 제어와 선택적 분류를 결합하여, '수락된 샘플'에 대해서만 유효한 불확실성 정량화 프레임워크를 구축했습니다.
• 이론적 보장: 선택된 하위 집단에 대한 조건부 리스크 제어와 선택 커버리지에 대한 수학적 증명을 제공했습니다. 특히 선택 과정에서 발생하는 교환 가능성 훼손 문제를 해결했습니다.
• 실용적 알고리즘 개발: 이론적 엄밀함을 갖춘 SCRC-T와 실무적 효율성을 갖춘 SCRC-I를 모두 개발했습니다.

4. 실험 결과 (Results)

CIFAR-10(이미지 분류)과 Diabetic Retinopathy Detection(의료 영상 진단) 데이터셋을 통해 검증했습니다.

• 리스크 및 커버리지 제어: 두 데이터셋 모두에서 제안된 방법론은 설정된 목표 리스크($\alpha$)와 커버리지($\xi$)를 정확하게 준수했습니다.
• 예측 효율성: 기존의 표준 컨포멀 예측 방식에 비해 예측 세트의 크기가 현저히 작았습니다. 이는 모델이 불확실한 샘플을 효과적으로 거절(reject)하고, 수락된 샘플에 대해서만 압축된 정보를 제공함을 의미합니다.
• SCRC-T vs SCRC-I: 두 방법의 성능은 거의 동일했습니다. SCRC-I가 통계적 보수성(conservatism) 때문에 예측 세트가 아주 약간 더 컸지만, 계산 효율성 측면에서 실무적 우위가 확인되었습니다.
• 점수 함수 영향: Entropy, Energy 등의 점수 함수를 사용할 때 예측 세트가 더 작아지는 경향을 보였으며, 이는 선택 함수의 선택이 효율성에 큰 영향을 미침을 보여줍니다.

5. 의의 및 결론 (Significance)

본 논문은 **"모든 샘플에 대해 불확실성을 설명하려 하지 말고, 확신할 수 있는 샘플에 집중하자"**는 실용적인 접근법을 이론적으로 정립했습니다.

SCRC는 특히 의료, 자율 주행, 금융과 같이 고위험(high-stakes) 도메인에서 매우 중요합니다. 불확실한 케이스는 모델이 억지로 예측 세트를 키워 답변하는 대신, "판단 불가"로 분류하여 전문가(사람)에게 넘길 수 있는(deferral) 구조를 제공하기 때문입니다. 이는 머신러닝 시스템의 신뢰성과 안전성을 높이는 데 크게 기여할 수 있습니다.