Conformal Selective Prediction with General Risk Control

Each language version is independently generated for its own context, not a direct translation.

이 논문은 **"SCoRE"**라는 새로운 AI 안전 장치를 소개합니다. 쉽게 말해, **"AI 가 자신 있게 예측할 때만 믿고, 그렇지 않을 때는 '모르겠다'고 말하는 시스템을 만드는 방법"**입니다.

기존의 AI 는 틀릴 때도 무조건 답을 내놓곤 합니다. 하지만 의료나 신약 개발처럼 실수가 치명적인 분야에서는 AI 가 "이건 확실하지 않아"라고 말할 수 있어야 합니다. 이 논문은 AI 가 "선택적으로 (Selective)"만 답을 내놓을 때, 그 답이 얼마나 안전한지 수학적으로 보장하는 새로운 규칙을 제시합니다.

이해를 돕기 위해 세 가지 비유로 설명해 드리겠습니다.

1. 비유: "신뢰할 수 있는 요리사"와 "위험한 재료"

상상해 보세요. 여러분은 유명한 요리사 (AI 모델) 를 고용했습니다. 요리사는 매일 새로운 재료 (데이터) 를 보고 요리를 만듭니다. 하지만 가끔 재료가 상했을 수도 있고, 요리사가 피곤해서 실수를 할 수도 있습니다.

기존 방식: 요리사가 만든 모든 요리를 무조건 손님에게 냅니다. 맛이 없을 때 (오류) 손님이 화를 냅니다.
SCoRE 방식: 요리사가 "이 재료는 신선해 보여요, 요리할게요!"라고 말할 때만 요리를 내놓고, "이건 좀 위험해 보이네요, 버릴게요"라고 말할 때는 아예 요리를 하지 않습니다.

여기서 중요한 건, **"요리사가 '신선하다'고 말한 요리들 중에서, 상한 요리 (오류) 가 나올 확률을 미리 정해둔 기준 (예: 10% 미만) 으로严格控制해야 한다"**는 점입니다. SCoRE 는 바로 이 "상한 요리"의 비율을 수학적으로 보장해 주는 시스템입니다.

2. 두 가지 안전 기준: "총 비용" vs "평균 비용"

이 논문은 안전을 지키는 두 가지 다른 방식을 제안합니다.

A. MDR (전체 배포 위험): "총 예산" 관리

비유: "오늘 하루에 실패한 요리로 인해 들어가는 총 손실 금액이 10 만 원을 넘지 않게 해라."
상황: 요리사가 100 개 요리를 만들었는데, 그중 1 개가 상했을 때 (10 만 원 손실) 는 괜찮지만, 100 개가 다 상하면 안 됩니다.
핵심: 전체적으로 얼마나 많은 실수를 했는지에 초점을 맞춥니다.

B. SDR (선택적 배포 위험): "평균 품질" 관리

비유: "요리사가 내놓은 요리들 중, 하나당 평균으로 들어가는 손실 금액이 1,000 원이 넘지 않게 해라."
상황: 요리사가 10 개만 내놓았더라도, 그중 5 개가 상했다면 평균 손실이 커지므로 안 됩니다. 반대로 1,000 개를 내놓더라도 하나당 손실이 작으면 OK 입니다.
핵심: 우리가 선택해서 믿는 (배포한) 결과물들의 평균적인 안전성을 보장합니다. 이는 "거짓 발견율 (FDR)"을 연속적인 숫자로 확장한 개념입니다.

3. SCoRE 의 마법 도구: "E-Value(에이-밸류)"

이 시스템이 어떻게 작동할까요? 여기서 핵심은 **'E-Value'**라는 통계학적 도구입니다.

비유: "신뢰 점수" 대신 **"위험 감시등"**을 켭니다.
- 기존 방식은 "이게 맞을 확률이 95% 이상이야 (P-value)"라고 말했지만, 연속적인 숫자 (예: 의약품 개발 비용, ICU 입원일수 오차) 를 다룰 때는 한계가 있었습니다.
- SCoRE 의 E-Value: "이 예측이 틀렸을 때의 예상 비용과 이 점수를 곱하면, 평균적으로 1 보다 작아야 해"라는 규칙을 만듭니다.
- 만약 요리사가 "이건 100% 안전해!"라고 말했는데, E-Value 가 100 이 나온다면? "아니야, 너는 너무 자신 있어. 위험 감시등이 너무 밝게 켜졌어. 믿을 수 없어!"라고 판단하고 그 요리를 거절합니다.

이 E-Value 는 데이터가 서로 뒤섞여도 (교환성) 상관없이 작동하므로, 복잡한 AI 모델이나 데이터 분포가 바뀌는 상황에서도 안전하게 적용할 수 있습니다.

4. 실제 적용 사례 (이게 왜 중요할까요?)

이 기술은 다음과 같은 곳에서 쓰입니다:

신약 개발 (Drug Discovery):
- AI 가 "이 화합물은 약이 될 거야!"라고 예측합니다. 하지만 실험해 보면 실패할 수도 있습니다. 실패하면 막대한 비용이 듭니다.
- SCoRE 는 "실패했을 때 드는 평균 비용이 이 정도를 넘지 않게"만 화합물을 선별해 줍니다.
병원 예보 (ICU 입원일수 예측):
- AI 가 "환자가 5 일간 입원할 거야"라고 예측합니다. 하지만 10 일이나 걸리면 병상 관리가 엉망이 됩니다.
- SCoRE 는 "예측 오차가 큰 경우만 걸러내어, 전체적으로 쌓인 오차가 일정 수준을 넘지 않게" 관리합니다.
LLM(대형 언어 모델) 보고서 작성:
- AI 가 방사선 영상을 보고 "폐렴이 있다"고 보고서를 작성합니다. 하지만 의사가 읽으면 틀린 말일 수도 있습니다.
- SCoRE 는 "의사가 읽을 만한 정확한 보고서만 골라내어, 잘못된 정보의 비율을 통제"합니다.

요약

SCoRE는 AI 가 "모르겠다"고 말할 수 있는 용기를 주는 동시에, "믿겠다"고 말할 때는 수학적으로 확실한 안전장치를 제공하는 시스템입니다.

기존: AI 가 틀릴 때 무조건 책임을 짐.
SCoRE: AI 가 "이건 확실해"라고 말할 때만 믿고, 그중에서도 틀릴 확률 (또는 비용) 을 미리 정해둔 기준 이하로 통제함.

이 방법은 AI 를 의료, 금융, 과학 연구 등 실수가 치명적인 분야에 안전하게 적용할 수 있는 길을 열어줍니다. 마치 AI 에게 "너는 전문가지만, 모르는 건 인정하고 넘어가라. 대신 아는 건 확실하게 해라"라고 가르치는 것과 같습니다.

Each language version is independently generated for its own context, not a direct translation.

1. 문제 정의 (Problem Setup)

기존의 선택적 예측 (Selective Prediction) 연구는 주로 이진 분류 (Binary Classification) 에 초점을 맞추거나, 점근적 (asymptotic) 인 오차 통제를 제공했습니다. 그러나 실제 고위험 분야 (신약 개발, 의료 진단 등) 에서는 다음과 같은 한계가 존재합니다.

연속적 위험 (Continuous Risk): 예측 오차가 이진 (0 또는 1) 이 아닌 연속적인 값 (예: 개발 비용, 예측 오차의 제곱, 의미적 거리) 으로 정의되는 경우가 많습니다.
유한 표본 보장 부재: 많은 기존 방법론이 대수의 법칙에 의존하거나 균일 집중 (uniform concentration) 불평등을 사용하는데, 이는 유한 표본 (finite-sample) 에서 보장되지 않거나 보수적일 수 있습니다.
분포 변화 (Distribution Shift): 훈련 데이터와 테스트 데이터의 분포가 다를 때 (Covariate Shift) 에도 유효한 통제가 필요합니다.

목표:
레이블이 없는 테스트 데이터 $X_{n+j}$ 에 대해, 모델 $f$ 를 신뢰할지 ( $\psi_{n+j}=1$ ) 아니면 거절할지 ( $\psi_{n+j}=0$ ) 결정하는 이진 결정을 내리되, 선택된 사례들에서 정의된 알려지지 않은 위험 $L_{n+j}$ 을 통제하는 것입니다.

두 가지 주요 위험 지표 (Metrics) 를 정의합니다:

MDR (Marginal Deployment Risk): 배포된 모든 인스턴스에 걸친 총 기대 위험.
$\text{MDR} := \mathbb{E}[L_{n+1} \cdot \hat{\psi}_{n+1}] \le \alpha$
SDR (Selective Deployment Risk): 배포된 인스턴스들 사이의 평균 위험 (False Discovery Rate 의 일반화).
$\text{SDR} := \mathbb{E}\left[ \frac{\sum L_{n+j}\hat{\psi}_{n+j}}{1 \vee \sum \hat{\psi}_{n+j}} \right] \le \alpha$

2. 방법론 (Methodology: SCoRE)

SCoRE 는 **Conformal Inference (준형적 추론)**와 **Hypothesis Testing (가설 검정)**의 아이디어를 결합하여 **E-values (E-값)**를 기반으로 합니다.

2.1. 위험 조정 E-값 (Risk-Adjusted E-values)

기존의 p-value 가 확률 분포의 꼬리 확률을 기반으로 한다면, E-value 는 **기댓값 (Expectation)**을 기반으로 합니다.

정의: 확률 변수 $E_{n+j}$ 가 위험 조정 E-값이 되려면 다음 조건을 만족해야 합니다:
$E_{n+j} \ge 0 \quad \text{and} \quad \mathbb{E}[L_{n+j} E_{n+j}] \le 1$
여기서 $L_{n+j}$ 는 알려지지 않은 위험입니다. 이 조건은 데이터의 교환 가능성 (Exchangeability) 을 가정할 때, 표본 데이터 (Calibration data) 를 이용해 구성할 수 있습니다.
의미: $E_{n+j}$ 가 크다는 것은 해당 사례의 위험 $L_{n+j}$ 이 작을 가능성이 높다는 것을 의미합니다.

2.2. MDR 및 SDR 통제 전략

MDR 통제 (Theorem 3.2):
임의의 위험 조정 E-값 $E_{n+j}$ 에 대해, 임계값 $\alpha$ 를 사용하여 다음과 같이 결정합니다:
$\hat{\psi}_{n+j} = \mathbb{I}(E_{n+j} \ge 1/\alpha)$
이 결정 규칙은 유한 표본에서 MDR 을 $\alpha$ 이하로 통제합니다.
SDR 통제 (Theorem 3.3):
다중 검정 (Multiple Testing) 문제와 유사하게, e-BH (e-value Benjamini-Hochberg) 절차를 적용합니다.
$\hat{\psi}_{n+j} = 1 \iff E_{n+j} \ge \frac{m}{\alpha \hat{\tau}}$
여기서 $\hat{\tau}$ 는 e-BH 절차에 의해 선택된 개수입니다. 이 방법은 SDR 을 $\alpha$ 이하로 통제합니다.

2.3. E-값 구성 (Construction of E-values)

MDR 용 (Section 4):
스코어 함수 $s(X)$ (위험 추정치) 와 칼리브레이션 데이터의 위험 $L_i$ 를 사용하여 E-값을 구성합니다.
$E_{\gamma, n+1} = \inf_{\ell \in [0,1]} \left\{ \frac{(n+1) \cdot \mathbb{I}(s(X_{n+1}) \le t_\gamma(\ell))}{\sum_{i=1}^n L_i \mathbb{I}(s(X_i) \le t_\gamma(\ell)) + \ell \mathbb{I}(s(X_{n+1}) \le t_\gamma(\ell))} \right\}$
여기서 $t_\gamma(\ell)$ 는 경험적 위험 추정치가 $\gamma$ 를 초과하지 않도록 하는 임계값입니다.
- 계산 효율성: Proposition 4.4 를 통해 infimum 연산을 피하고 직접적인 임계값 비교로 변환할 수 있어 계산이 효율적입니다.
SDR 용 (Section 5):
선택된 샘플들의 평균 위험을 통제하기 위해, e-BH 필터와 호환되도록 E-값을 구성합니다.
$E_{\gamma, n+j} = \inf_{\ell \in [0,1]} \left\{ \frac{(n+1) \cdot \mathbb{I}(s(X_{n+j}) \le t_{\gamma, n+j}(\ell))}{\ell \mathbb{I}(s(X_{n+j}) \le t_{\gamma, n+j}(\ell)) + \sum_{i=1}^n L_i \mathbb{I}(s(X_i) \le t_{\gamma, n+j}(\ell))} \right\}$
- 부스팅 (Boosting): 선택력 (Power) 을 높이기 위해 E-값에 무작위 인자 (Uniform noise) 를 곱하거나 나누는 부스팅 전략을 도입하여 SDR 통제 하에서 더 많은 샘플을 선택할 수 있게 합니다.

2.4. 공변량 변화 (Covariate Shift) 대응

훈련 데이터와 테스트 데이터의 분포가 다를 때, 가중치 (Weights) $w(x)$ 를 도입하여 E-값을 수정합니다 (Section 6).

가중치 $w(x)$ 가 알려져 있거나 추정 가능하다면, 교환 가능성 가정을 "가중치 교환 가능성 (Weighted Exchangeability)"으로 확장하여 동일한 위험 통제 보장을 유지합니다.
추정된 가중치를 사용할 경우, 점근적 (Asymptotic) 으로 위험 통제가 보장되며, 이중 강건성 (Double Robustness) 을 가질 수 있습니다.

3. 주요 기여 (Key Contributions)

일반화된 위험 통제 프레임워크: 이진 위험뿐만 아니라 연속적이고 유계된 (bounded) 위험을 통제할 수 있는 최초의 선택적 예측 프레임워크를 제안했습니다.
유한 표본 및 분포 자유 (Finite-sample & Distribution-free) 보장: 모델에 대한 가정 없이 데이터의 교환 가능성만 가정하여, 어떤 블랙박스 모델에도 적용 가능하며 유한 표본에서 엄격한 오차 통증을 제공합니다.
두 가지 위험 지표 (MDR/SDR) 의 통합: 총 위험 (MDR) 과 선택된 샘플의 평균 위험 (SDR) 을 모두 통제할 수 있는 통합된 이론적 기반을 마련했습니다.
실용적 알고리즘 및 최적성 분석:
- E-값의 효율적인 계산 알고리즘을 제시했습니다.
- Neyman-Pearson 레마와 유사한 점근적 최적성 분석을 통해, 위험과 보상 (Reward) 의 비율을 기반으로 한 스코어 함수가 최적의 선택력을 가진다는 것을 보였습니다.
다양한 응용 사례 검증: 신약 개발 (Drug Discovery), ICU 입원 기간 예측, LLM 기반 방사선 보고서 생성 등 실제 데이터셋을 통해 방법론의 유효성을 입증했습니다.

4. 실험 결과 (Results)

실제 데이터 적용:
- 신약 개발: 활성이 낮은 후보 물질을 걸러내어 개발 비용 (위험) 을 통제하면서도, 다양한 분자 구조 (보상) 를 선택하는 능력을 입증했습니다.
- 임상 예측 (ICU): 예측 오차 (MSE) 가 큰 경우를 거절하여 전체적인 예측 오차를 통제하면서도, 입원 기간이 긴 환자 (고위험군) 에 대한 예측 신뢰도를 높였습니다.
- LLM (방사선 보고서): 생성된 보고서와 전문가 보고서 간의 의미적 거리 (Semantic Distance) 를 위험으로 정의하여, 신뢰할 수 있는 보고서만 선별했습니다.
시뮬레이션:
- 다양한 데이터 생성 과정 (DGP) 과 위험 함수 (Excess, L2, Sigmoid) 하에서 SCoRE 가 명목 수준 (Nominal level) $\alpha$ 에 맞춰 위험을 엄격하게 통제함을 확인했습니다.
- 기존 균일 집중 (Uniform Concentration) 기반의 베이스라인 방법론보다 **선택력 (Power, 더 많은 유효 샘플 선택)**이 월등히 높음을 보였습니다.
- 공변량 변화 (Covariate Shift) 하에서도 추정된 가중치를 사용하여 견고한 통제를 유지함을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 AI 모델의 신뢰성 있는 배포를 위한 중요한 이정표입니다.

이론적 확장: 기존 선택적 예측이 이진 오차에 국한되었던 한계를 넘어, 연속적인 위험 (비용, 오차 크기 등) 을 정밀하게 통제할 수 있는 수학적 기반을 제공했습니다.
실무적 가치: 의료, 금융, 신약 개발 등 오차가 치명적인 분야에서 AI 모델을 사용할 때, "언제 믿고 사용할지"에 대한 엄격한 통계적 보장을 제공합니다.
유연성: 모델의 종류나 데이터 분포에 구애받지 않으며, 위험 정의와 보상 (Reward) 구조를 사용자 정의할 수 있어 다양한 시나리오에 적용 가능합니다.

결론적으로, SCoRE는 AI 시스템의 "신뢰 (Trust)"를 정량화하고 통제하는 강력한 도구로서, 안전하고 효율적인 AI 배포를 가능하게 합니다.