Conformal Candidate Certification for Offline Model-Based Optimization

기술 요약: 오프라인 모델 기반 최적화를 위한 공형 후보 인증 (Conformal Candidate Certification)

문제 정의
오프라인 모델 기반 최적화(Offline Model-Based Optimization, MBO)는 추가적인 오라클 접근 없이 고정된 이력 데이터셋 $D$만을 사용하여 고성능 설계 $x$(예: 단백질 공학 또는 재료 과학 분야)를 식별하는 것을 목표로 한다. 표준 파이프라인은 $D$로 대리 모델(surrogate model) $\hat{f}_\theta$를 학습시키고 이를 최적화하여 후보를 제안한다. 그러나 이 과정은 본질적으로 대리 모델이 신뢰할 수 없는 분포 외(out-of-distribution, OOD) 영역으로 후보를 몰아넣게 되며, 이는 체계적인 과대평가(overestimation)로 이어진다.

기존 방법들은 제안 메커니즘을 수정(예: 보수적인 대리 모델, 불변 표현, 또는 조건부 생성 모델)함으로써 이를 완화하려고 시도한다. 그러나 핵심적인 간극이 남아 있다. 즉, 이러한 방법들은 제안된 설계 $x^*$가 목표 임계값 $\tau$를 만족한다(즉, $f(x^*) \ge \tau$)는 것을 보장하는 **개별 후보별 통계적 인증(per-candidate statistical certificate)**을 제공하지 못한다. 제안(생성) 작업과 인증(검증) 작업을 혼동하는 것은 제안의 보수성 페널티를 초래하거나 개별 후보에 대한 엄격한 커버리지 보장을 결여하게 만든다.

방법론: 공형 후보 인증 (Conformal Candidate Certification, CCC)
저자들은 임의의 오프라인 MBO 알고리즘에 의해 생성된 후보에 교정된 단측 하한(one-sided lower bound)을 부착하는 사후 처리 래퍼(post-hoc wrapper)인 **공형 후보 인증(CCC)**을 제안한다. CCC는 제안 작업과 인증 작업을 분리하며, 후자를 공변량 변화(covariate-shift) 공형 예측 문제로 취급한다.

본 방법론의 핵심 구성 요소는 다음과 같다:

1. 깁스 틸트(Gibbs Tilt)를 통한 공변량 변화 모델링:
   본 논문은 제안 분포 $Q_X$(후보가 추출되는 분포)를 역사적 데이터 분포 $P_X$의 깁스 틸트된 버전으로 모델링한다. 이는 엔트로피 정규화된 대리 모델 극대화 과정에서 자연스럽게 발생한다:
   $$q_T(x) \propto p_X(x) \exp\{\hat{f}_\theta(x)/T\}$$
   결정적으로, 변화를 유도하는 데 사용된 동일한 대리 모델 $\hat{f}_\theta$가 중요도 가중치(importance weights) $w(x) = dQ_X/dP_X(x)$를 함께 제공하므로, 별도의 밀도비 추정(density-ratio estimation) 단계가 필요하지 않다.

2. 온도(Temperature) 추정:
   온도 매개변수 $T$는 모멘트 매칭(moment-matching)을 통해 추정된다. 검증 세트와 비교하여 후보가 OOD일 때 발생하는 가중치 퇴화를 방지하기 위해, 저자들은 검증 세트 $D_{val}$을 후보 대리 점수와 결합하여 참조 분포의 상단 꼬리(upper tail)를 고정(anchor)한다.

3. 가중 공형 예측 (IW-CP):
   CCC는 공변량 변화 하에서 한계 타당성(marginal validity)을 회복하기 위해 중요도 가중 공형 예측을 채택한다.

   • 점수 함수: 단측 비정합 점수(nonconformity score)를 $s(x, y) = (\mu(x) - y)/\sigma(x)$로 정의한다. 여기서 $\mu$와 $\sigma$는 대리 모델의 평균과 불확실성을 나타낸다. 이는 하단 꼬리(과대평가)에 대한 교정 확률에 집중한다.
   • 가중 분위수: 후보 $x^*$에 대해, 방법론은 깁스 유도 가중치를 사용하여 교정 점수의 가중 분위수를 계산한다. 만약 테스트 포인트의 가중치가 교정 세트에 비해 너무 높으면, 하한은 무효(vacuous)해진다(이는 지지력이 부족함을 올바르게 나타낸다).
   • 인증: 하한은 $y(x^*) = \mu(x^*) - \hat{q}^w_{1-\alpha}(x^*)\sigma(x^*)$로 계산된다. 후보는 $y(x^*) \ge \tau$를 만족할 때만 인증된다.

주요 기여

1. 정식화: 본 논문은 오프라인 MBO를 위한 사후 후보 인증을 공변량 변화 공형 예측 문제로 정식화하여, 인증과 제안을 명시적으로 분리하였다.
2. 깁스 틸트 제안: 엔트로피 정규화된 대리 모델 극대화가 깁스 틸트된 제안 분포를 유도함을 입증하였으며, 이를 통해 외부 밀도 추정 없이 대리 모델 자체가 가중 공형 예측에 필요한 중요도 가중치를 제공할 수 있음을 보여주었다.
3. 이론적 타당성: 저자들은 오라클 가중치를 가정할 때, 새로운 후보로부터의 유한 표본 한계 타당성($P\{Y^* \ge y(X^*)\} \ge 1-\alpha$)을 증명하였다.
4. 실증적 입증: 합성 연구를 통해 CCC가 공격적인 제안 풀 내에서 유의미한 부분 집합을 성공적으로 인증하는 동시에, 오차 없는 인증을 달성함을 입증하였다. 반면, 일반적인(가중치가 없는) 공형 예측은 공변량 변화 하에서 무너지는 모습을 보였다.

실험 결과
공격적인 볼츠만 제안 풀(Boltzmann proposal pool)을 포함한 통제된 합성 연구에서:

• 나이브 대리 모델(Naive Surrogate): 모든 후보를 수용했으나 실제 정밀도(true precision)는 41%에 불과했다(많은 허위 양성 발생).
• 가중치가 없는 공형 예측: 공변량 변화를 무시한 결과, 명목 목표치인 0.90에 대해 0.416의 경험적 커버리지를 기록했으며, 22.7%의 허위 수용률을 보였다.
• CCC: 후보 풀의 **16.7%**를 인증하였다. 결정적으로, 명목 수준 0.90에서 0.990의 경험적 커버리지를 유지하였으며, 허위 수용률은 0.5% 미만이었다. 이 방법은 보수적이었으나 다양한 명목 수준($\alpha \in \{0.05, \dots, 0.20\}$)에 걸쳐 무효하지 않았다(non-vacuous).

의의 및 주장
본 논문은 CCC가 오프라인 MBO가 남겨둔 질문인 *"어떤 제안된 후보가 실험할 만큼 충분히 신뢰할 수 있는가?"*에 대한 원칙적인 해결책을 제공한다고 주장한다.

• 관심사의 분리: 기존의 모든 MBO 알고리즘을 래핑할 수 있는 CCC를 통해, 제안 메커니즘은 공격적인 상태를 유지하면서도, 교정된 하한(calibrated lower bound)을 통해 충분한 경험적 지지(empirical support)를 가진 후보만이 값비싼 실험 평가 단계로 넘어갈 수 있도록 보장한다.
• 변화에 대한 강건성: 이 방법은 표준 공형 예측이 실패하는 주요 원인인 공변량 변화를 명시적으로 다룬다. 이는 오프라인 MBO의 지배적인 특성이다.
• 제한 사항: 저자들은 유한 표본 보장이 오라클 가중치에 대해서만 엄격하게 성립한다는 점을 인정한다. 실제로 추정된 깁스 가중치를 사용하는 경우 보장은 정확하지 않지만, 실험 결과는 이 방법이 안티-보수적(anti-conservative)이기보다는 보수적인 경향을 유지함을 시사한다. 또한, 측정값이 노이즈가 있는 경우 잠재적 목적 함수 $f(x^*)$를 직접 인증하기 위해서는 추가적인 가정이 필요하며, 현재의 보장은 측정된 응답 $Y^*$에 적용된다는 점을 명시한다.

요약하자면, CCC는 공격적이고 잠재적으로 신뢰할 수 없는 MBO 제안을 엄격한 통계적 보장을 갖춘 후보 세트로 변환하는 사후 인증 계층을 제공함으로써, 오프라인 최적화와 신뢰할 수 있는 온라인 의사결정 사이의 간극을 메운다.