기술 요약: 반사실적 정책을 이용한 안전한 베이지안 최적화 (Safe Bayesian Optimization with Counterfactual Policies)

문제 정의

본 논문은 안전 제약 조건이 **반사실적 결과(counterfactual outcomes)**에 의존하는 설정에서 **안전한 베이지안 최적화(SafeOpt)**를 수행하는 문제를 다룹니다. 임상 시험과 같은 많은 순차적 의사결정 시나리오에서, 새로운 중재(intervention) $x_t$가 안전하다고 간주되려면 그 결과 $Y(x_t)$가 기존의 표준 치료(standard-of-care) 정책인 $Y(x_{soc,t})$의 결과보다 현저히 낮지 않아야 합니다.

핵심적인 어려움은 $x_{soc,t}$가 반사실적이라는 점에서 발생합니다. 즉, 표준 치료 정책은 시간 $t$에서 적용되지 않으므로 $Y(x_{soc,t})$는 관측되지 않습니다. 전통적인 SafeOpt 방법은 관측된 제약 조건 값을 사용하여 안전한 행동 집합을 유지하지만, 제약 조건 $q(x_t)$가 관측되지 않은 반사실적 $Y(x_{soc,t})$에 의존할 경우, $Y(x_{soc,t})$에 대한 단순한 점 추정치(point estimate)만으로는 사용자가 지정한 허용 오차율 $\alpha$를 초과하는 안전 제약 위반을 초래할 수 있습니다.

방법론: SafeOpt-CPC

저자들은 관측되지 않은 반사실적 상황을 처리하기 위해 **분할 공형 예측(split conformal prediction)**을 SafeOpt 루프에 통합한 프레임워크인 **SafeOpt-CPC (SafeOpt with Counterfactual Policy Constraints)**를 제안합니다.

1. 반사실적 결과의 공형 추정 (Conformal Estimation of Counterfactuals)

반사실적 결과에 대해 점 추정치를 사용하는 대신, 이 방법은 분할 공형 예측을 사용하여 유효한 불확실성 구간(구체적으로는 일방향 상한 $\hat{U}^{soc}_t$ 또는 하한 $\hat{L}^{soc}_t$)을 구축합니다.

• 데이터 분할: 수집된 데이터를 학습용 데이터 세트 $D_{train}$ (점 예측기 $\hat{Y}$를 학습시키기 위함)과 교정용 데이터 세트 $D_{cal}$로 나눕니다.
• 스코어링: 스코어 함수 $S(x, Y(x))$는 실제 결과와 예측값의 차이로 정의됩니다 (예: 극대화 문제의 경우 $Y(x) - \hat{Y}(x)$).
• 구간 구축: 상한은 다음과 같이 계산됩니다:
  $$\hat{U}^{soc}_t(x_{soc,t}) = \hat{Y}(x_{soc,t}) + Q_{soc}\left(1 - \epsilon; \sum \tilde{w}_i \delta_{S_i} + \tilde{w}_t \delta_{+\infty}\right)$$
  여기서 $Q_{soc}$는 스코어의 분위수, $\epsilon$은 사용자가 지정한 실패율, $\tilde{w}$는 정규화된 가중치입니다.

2. 공변량 변화(Covariate Shift) 처리

이 방법은 교정 데이터와 테스트 환경(SafeOpt가 배포되는 환경) 사이의 분포 변화를 **가중 공형 예측(weighted conformal prediction)**을 통해 고려합니다.

• 시나리오 1 (다른 정책): 교정 데이터가 표준 치료와 다른 정책 하에서 수집된 경우, **역 확률 가중치(Inverse Propensity Scoring, IPS)**를 사용합니다: $w_i = \pi_{soc}(x_i) / \pi_{cal}(x_i)$.
• 시나리오 2 (공변량 변화): 테스트 인구 집단이 교정 인구 집단과 다른 경우(예: 다른 병원의 인구 통계학적 특성), 가중치는 테스트와 교정의 공변량 밀도 비율로부터 도출됩니다: $w_i = P_{test}(x_i) / P_{cal}(x_i)$.
• 비정상성(Non-stationarity): 논문은 가중치를 재계산하거나(알고리즘 3) 시간 경과에 따른 감쇠 가중치를 적용하여(알고리즘 4) 변화점(changepoints)(급격한 변화) 및 드리프트(drift)(점진적 변화)를 처리하는 알고리즘을 설명합니다.

3. 안전 보장 조정

이 방법은 공형 예측을 SafeOpt 내부에 중첩시키기 때문에, 목표 위반율을 조정해야 합니다. $\epsilon'$를 여러 추정 항들에 대한 결합 실패 확률(union bound을 통해 도출됨)이라고 할 때, 전체 위반율이 사용자가 정의한 $\alpha$ 미만으로 유지되도록 알고리즘은 더 엄격한 내부 위반율 $\alpha'$를 목표로 합니다:
$$\alpha' \leq \frac{\alpha - \epsilon'}{1 - \epsilon'}$$
이 조정은 실제 반사실적 결과가 공형 구간 밖에 존재할 확률을 고려합니다.

4. SafeOpt와의 통합

각 타임스텝 $t$에서:

1. 제안된 행동 $x_t$가 표준 치료인 경우, 제약 조건은 자명하게 충족됩니다.
2. 그렇지 않으면, 알고리즘은 반사실적 결과에 대한 공형 상한 $\hat{U}^{soc}_t$를 계산합니다.
3. 안전 제약 조건은 $q(x_t) = Y(x_t) - \hat{U}^{soc}_t(x_{soc,t}) + \omega \geq 0$으로 평가되며, 여기서 $\omega$는 허용 오차 매개변수입니다.
4. 가우시안 프로세스와 온라인 공형 업데이트(온라인 $\beta_t$를 위해)를 사용하는 표준 SafeOpt 로직이 다음 행동을 선택하여 목적 함수를 최대화하는 동시에 안전 집합을 유지합니다.

주요 기여

1. SafeOpt-CPC 프레임워크: 반사실적 결과가 관측되지 않더라도, 새로운 행동이 알려진 안전한 정책보다 허용 오차 $\omega$ 이상 성능이 떨어지지 않음을 $100(1-\alpha)\%$의 샘플에 대해 보장하는 새로운 방법을 제시합니다.
2. 공변량 변화에 대한 강건성: 가중치 재계정 메커니즘을 통해 공변량 변화 시나리오(정책 불일치 및 인구 집단 드리프트)에 공형 추정을 적응시키는 방법을 보여줍니다.
3. 공식적인 안전 증명: 본 논문은 가중 교환 가능성(weighted exchangeability) 가정하에 이 방법이 안전 제약 조건을 충족한다는 것을 증명합니다(정리 4.1). 또한 이 가정이 위반될 때의 커버리지 격차(coverage gap)를 제시합니다(부록 B).
4. 실증적 검증: 실제 반사실적 값을 알고 있는 화학 반응 시뮬레이터와 반사실적 상황을 모사한 MovieLens 데이터셋에 대한 실험을 통해, 이 방법이 $\alpha$ 미만으로 위반율을 유지하면서 목적 함수를 최적화함을 입증합니다.

결과

• 위반율: 실험에서 SafeOpt-CPC는 지정된 임계값 $\alpha$(예: 0.1) 미만으로 실제 위반율을 일관되게 유지했습니다. 반면, 안전 제약 조건이 없는 표준 베이지안 최적화는 임계값을 크게 초과하는 위반을 보였습니다.
• 오라클과의 비교: SafeOpt-CPC는 실제 반사실적 값을 알고 있는 "오라클(oracle)" 베이스라인보다 약간 더 보수적이며, 이로 인해 최대 목적 함수 값이 약간 낮게 나타나지만, 오라클이 보장하지 못하는 안전성을 보장합니다.
• 허용 오차 민감도: 허용 오차 매개변수 $\omega$가 증가함에 따라, 알고리즘은 표준 치료 정책으로 복귀하는 빈도가 줄어들고 더 높은 목적 함수 값을 달성합니다.
• 비정상성: 가중치가 올바르게 재계산될 때, 이 방법은 변화점과 드리프트에 성공적으로 적응합니다. 이러한 변화를 무시하면 커버리지 보장이 무너집니다.
• 민감도: 이 방법은 노이즈가 있는 데이터와 추정기의 편향/분산에 강건하지만, 이러한 요소들은 표준 치료로의 폴백(fallback) 단계를 증가시킵니다.

의의 및 주장

본 논문은 안전이 절대적 임계값이 아닌 표준 치료와 상대적으로 정의되는 고위험 애플리케이션(예: 의료 처치)을 위한 엄격한 솔루션을 제공한다고 주장합니다. 저자들은 다음을 강조합니다:

• 위반율을 제어하는 것은 안전을 위해 매우 중요하며, 이 방법은 안전 제약 관측에 대해 **분포 불변적(distribution-free)**으로 설계되었습니다.
• 이 접근 방식은 반사실적 상황뿐만 아니라 추정된 양을 필요로 하는 모든 제약 조건에 일반화될 수 있습니다.
• 방법론은 최소한의 가정(가중 교환 가능성) 하에 작동하며, 안전 위반에 대한 공식적인 경계치를 제공합니다.

저자들은 다음과 같은 한계점을 언급합니다: 공형 분위수가 너무 넓거나 허용 오차 $\omega$가 너무 낮으면 알고리즘이 지나치게 보수적이 되어 표준 치료 정책으로 자주 복귀할 수 있습니다. 또한, 제약 조건에 여러 추정 항이 포함되어 있으면 유효 위반율 $\alpha'$가 매우 작아져 탐색(exploration)을 제한할 수 있습니다. 결론적으로, 본 논문은 위반율 제어에 집중하고 있지만, 이 프레임처는 다른 제약 함수로 확장될 수 있으며 이는 향후 연구 과제로 남겨두었습니다.