기술 요약: 베이지안 의사결정자가 AI 의사결정 지원으로부터 학습하는 방법

문제 정의

머신러닝 의사결정 지원(ML-DS) 시스템은 의료 및 사법 제도와 같이 이해관계가 높은 영역에서 인간 에이전트를 보조하기 위해 점점 더 많이 배치되고 있습니다. 이러한 시스템은 과거 데이터를 기반으로 예측을 제공하지만, 합리적인 인간 에이전트가 이러한 예측을 자신의 의사결정 과정에 어떻게 통합하는지에 대한 메커니즘은 여전히 제대로 이해되지 않고 있습니다. 구체적으로, 에이전트가 ML 예측을 관찰한 후 인구 집단과 근저에 깔린 인과 메커니즘(예: 처치 효과)에 대한 자신의 믿음을 어떻게 업데이트하는지에 대한 정량적 프레임워크가 부족합니다.

에이전트의 **사전 믿음(prior beliefs)**이 데이터 생성 과정 및 ML 모델의 훈련 데이터에 미치는 영향이 ML-DS의 효용성에 어떻게 작면하는지에 대한 이해에는 결정적인 공백이 존재합니다. 본 논문의 동기 부여 사례에서 설명된 바와 같이, 동일한 ML 예측이라도 에이전트가 훈련 데이터가 처치군(treated)이었는지 혹은 대조군(untreated)이었는지에 대해 어떤 믿음을 갖느냐에 따라 정반대의 행동으로 이어질 수 있습니다. 또한, 정렬되지 않은(misaligned) 사전 믿음이 ML 모델이 잘 지정(well-specified)되어 있음에도 불구하고 합리적인 에이전트로 하여금 하위 최적(suboptimal)의 결정을 내리게 할 수 있는지 여부도 불분명합니다.

방법론: 2단계 에이전트 프레임워크

저자들은 베이지안 에이전트와 ML-DS 시스템 간의 상호작作用을 모델링하기 위해 일반적인 계산 프레임워크인 **2단계 에이전트(2-Step Agent)**를 제안합니다. 이 프레임워크는 두 개의 뚜렷한 단계로 구성됩니다.

1. 베이지안 믿음 업데이트 (1단계)

에이전트는 가공되지 않은 훈련 데이터를 직접 관찰하는 것이 아니라, 과거 데이터($D_{Hist}$)로 훈련된 모델로부터 새로운 관측치($X_o$)에 대한 예측값($Pred_o$)을 전달받습니다.

• 에이전트의 세계 모델 ($A_{Hist}$): 에이전트는 인구 집단 분포(공변량, 처치 노이즈, 결과 노이즈)와 인과 메커니즘(처치 효과)에 대한 믿음을 포함하는 확률적 세계 모델을 유지합니다. 결정적으로, 이 모델은 훈련 데이터의 크기와 모델 클래스를 포함하여 ML 모델의 훈련 과정에 대한 믿음을 인코딩합니다.
• 추론(Inference): $X_o$와 $Pred_o$를 관찰하면, 에이전트는 베이지안 업데이트를 수행합니다. 예측값은 훈련 데이터의 잠재 변수에 대한 압축된 정보로 취급됩니다. 에이전트는 교환 가능한 훈련 변수들의 "플레이트(plate)"를 통해 추론함으로써, 인구 수준의 파라미터(특히 처치 효과 노이즈 $N_E$ 및 과거 정책 파라미터)에 대한 사후 분포를 추론합니다.
• 해결 가능한 트랙터빌리티(Tractability) 솔루션: 저자들은 대규모의 교환 가능한 변수 플레이트를 통해 추론을 전파하는 과정에서의 계산적 난해함을 해결합니다. 선형 가우시안 설정의 경우, ML 모델 파라미터의 가능도(likelihood)를 인구 수준의 변수들과 소수의 충분 통계량(sufficient statistics)(구체적으로 $k$개의 혼란 변수에 대해 $O(k^2)$개의 통계량)의 함수로 축소할 수 있음을 증명합니다(정리 2.8). 이 축소 과정을 통해 전체 역사적 데이터셋을 시뮬레이션하지 않고도 효율적으로 사후 분포를 샘플링할 수 있습니다.

2. 인과 추론 및 결정 (2단계)

1단계에서 업데이트된 사후 믿음을 사용하여, 에이전트는 새로운 환자에 대한 조건부 평균 처치 효과(CATE)를 추정합니다.

• 추론 모델 ($A_{Inf}$): 에이전트는 구조적 인과 모델(SCM) 파라미터의 사후 분포로부터 샘플을 추출합니다.
• 의사결정 규칙: 에이전트는 가능한 SCM들의 분포에 걸친 기대 CATE를 계산합니다. 특정 처치의 기대 이익이 임계값 $\tau$를 초과하면 해당 처치를 선택하고, 그렇지 않으면 대안을 선택합니다.

이 프레임워크는 ML-DS를 사용하는 에이전트와 사용하지 않는 에이전트의 다운스트림 결과($Y$)를 비교함으로써 ML-DS의 영향을 정량화합니다: $E_{Hist}(Y | do(A = ML\text{-}DS)) - E_{Hist}(Y | do(A = no\ ML\text{-}DS))$.

실험 설정

저자들은 PyMC를 사용하여 임상 사례를 시뮬레이션하기 위해 프레임워크를 구현했습니다.

• 시나리오: 환자의 체중($X$)이 항암제 투여량($A$)과 생존 개월 수($Y$)에 영향을 미치는 단변량 회귀 설정입니다.
• 에이전트: "올바른" 사전 분포(실제 데이터 생성 과정과 일치함)를 가진 에이전트와 정렬되지 않은 사전 분포(처치 효과, 과거 처치 정책 또는 공변량 분포에 대한 체계적인 믿음의 편차)를 가진 에이전트를 시뮬레이션했습니다.
• 비교: 연구는 다양한 정도의 사전 불일치에 따라 ML-DS를 사용하는 에이전트(주황색 계열)와 오직 자신의 사전 분포에만 의존하는 에이전트(파란색 계열)의 결과를 비교합니다.

주요 결과

1. ML-DS로부터의 학습: 에이전트의 처치 효과($N_E$)에 대한 사전 믿음이 정렬되지 않았지만 다른 모든 믿음이 올정한 경우, 에이전트는 ML 예측으로부터 성공적으로 학습할 수 있습니다. 베이지안 업데이트가 믿음을 교정하여, ML-DS를 사용하지 않을 때보다 개선된 CATE 추정치와 더 나은 다운스트림 결과를 이끌어냅니다.
2. 정렬되지 않은 사전 믿음의 위험성: 본 논문은 단 하나의 정렬되지 않은 사전 믿음만으로도 ML-DS의 성능을 저하시키기에 충분하다는 것을 보여줍니다.
   • 만약 에이전트가 과거 처치 정책($\alpha_{A\mu}$)에 대해 잘못된 믿음을 가지고 있다면, ML-DS와의 상호작용은 잘못된 CATE 추정으로 이어질 수 있습니다. 에이전트는 ML 예측을 자신의 잘못된 사전 믿음과 일치시키려 노력하게 되며, 그 결과 하위 최적의 처치 선택을 하게 되어 ML 지원을 무시했을 때보다 오히려 더 나쁜 결과를 초ند합니다.
   • 공변량 분포($\alpha_{X\mu}$)나 결과 분포($\alpha_{Y\mu}$)에 대해 정렬되지 않은 사전 믿음을 가졌을 때도 유사한 부정적 효과가 관찰되었습니다.
3. 사후 상관관계(Posterior Correlation): 학습 과정은 에이전트의 사후 믿음에서 상관관계로 나타납니다. 예측이 기대와 상충할 때, 에이전트는 여러 가설(예: 처치 효과가 생각보다 낮거나, 혹은 과거의 투여량이 가정보다 높았거나)을 검토하게 되며, 이는 추론된 처치 효과와 추론된 과거 정책 사이에 의존성을 생성합니다.

의의 및 주장

본 논문은 베이지안 에이전트와 ML-DS 사이의 상호작용을 밝혀내고, 특히 에이전트가 ML 예측으로부터 데이터 생성 과정에 대해 어떻게 학습하는지를 모델링한 최초의 명시적 프레임워크를 제공한다고 주장합니다.

• 이론적 기여: 교환 가능한 훈련 변수를 통한 베이지안 추론에 대한 트랙터블 솔루션의 도출(정리 2.8)은 이전에 계산적으로 불가능했던 학습 역학의 시뮬레이션을 가능하게 했습니다.
• 경험적 기여: 본 연구는 ML-DS가 이상적인 조건(모델이 잘 지정되어 있고 에이전트가 완벽하게 합리적인 경우)에서도 해가 될 수 있다는 정량적 증거를 제공합니다. 성공 여부를 결정하는 주요 요인은 에이전트의 사전 믿음과 훈련 데이터 간의 정렬 상태입니다.
• 실무적 시사점: 이 연구 결과는 ML-DS 사용자에게 훈련 데이터 및 프로토콜에 대한 포괄적인 문서 제공이 매우 중요하다는 점을 강조합니다. 적절한 사전 정렬(예: 교육이나 문서화를 통해)이 없다면, AI 지원의 도입이 오히려 해로운 다운스트림 결과로 이어질 수 있습니다.

저자들은 본 결과가 예측 모델을 의사결정 지원에 사용하는 모든 분야에 일반화될 수 있다고 언급했으나, 현재 구현은 선형, 처치 중립적(treatment-naive) 모델 및 단일 단계 상호작용에 국한되어 있습니다. 향후 작업으로는 인과적 ML 모델, 이질적 처치 효과, 그리고 반복적인 상호작용을 탐구하는 것이 필요하다고 밝혔습니다.