🤖 machine learning

Robust Counterfactual Policy Optimisation via Nondeterministic Causal Models

이 논문은 잠재적 교란 요인과 내재적 확률성을 구분하는 확률적 비결정론적 인과 모델을 정형화함으로써 순차적 의사결정에서의 강건한 반사실적 정책 최적화를 위한 새로운 프레임워크를 제안하며, 이는 숨겨진 교란 요인이 존재하는 패혈증 치료 시뮬레이션을 통해 검증되었다.

원저자: Jessica Lally, Milad Kazemi, Nicola Paoletti, David Watson, Sander Beckers

게시일 2026-08-05

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Jessica Lally, Milad Kazemi, Nicola Paoletti, David Watson, Sander Beckers

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 자동차 운전법을 가르치려 한다고 상상해 보세요. 하지만 당신에게는 다른 사람이 운전하는 영상 하나뿐입니다. 당신은 "만약 로봇이 다른 방향으로 회전했다면 어땠을까?"라고 묻고 싶을 것입니다. 이것이 바로 **반사실적 추론(counterfactual reasoning)**의 핵심입니다. 과거를 되돌아보고, 다른 선택을 했을 때 어떤 결과가 나왔을지 상상해 보는 것이죠. 인공지능의 세계에서 이는 안전을 위해 매우 중요합니다. 특히 의료 분야처럼, 어떤 일이 일어날지 확인하기 위해 실제 환자를 대상으로 위험한 실험을 직접 수행할 수 없는 분야에서는 더욱 그렇습니다.

이를 위해 과학자들은 **마르코프 결정 과정(Markov Decision Processes, MDPs)**을 사용합니다. 이는 시스템이 행동(예: 약 투여)에 따라 상태(예: 환자의 건강 상태)를 어떻게 변화시키는지에 대한 규칙서와 같습니다. 전통적으로 연구자들은 만약 모든 숨겨진 비밀(이를 잠재 변수라고 부릅니다)을 알 수 있다면, 이 규칙서가 완벽하게 예측 가능하다고 가정했습니다. 그들은 "환자의 숨겨진 유전 코드를 알 수 있다면 미래를 정확히 예측할 수 있을 것이다"라고 생각했습니다. 하지만 현실은 복잡합니다. 때로는 동전 던지기나 기계의 결함처럼, 아무리 많은 숨겨진 지식을 알고 있더라도 예측할 수 없는 일이 무작위로 발생하곤 합니다. 이 논문은 숨겨진 비밀과 순수한 무작위성이 모두 미래를 결정짓는 까다로운 중간 지점을 다룹니다. 즉, "우리가 숨겨진 비밀을 모르고, 세상이 다소 혼란스럽다는 것을 알고 있을 때, 어떻게 최선의 결정을 내릴 수 있는가?"라는 질문을 던집니다.

탐정의 딜레마: 사라진 변수의 수수께끼를 풀다

당신이 '만약에(What If)' 기계를 사용하여 미스터리를 해결하려는 탐정이라고 상상해 보세요. 당신은 환자가 병에 걸리는 영상을 보고 있으며, 다음과 같이 알고 싶습니다. "만약 우리가 다른 치료를 했다면, 그 환자는 생존했을까?"

과거의 탐정들은 '만 if' 기계가 완벽한 태엽 장난감처럼 작동한다고 가정했습니다. 그들은 모든 숨겨진 톱니바퀴(예: 진단되지 않은 환자의 당뇨병)를 알 수 있다면, 시간을 되돌려 정확히 어떤 일이 일어났을지 볼 수 있다고 믿었습니다. 하지만 이 논문의 저자인 제시카 랠리(Jessica Lally)와 그녀의 팀은 현실이 완벽한 태엽 장난감이 아니라는 점을 깨달았습니다. 때때로 톱니바퀴는 그냥 멋대로 멈춰버리기도 하고, 돌풍이 불어 도미노를 쓰러뜨리기도 합니다. 이것이 바로 **내재적 무작위성(inherent randomness)**입니다.

이 논문은 우리가 정보를 놓치고 있다고 해서 세상이 완벽하게 예측 가능하다고 가정해서는 안 된다고 주장합니다. 대신, "우리는 숨겨진 톱니바퀴를 모르며, 설령 그것을 알더라도 미래는 여전히 조금 놀라울 수 있다"는 사실을 인정하는 새로운 종류의 탐정 작업이 필요합니다.

새로운 도구: "최악의 상황"을 대비한 안전망

연구팀은 **강건한 반사실적 정책 최적화(Robust Counterfactual Policy Optimisation)**라는 새로운 방법을 소개합니다. 이것을 의사결정을 위한 안전망이라고 생각하면 됩니다.

보통 우리가 과거에 어떤 일이 일받을지 추측할 때, "숨겨진 교란 요인"(예: 환자의 당뇨병 상태)을 알지 못해 틀릴 수 있습니다. 저자들은 단 하나의 결과만을 추측하는 대신, 데이터와 일치하는 가능한 최악의 결과에 대비하는 프레임워크를 제안합니다.

그들은 **민감도 분석(sensitivity analysis)**이라는 개념을 사용합니다. 당신이 날씨를 추측하고 있다고 상상해 보세요. 확신이 있다면 "비가 올 것이다"라고 말합니다. 불확실하다면 "비가 올 수도 있고, 안 올 수도 있다"라고 말하죠. 저자들은 숨겨진 비밀이 우리의 예측을 얼마나 방해할 수 있는지를 조절하는 "다이얼"( $\Delta$ 라고 불림)을 추가했습니다.

다이얼을 1로 맞추면, 숨겨진 비밀이 방해하지 않는다고 가정합니다.
다이얼을 높게 올리면, 숨겨진 비밀이 무엇이든 일으킬 수 있다고 가정합니다.

목표는 숨겨진 비밀이 최대한 까다롭게 작용하더라도 잘 작동하는 정책(무엇을 할지에 대한 규칙 세트)을 찾는 것입니다. 그들은 이를 강건한(robust) 정책을 찾는 것이라고 부릅니다. 이는 마치 하이킹을 위해 배낭을 싸는 것과 같습니다. 단순히 화창한 날씨만을 위해 짐을 싸는 것이 아니라, 만약을 대비해 비, 진흙, 갑작스러운 폭풍까지 고려하여 짐을 싸는 것입니다.

실험: 패혈증 시뮬레이터

이 아이디어를 테스트하기 위해 연구팀은 패혈증 치료의 컴퓨터 시뮬레이션을 사용했습니다. 이 게임에서 환자는 네 가지 활력 징후(심박수, 혈압, 산소 포화도, 혈당)를 가지며, 이 수치는 낮거나, 정상적이거나, 높을 수 있습니다. 의사(또는 AI)는 세 가지 서로 다른 치료를 켤지 끌지 결정해야 합니다.

여기에는 함정이 있습니다. 시뮬레이션에는 숨겨진 변수가 있습니다. 어떤 환자들은 당뇨병을 앓고 있고, 어떤 환자들은 그렇지 않습니다. 이 당뇨병 상태가 바로 "숨겨진 교란 요인"입니다. 당뇨병은 환자가 치료에 반응하는 방식에 영향을 미치지만, AI는 환자의 당로 상태를 보지 못하고 오직 활력 징후만을 봅니다. 이 시뮬레이션에서 환자의 20%는 당뇨병을 앓고 있습니다.

연구진은 이 시뮬레이션에 새로운 "안전망" 방법을 적용했습니다. 그들은 다음과 같이 물었습니다. "우리가 누가 당뇨병인지 모르는 상황에서도, 기존 데이터보다 더 나은 치료 계획을 찾을 수 있는가?"

연구 결과

결과는 유망했지만, 몇 가지 주의 사항이 있었습니다.

추측하는 것보다 효과적입니다: 그들이 찾은 새로운 정책을 (누가 당뇨병인지 알고 있는) 완벽한 버전의 시뮬레이션에서 테스트했을 때, 새로 찾은 정책들은 기존의 차선책들보다 훨씬 더 우수했습니다. 당뇨병 환자의 경우, 새로운 정책은 결과값을 평균 7.4점 개선했습니다 (사망은 -10, 퇴원은 10인 척도 기준).
"대리 지표(Proxy)"는 다소 신중합니다: 연구팀은 눈에 보이는 활력 징후만을 사용하여 숨겨진 문제의 수준( $\Delta$ 다이얼)을 추측해야 했습니다. 당뇨병 환자의 경우, 이 추측은 매우 정확했습니다. 하지만 비당뇨 환자의 경우, 이 방법은 다소 지나치게 신중했습니다. 즉, 숨겨진 문제가 실제보다 더 강력하다고 가정했습니다. 이는 마치 일기 예보관이 실제로는 맑은 날씨인데도 "비가 올 수도 있습니다"라고 말하는 것과 같습니다. 비록 이로 인해 시뮬레이션 점수가 약간 낮아질 수는 있지만, 이는 결정을 안전하게 만드는 데 도움이 됩니다.
"오라클(Oracle)" 테스트: 저자들은 자신들의 방법을 진정한 숨겨진 문제의 수준을 알고 있는 완벽한 버전인 "오라클"과 비교했습니다. 그 결과, 진실을 알지 못하는 상태에서도 그들의 방법은 오라클의 최선의 선택과 매우 유사한 정책을 찾아냈습니다.

결론

이 논문은 숨겨진 변수의 수수께끼를 영원히 해결했다고 주장하는 것이 아닙니다. 대신, 신비로움과 무작위성이 공존하는 세상에서 "만약에?"라는 질문을 던지는 더 안전한 방법을 제시합니다.

"숨겨진 비밀"(예: 당뇨병)과 "순수한 무작위성"(예: 무작위적인 오류)을 구분하고, 최악의 시나리오에 대비함으로써, 저자들은 우리가 여전히 현명하고 강건한 결정을 내릴 수 있음을 보여줍니다. 이들의 방법론은 우리가 숨겨진 요인들에 대해 눈을 가린 채 비행하고 있을 때조차도, 단순히 기존의 불완전한 데이터를 따르는 것보다 훨씬 더 나은 치료 계획을 찾을 수 있다는 것을 시사합니다. 이는 자신이 무엇을 모르는지 인정할 줄 아는 겸손함과, 예상치 못한 상황에 대비할 줄 아는 똑똑함을 갖춘 AI를 향한 한 걸음입니다.

기술 요약: 비결정론적 인과 모델을 통한 강건한 반사실적 정책 최적화

1. 문제 정의

순차적 의사결정에서의 반사실적 추론(Counterfactual inference)은 관찰된 상태, 행동, 결과의 궤적(trajectory)이 주어졌을 때, 다른 정책이 실행되었더라면 어떤 결과가 발생했을지를 결정하는 것을 목표로 한다. 이는 실험을 다시 수행하는 것이 비윤리적이거나 불가능한 의료와 같은 안전 중심 도메인에서 매우 중요하다.

Markov 결정 과정(MDP)에서의 반사실적 추론에 대한 기존 접근 방식은 일반적으로 환경을 **결정론적 구조적 인과 모델(Deterministic Structural Causal Model, SCM)**로 모델링한다. 이 프레임워크에서는 모든 무작위성이 관찰되지 않은 잠재 변수( $U$ )에 기인한다고 가정한다. 그러나 실제 세계의 MDP는 본질적으로 확률적이다. 즉, 무작위성은 다음과 같은 두 가지 구별되는 원천으로부터 발생한다:

잠재적 교란(Latent Confounding): 전이를 영향을 미치는 관찰되지 않은 요인들(예: 환자의 유전 또는 인구 통계학적 특성).
불가피한 확률성(Irreducible Stochasticity): 시스템의 근본적인 무작위성(예: 난수 생성기 또는 집합적 노이즈)으로서 잠재 변수로 환원될 수 없는 것.

본 논문은 이 두 가지가 공존하는 격차를 다룬다. 표준 SCM은 이를 구분하지 못하며, 불가피한 노이즈를 잠재적 교란으로 오인하거나 그 반대로 잘못 할당할 위험이 있다. 저자들은 확률적 비결정론적 인과 모델(Probabilistic Nondeterministic Causal Models, PNSCM) 하에서 반사실적 정책 최적화를 정형화할 것을 제안한다. 이는 내재적 확률성을 허용하면서도 민감도 분석을 통해 잠재적 교란의 영향을 명시적으로 제한한다.

2. 방법론

2.1 확률적 비결정론적 인과 모델 (PNSCMs)

저자들은 결정론적 구조 방정식 대신 조건부 확률 분포를 사용하여 환경을 PNSCM으로 모델링한다. PNSCM의 핵심 특징은 **실제화된 정교화(actualised refinement)**이다. 주어진 관찰된 설정 $(u, v)$ 에 대해, 조건부 분포 $P_X$ 는 관찰된 부모(parents)가 주어졌을 때 관찰된 결과 $x$ 를 결정론적으로 반환하도록 정교화되지만, 다른 입력에 대해서는 확률적 성질을 유지한다. 이는 우리가 학습하는 것이 실제 설정으로부터의 인과 메커니즘이지, 반사실적 가능성으로부터가 아니라는 의미론을 포착한다.

2.2 민감도 분석 프레임워크

궤적 전체에 걸쳐 고정되어 있는 관찰되지 않은 전역적 교란 요인( $U$ )을 처리하기 위해, 저자들은 Kausik 등[2024]과 유사한 민감도 분석 접근 방식을 채택한다.

민감도 파라미터 ( $\Delta$ ): 잠재 변수 $U$ $U$ 의 영향력은 $\Delta \ge 1$ $Δ \geq 1$ 인 파라미터에 의해 제한된다. 이는 조건부 전이 확률 $P(S' = s' | S = s, A = a, U = u)$ $P (S^{'} = s^{'} ∣ S = s, A = a, U = u)$ 와 주변 전이 확률 $P(S' = s' | S = s, A = a)$ $P (S^{'} = s^{'} ∣ S = s, A = a)$ 사이의 오즈비(odds ratio)를 제한한다:
$\frac{1}{\Delta} \le \frac{\text{odds}(P(S' = s' | S = s, A = a, U = u))}{\text{odds}(P(S' = s' | S = s, A = a))} \le \Delta$
- $\Delta = 1$ : 교란 없음 (완전하게 지정된 PNSCM).
- $\Delta \to \infty$ : 최대 교란.

2.3 민감도 ( $\Delta$ )의 보정

도메인 지식 없이 $\Delta$ 를 선택하는 것은 주요한 과제이다. 본 논문은 관찰된 상태 변수로부터 $\Delta(s, a)$ 의 상한을 도출하는 원칙적인 방법을 제안한다:

변수 숨기기(Hiding Variables): 각 관찰된 상태 변수 $i$ 에 대해, $i$ 를 주변화(marginalizing)하여 전이 분포 $P(s' | s_{-i}, a)$ 를 계산한다.
오즈비 계산: 전체 전이와 주변화된 전이 사이의 최대 오즈비를 각 변수에 대해 계산한다.
대리 지표(Proxy) 선택: 민감도 $\Delta(s, a)$ 는 모든 변수에 대한 이 비율들의 최댓값으로 설정된다. 경계의 엄격함을 조정하기 위해 스케일링 계수 $\Gamma$ 를 적용할 수 있다.

2.4 최적화 절차

목표는 $U$ 의 불확실성 하에서 최악의 경우의 반사실적 가치(worst-case counterfactual value) $V^{CF}$ 를 최대화하는 정책 $\pi$ 를 찾는 것이다.

반사실에서의 실제화된 정교화: 관찰된 전이 $(s_t, a_t, s_{t+1})$ 에 대해, 반사실적 전이 확률 $P^{CF}_t$ 는 혼합물(mixture)이다: 확률 $P(U=u|\tau)$ 에 따라 전이는 결정론적(즉, $s_{t+1}$ 에 머무름)이며, 그렇지 않으면 최적화된 전이 확률 $\tilde{P}$ 를 따른다.
분리된 최적화(Decoupled Optimization): 문제를 다루기 쉽게 만들기 위해, 저자들은 각 시간 단계와 상태-행동 쌍에 대해 최적화를 분리하여 각 $(t, s, a)$ 트리플을 독립적으로 취급한다. 이는 진정한 비관적 가치에 대한 보수적인 하한을 제공한다.
적대적 정형화(Adversarial Formulation): 최적화는 사후 확률 $P(U|\tau)$ 와 전이 확률 $\tilde{P}$ 를 동시에 선택하여 가치를 최소화하는 적대자를 포함한다. 이 비볼록(non-convex) 문제는 Gurobi를 사용하여 해결된다.
시계열 균질성(Time-Homogeneity): 논문은 시계열 균질성(시간에 따라 일관된 전이를 요구함)을 포함하는 것이 그래디언트 디센트를 통해 해결 가능한 삼선형 결합(trilinear coupling)을 생성한다는 점을 언급하지만, 이는 로컬 미니마만을 보장한다.

3. 실험적 평가

이 접근 방식은 패혈증 치료 시뮬레이터(Oberst and Sontag, 2019)를 통해 검증되었다.

설정: 상태 공간은 활력 징후(심박수, 혈압 등)를 포함한다. 행동 공간은 치료 여부를 전환하는 것을 포함한다.
교란 요인: 당뇨병 상태( $U \in \{0, 1\}$ )가 전역 잠재 교란 요인으로서 작용하며 인구의 20%에 영향을 미친다. 평가를 위한 진정한 전이 행렬 $P(S' | S, A, U)$ 는 알려져 있으나, 정책 도출 중에는 숨겨져 있다.
데이터: 방법론은 (당뇨병이 숨겨진) 주변화된 전이 행렬 상에서 생성된 차하(suboptimal) 정책(0.5의 확률로 최적, 나머지 0.5는 랜덤)에 의한 궤적을 사용한다.

주요 결과

강건한 개선: 도출된 반사실적 정책( $\pi^*_\Delta$ )은 완전히 관찰된 MDP(당뇨병이 알려진 경우)에서 평가되었을 때, 관찰된 차하 정책보다 일관되게 우수한 성능을 보였다.
대리 지표 정확도:
- 당뇨병 궤적의 경우, 스케일링되지 않은 대리 지표( $\Gamma=1$ )는 "오라클(oracle)" 성능(진정한 당뇨병 민감도 $\Delta^*$ 를 알았을 때의 최적 결과)과 밀접하게 일치했다.
- 비당뇨병 궤적의 경우, 대리 지표는 보수적이었으며(교란을 과대평가함), 이로 인해 가치 추정치가 오라클보다 낮게 나타났다. 그러나 결과적인 정책은 오라클의 성능에 근접하게 유지되어, 민감도 추정치가 보수적일지라도 방법론이 강건한 정책을 회복할 수 있음을 입증했다.
$\Gamma$ 에 대한 민감도: 스케일링 계수 $\Gamma$ 를 조정함으로써 저자들은 가치 추정 정확도와 정책 강건성 사이의 트레이드오프를 조절할 수 있었다.

4. 주요 기여

정형화: 본 논문은 PNSCM 하에서 민감도 분석 프레임워크를 사용하는 강건한 반사실적 정책 최적화를 위한 최초의 실용적인 최적화 문제를 정형화하였다.
민감도 프레임워크: 잠재 변수의 영향을 제한하는 민감도 분석 프레임워크를 사용하여 강건한 반사실적 정책을 식별하기 위한 실용적인 최적화 문제를 제안한다.
보정 방법: 관찰된 상태 변수를 사용하여 민감도 파라미터 $\Delta$ 를 보정하는 데이터 기반 방법을 도입하여 전문가의 도메인 지식에 대한 의존도를 줄였다.
실험적 검증: 숨겨진 전역 교란 요인이 존재하는 현실적인 의료 시뮬레이터에서 강건한 반사실적 정책이 도출되고 검증될 수 있음을 보여준다.

5. 의의 및 주장

저자들은 이 연구가 PNSCM 내의 민감도 분석 프레임워크 하에서 강건한 반사실적 정책을 식별하기 위한 최초의 실용적인 최적화 문제를 제공한다고 주장한다. 그 의의는 기존의 결정론적 SCM 접근 방식이 가진 한계, 즉 내재적 확률성을 제대로 모델링할 수 없다는 점을 해결하는 데 있다.

논문은 도출된 정책이 관찰된 데이터로부터 민감도 파라미터가 추정되었음에도 불구하고, 완전히 지정된 실제 환경에서 평가될 때 강건하다는 결론을 내린다. 저자들은 분리된 최적화가 유효한 하한을 제공하지만, 더 정확한 가치 추정을 위해 시계열 균질성 제약 및 다양한 유형의 잠재 변수(예: 메모리리스 교란)를 탐구하는 후속 연구가 필요하다고 겸허히 언급한다.