Robust Counterfactual Inference in Markov Decision Processes

이 논문은 기존 방법의 한계를 극복하기 위해 모든 일관된 인과 모델에 대한 반사실 전이 확률의 엄격한 상하한을 폐형식으로 계산하고, 이를 통해 불확실한 구간 MDP 에 대해 최악의 경우 보상을 최적화하는 강건한 반사실 정책을 도출하는 새로운 비모수적 접근법을 제안합니다.

핵심

1. 문제: "만약"을 예측하는 것은 왜 위험할까?

마치 운전 시뮬레이터에서 AI 가 길을 잃었을 때를 상상해 보세요.

• 현재 상황: AI 가 '왼쪽으로 꺾었다'가 '벽에 부딪혔다'는 사실을 알고 있습니다.
• 질문: "만약 AI 가 '오른쪽으로 꺾었다'면 어땠을까?"

기존의 AI 방법들은 이 질문에 답할 때 **하나의 가설 (모델)**만 믿고 답합니다. 마치 "세상은 A 라는 법칙으로만 움직인다"고 단정 짓는 것과 같습니다.
하지만 현실은 복잡합니다. 벽에 부딪힌 이유는 '왼쪽으로 꺾었기 때문'일 수도 있지만, '바람이 불었기 때문'일 수도 있고, '타이어가 미끄러졌기 때문'일 수도 있습니다.

기존 방법의 문제점:

• 한 가지 시나리오만 믿는 위험: 만약 AI 가 잘못된 가설 (예: "바람이 불었다") 을 선택했다면, "오른쪽으로 꺾으면 안전했다"는 잘못된 결론을 내릴 수 있습니다.
• 계산의 비효율: 모든 가능한 시나리오를 하나하나 계산하려면 시간이 너무 오래 걸려서, 복잡한 미로 (큰 규모의 AI 환경) 에서는 실용적이지 않습니다.

2. 해결책: "모든 가능성"을 한 번에 파악하는 새로운 방법

저자들은 "하나의 정답"을 찾으려 하지 않고, "최악의 경우와 최선의 경우"를 동시에 계산하는 방법을 개발했습니다.

🌂 비유: "비밀스러운 우산"과 "안전 지대"

이 새로운 방법은 마치 **모든 날씨 시나리오를 고려한 '안전 우산'**을 만드는 것과 같습니다.

1. 모든 가설을 포함하는 '구름' (Interval CFMDP):

   • 기존 방법은 "오늘은 비가 올 확률이 50% 야"라고 딱 잘라 말합니다.
   • 이 새로운 방법은 "비가 올 확률은 최소 10% 에서 최대 90% 사이일 수 있어"라고 **범위 (Interval)**를 제시합니다.
   • 이 범위는 관찰된 데이터와 일치하는 **모든 가능한 우주의 법칙 (인과 모델)**을 다 포함하고 있습니다.

2. 가장 나쁜 날씨를 대비한 '최악의 경우' (Robust Policy):

   • AI 는 이 넓은 범위 속에서 **가장 나쁜 상황 (비가 가장 많이 오는 경우)**을 가정하고 정책을 만듭니다.
   • "가장 비가 많이 와도 끄떡없게 운전하는 법"을 배우는 것입니다.
   • 이렇게 하면, 실제 세상이 어떤 법칙으로 움직이든 (비가 오든, 눈이 오든, 바람이 불든) AI 는 최소한의 안전은 보장받게 됩니다.

3. 이 방법의 핵심 기술: "수학의 마법" (닫힌 형식 해법)

기존 연구자들은 모든 가능성을 계산하려면 수천 개의 방정식을 풀어야 해서 컴퓨터가 멈출 뻔했습니다. (지수 함수적으로 늘어나는 복잡도)

하지만 저자들은 "MDP(마코프 의사결정 과정)"라는 특수한 상황에서는 이 복잡한 계산을 수학 공식 하나로 뚝딱 해결할 수 있다는 것을 증명했습니다.

• 비유: 복잡한 미로를 헤매며 모든 길을 다 걸어보는 대신, 지도 한 장만 보면 "가장 긴 길과 가장 짧은 길"이 어디인지 바로 알 수 있는 것입니다.
• 효과: 계산 속도가 기존 방법보다 4 배에서 251 배까지 빨라졌습니다. 이제 거대한 도시 (대규모 AI 시스템) 에서도 실시간으로 "만약"을 분석할 수 있게 된 것입니다.

4. 왜 이것이 중요한가? (실생활 적용)

이 기술은 의료, 자율주행, 항공 같은 생명이 걸린 분야에서 특히 중요합니다.

• 의료 예시: 환자에게 약 A 를 줬는데 상태가 나빠졌습니다. "약 B 를 줬다면 어땠을까?"라고 AI 가 분석할 때, 기존 방법은 "약 B 가 90% 확률로 살렸을 거야"라고 장담할 수 있습니다. 하지만 이는 위험할 수 있습니다.
• 이 방법의 장점: "약 B 를 줬을 때, 최악의 경우에도 환자가 죽지 않을 확률이 95% 이상이다"라고 안전한 범위를 제시합니다. 의사나 개발자는 이 '안전한 범위'를 보고 정책을 수정할 수 있습니다.

5. 요약: 한 줄로 정리하면?

"이 논문은 AI 가 '만약'을 생각할 때, 하나의 가설만 믿지 않고 모든 가능성을 고려하여, 가장 나쁜 상황에서도 실패하지 않는 안전한 전략을 수학적으로 빠르게 찾아내는 방법을 개발했습니다."

이제 AI 는 "만약"이라는 질문에 대해, "정답"을 말하기보다 **"안전한 범위"**를 제시함으로써, 우리가 더 신뢰하고 안전하게 AI 를 활용할 수 있게 되었습니다.

기술 요약

이 논문은 마르코프 결정 과정 (MDP) 에서의 강건한 반사실 추론 (Robust Counterfactual Inference) 문제를 다루며, 기존 방법론의 한계를 극복하고 새로운 비모수적 (non-parametric) 접근법을 제안합니다. 주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

• 배경: MDP 는 강화학습 (RL) 등 순차적 의사결정 모델링의 핵심 도구입니다. 특히 의료와 같은 안전이 중요한 분야에서는 실제 환경에 새로운 정책을 배포하기 전에 반사실 추론을 통해 오프라인 정책 평가 (Off-policy Evaluation) 를 수행하는 것이 필수적입니다.
• 한계: 기존 반사실 추론 방법들은 시스템의 인과 모델을 특정 가정 (예: Gumbel-max 구조적 인과 모델, SCM) 하에 식별 가능하다고 가정합니다. 그러나 관찰 데이터와 개입 분포와 일치하는 인과 모델은 여러 개 존재할 수 있으며, 각 모델마다 다른 반사실 확률을 도출합니다.
• 위험: 단일 인과 모델에 의존할 경우, 실제 인과 구조가 다를 경우 추론 결과가 부정확해져 안전이 중요한 분야에서 치명적인 오류를 초래할 수 있습니다. 또한, 기존 부분적 반사실 추론 (Partial Counterfactual Inference) 방법 (Zhang et al.) 은 최적화 문제의 제약 조건 수가 MDP 크기에 따라 지수적으로 증가하여 대규모 문제에서 계산이 비효율적입니다.

2. 방법론 (Methodology)

저자들은 다음과 같은 세 단계로 구성된 새로운 프레임워크를 제안합니다.

1. 정밀한 해석적 경계 (Analytical Bounds) 유도:

   • 기존 최적화 문제를 MDP 설정 (Markovian, 관찰되지 않은 교란 변수 없음) 에 적용하여, 복잡한 최적화 없이 닫힌 형태 (closed-form) 의 정확한 해를 유도했습니다.
   • 이를 위해 두 가지 합리적인 가정을 도입하여 경계를 더욱 엄격하게 만들었습니다:
     • 반사실 안정성 (Counterfactual Stability): 관찰된 결과가 반사실 상황에서 변하지 않는 한, 다른 결과의 상대적 확률이 관찰된 결과보다 더 크게 증가하지 않는다는 가정.
     • 반사실 단조성 (Counterfactual Monotonicity): 관찰된 결과의 확률은 반사실 세계에서 감소하지 않으며, 관찰되지 않은 가능한 결과의 확률은 증가하지 않는다는 가정.
   • 이 가정들을 통해 상태 - 행동 쌍의 지원 집합 (support) 이 관찰된 경우와 겹치거나 겹치지 않는 경우별로 정확한 하한 및 상한 확률을 수식으로 도출했습니다.

2. 구간 반사실 MDP (Interval Counterfactual MDP, ICFMDP) 구성:

   • 유도된 확률 경계를 사용하여 모든 가능한 인과 모델에 해당하는 반사실 전이 확률의 구간을 정의한 새로운 MDP 를 구성합니다.

3. 강건한 반사실 정책 도출:

   • 구성된 ICFMDP 에 대해 **비관적 가치 반복 (Pessimistic Value Iteration)**을 적용합니다.
   • 이는 ICFMDP 내의 모든 가능한 반사실 MDP 에 대해 최악의 경우 (worst-case) 보상을 최적화하는 정책을 찾는 과정입니다. 결과적으로 도출된 정책은 실제 (알려지지 않은) 인과 모델에 대한 불확실성에 대해 강건하게 작동합니다.

3. 주요 기여 (Key Contributions)

• 계산 효율성: 기존 Gumbel-max SCM 기반의 샘플링 방식이나 대규모 최적화 문제에 비해, **해석적 경계 (Analytical Bounds)**를 사용하여 계산 속도를 4 배에서 251 배까지 획기적으로 단축했습니다.
• 강건성 (Robustness): 단일 인과 모델에 의존하지 않고, 데이터와 일치하는 모든 인과 모델을 고려하여 최악의 경우를 대비한 정책을 제공합니다. 이는 안전이 중요한 도메인에서 신뢰할 수 있는 반사실 설명을 가능하게 합니다.
• 이론적 증명: MDP 설정에서 부분적 반사실 추론 최적화 문제가 정확한 해석적 해로 축소됨을 수학적으로 증명했습니다. 또한, 유도된 구간 MDP 가 유효한 반사실 MDP 를 포함함을 증명했습니다.

4. 실험 결과 (Results)

GridWorld, Frozen Lake, Sepsis (임상 의사결정), Aircraft (항공기 제어) 등 다양한 환경에서 실험을 수행했습니다.

• 강건성 비교: 제안된 ICFMDP 정책은 Gumbel-max SCM 기반 정책보다 **최악의 경우 보상 (worst-case reward)**이 일관되게 높았습니다. 특히 확률적 요소가 큰 환경 (Sepsis, GridWorld $p=0.4$) 에서 Gumbel-max 정책은 높은 보상을 얻을 수도 있지만 매우 낮은 보상을 얻을 위험이 큰 반면, 제안된 방법은 일관된 성능을 유지했습니다.
• 계산 속도: 구간 반사실 MDP 생성 시간이 Gumbel-max 방식에 비해 압도적으로 빨랐습니다.
• 가정의 영향: 반사실 안정성과 단조성 가정을 제거하면 경계 폭이 넓어지지만, 여전히 Gumbel-max 방식보다 우세한 강건성을 보여주었습니다.

5. 의의 (Significance)

이 연구는 MDP 기반 반사실 추론의 계산적 비효율성과 모델 불확실성이라는 두 가지 주요 과제를 동시에 해결했습니다.

• 실용성: 해석적 해를 제공함으로써 대규모 MDP 에도 확장 가능하게 하여, 실제 복잡한 시스템 (의료, 자율주행 등) 에 적용 가능한 반사실 분석 도구를 마련했습니다.
• 안전성: 단일 모델의 편향에 의존하지 않고 불확실성을 고려한 '최악의 경우'를 최적화함으로써, 안전이 중요한 분야에서 정책 개선과 설명을 위한 신뢰할 수 있는 기반을 제공합니다.
• 미래 방향: 추정된 전이 확률을 가진 불확실한 MDP 로의 확장 및 부분 관측/연속 상태 공간으로의 확장을 향후 과제로 제시했습니다.

요약하자면, 이 논문은 불확실한 인과 구조 하에서도 신뢰할 수 있고 계산 효율적인 반사실 추론을 가능하게 하는 새로운 이론적 틀과 실용적 알고리즘을 제시한 중요한 연구입니다.