Causal Imitation Learning Under Measurement Error and Distribution Shift

다음은 Shi Bo와 AmirEmad Ghassami의 논문 "Causal Imitation Learning Under Measurement Error and Distribution Shift"에 대한 상세한 기술 요약입니다.

1. 문제 정의

본 논문은 두 가지 핵심적인 과제가 공존하는 환경에서의 오프라인 모방 학습(Offline Imitation Learning, IL) 문제를 다룹니다:

1. 측정 오차(Measurement Error): 진정한 의사결정 관련 상태가 직접 관찰되지 않습니다. 대신, 학습자는 잠재 상태(latent state) 구성 요소의 노이즈가 섞인 대리 지표(proxies, measurements)를 관찰합니다.
2. 분포 변화(Distribution Shift): 잠재 상태와 측정 프로세스의 결합 분포가 훈련 도메인(전문가 시연이 수집된 곳)과 배포 도메인 사이에서 변할 수 있습니다.

이러한 체제에서 표준적인 **행동 복제(Behavioral Cloning, BC)**는 실패합니다. BC는 일반적으로 관측값에 대한 행동의 조건부 확률을 최소화함으로써 정책 $\pi(a|o)$를 학습합니다. 저자들은 분포 변화가 발생할 때 이러한 관측적 상관관계가 가짜(spurious)가 된다고 주장합니다. 구체적으로:

• 원시 측정값에 조건화하는 경우($\pi_{BC2}$)는 측정 메커니즘(예: 센서 보정 변화)의 변화에 취약해집니다.
• 측정값을 무시하고 관측된 상태에만 조건화하는 경우($\pi_{BC1}$)는 잠재 역학(latent dynamics)이나 상태 전이 커널의 변화에 취약해집니다.
• 결정적으로, 이러한 편향은 **체계적(systematic)**이며 데이터가 무한하거나 궤적이 길어지더라도 사라지지 않습니다.

2. 방법론

A. 인과 프레임워크 및 타겟 정책

저자들은 관측적 조건화가 아닌 **반사실적 개입(counterfactual intervention)**에 의해 정의되는 새로운 타겟 정책인 CausIL을 제안합니다.

• 모델: 시스템은 관측된 상태 $S_t$, 잠재 상태 $U_t$(미관찰), 노이즈가 섞인 측정값 $W_t$($U_t$의 대리 지표), 그리고 전문가 행동 $A_t$로 구성됩니다. 전문가는 $S_t$와 지연된 잠재 상태 $U_{t-1}$에 기반하여 행동합니다 (즉, $A_t \sim \pi_E(S_t, U_{t-1})$).
• 타겟 정의: $p(A_t | S_t, W_{t-1})$를 모방하는 대신, 목표는 $do(S_t = s)$ 개입 하에서 전문가의 행동 확률을 최대화하는 인과적 최적 정책(causal-optimal policy) $\pi_{opt}(s)$를 학습하는 것입니다:
  $$\pi_{opt}(s) := \arg\max_{a \in \mathcal{A}} p(A_t^{(s)} = a)$$
  여기서 $A_t^{(s)}$는 상태가 $s$로 설정되었을 때의 잠재적 결과(potential outcome)입니다.
• 강건성: 이 타겟은 오직 잠재 상태 $U_{t-1}$의 주변 분포와 불변하는 전문가 메커니즘 $\pi_E$에만 의존합니다. 이는 측정 채널 $p(W_{t-1}|U_{t-1})$의 변화에 강건하며, 특정 조건 하에서는 $U_{t-1}$의 주변 분포를 보존하는 상태 전이 커널의 변화에도 강건합니다.

B. 식별 (Identification)

$U_{t-1}$은 관찰되지 않으므로, 저자들은 관측 데이터만으로 $\pi_{opt}$가 식별될 수 있는 조건을 도출합니다. 그들은 근사 인과 추론(Proximal Causal Inference, PCI) 프레임워크를 적용하여, 지연된 관측 상태 $Z_t = S_{t-1}$을 "처치를 유도하는 대리 지표(treatment-inducing proxy)"로, 노이즈가 섞인 측정값 $W_{t-1}$을 잠재 혼란 변수 $U_{t-1}$에 대한 "결과 유도 대리 지표(outcome-inducing proxy)"로 취급합니다.

• 이산(Discrete) 사례: 식별은 행렬 역행렬을 통해 이루어집니다. 만약 대리 지표 $Z_t$와 $W_{t-1}$이 충분히 정보력이 있다면(랭크 조건을 만족할 경우), 개입 분포는 다음과 같이 식별됩니다:
  $$p(A_t^{(s)}) = P_{A|Z',s} (P_{W'|Z',s})^{-1} P_{W'}$$
  여기서 $P$ 행렬은 대리 지표들의 조건부 및 주변 확률을 나타냅니다.
• 연속(Continuous) 사례: 식별은 **완전성(completeness)**과 혼란 브릿지(confounding bridge) 가정에 의존합니다. 저자들은 관측 데이터와 반사실적 분포를 연결하는 제1종 프레드홀름 적분 방정식(Fredholm integral equation of the first kind)을 만족하는 "브릿지 함수" $h_a(w, s)$가 존재함을 보여줍니다:
  $$p(A_t^{(s)} = a) = \int h_a(w, s) p(w) dw$$

C. 추정 (Estimation)

저자들은 이산 및 연속 환경 모두를 위한 추정기를 제안합니다:

1. 이산 추정기: 경험적 빈도를 사용하여 확률 행렬을 구성하고 식별 정리에서 도출된 행렬 역행렬을 수행하는 플러그인(plug-in) 추정기를 사용합니다.
2. 연속 추정기: 재생 커널 힐베르트 공간(RKHS) 상의 적대적 추정 절차를 사용합니다. 브릿지 함수 $h_a$는 조건부 모멘트 제한 $E[Y - h(W, S) | Z, S] = 0$을 강제하는 정규화된 미니맥스 문제(사점 최적화, saddle-point optimization)를 해결함으로써 학습됩니다.

3. 주요 기여

• 이론적 정식화: 본 논문은 측정 오차와 분포 변화가 공존하는 체제를 공식적으로 정의하고, 이러한 환경에서 표준적인 BC 타겟이 근본적으로 편향되어 있음을 입증합니다.
• 인과적 타겟: 측정 프로세스와 잠재 역학의 변화에 강건한(전문가 메커니즘이 불변하는 한) 타겟인 $\pi_{opt}$를 도입합니다.
• 식별 결과: 지연된 상태와 노이즈가 섞인 측정값을 대리 지표로 활용하여, 관측되지 않은 혼란 변수가 있는 오프라인 IL에 대한 새로운 식별 조건을 제공합니다.
• 알고리즘: 이산형 해법(폐쇄형 솔루션)과 연속형 해법(RKHS 기반 적대적 추정기)을 포함하여, 이산 및 연속 상태 공간 모두에 대한 실용적인 추정 전략을 개발합니다.

4. 실험 결과

저자들은 두 가지 설정에서 표준 BC 베이스라인($\pi_{BC1}$ 및 $\pi_{BC2}$)을 대상으로 CausIL을 평가했습니다.

1. 준시뮬레이션 종단 데이터 (PhysioNet 2019):

   • 설정: 중환자실(ICU) 생체 징후를 관측 상태($S_t$)로 사용하고, 젖산 수치(lactate levels)를 지연된 잠재 컨텍스트($U_t$)로 사용합니다. 전문가 행동(혈역학적 지원 강도)은 $S_t$와 $U_{t-1}$에 기반하여 시뮬레이션되었습니다.
   • 변화(Shifts): 연구에는 "인구 집단 변화"(다른 궤적 구성)와 "측정 변화"(젖산 대리 지표의 노이즈/편향 변화)가 도입되었습니다.
   • 결과: CausIL은 일관되게 낮은 평균 제곱 오차(MSE)를 달로 달성했으며 변화 속에서도 안정성을 유지했습니다. 반면, $\pi_{BC2}$는 측정 변화 하에서 급격히 성능이 저하되었고, $\pi_{BC1}$은 인구 집단 변화 하에서 오차가 증가했습니다.

2. 시뮬레이션 연구:

   • 설정: 섹션 2의 모델로부터 생성된 합성 데이터를 사용했습니다.
   • 결과: 실험은 이론적 강건성 주장을 확인했습니다. $\pi_{opt}$는 측정 채널이 변할 때 불변성을 유지한 반면, $\pi_{BC2}$는 실패했습니다. 마찬가지로, 상태 전이 커널이 변화하더라도(주변 잠재 분포가 고정된 경우) $\pi_{opt}$는 $\pi_{BC1}$보다 더 안정적이었습니다.

5. 의의 및 주장

본 논문은 데이터에 노이즈가 있고 환경이 변화하는 상황에서, 오프라인 모방 학습의 "인과적 망상(causal delusion)" 문제에 대한 원칙적인 해결책을 CausIL이 제공한다고 주장합니다.

• 강건성: 주요 의의는 개입적 양(interventional quantities)을 타겟팅하는 것(근사 식별을 통해)이 보상 신호나 대화형 전문가 쿼리 없이도 관측적 타겟보다 더 나은 일반화 성능을 가진 정책을 생성한다는 점을 입증한 데 있습니다.
• 실용성: 이 방법은 완전한 오프라인 환경에서 작동하며, 이는 상호작용적 탐색이 불가능하거나 위험한 의료(예: ICU 의사 결정 지원) 및 로보틱스와 같은 고위험 분야에서 매우 중요합니다.
• 한계: 이 접근 방식은 특정 식별 가정(예: 유효한 대리 지표의 존재 및 랭크/완전성 조건)에 의존합니다. 저자들은 이러한 조건들이 까다롭지만, 지연된 상태와 노이즈가 섞인 센서를 포함하는 많은 실제 시나리오에서 충족된다고 언급합니다.

저자들은 결론적으로, 변화하는 환경에서 측정 오차가 존재하는 현실적인 상황에서 순수하게 관측된 시연으로부터 정책을 학습하려면, 단순한 행동 복제를 넘어 잠재 상태, 대리 지표, 그리고 행동 간의 관계를 명시적으로 모델링하는 인과적 프레임워크로 나아가야 한다고 강조합니다.