Evaluating covariate balance for long time horizon Markov decision processes

기술 요약: 긴 시간 지평을 가진 마르코프 결정 과정(MDP)에 대한 공변량 균형 평가

문제 정의
오프라인 강화학습(RL)은 관찰 데이터로부터 최적의 치료 권고안을 도출하기 위해 패혈증 관리와 같은 의료 분야에 점점 더 많이 적용되고 있습니다. 이러한 응용 방식은 서로 다른 행동 정책(behavior policy)으로부터 수집된 데이터를 사용하여 타겟 정책의 성능을 추정하기 위해 오프-폴리시 평가(OPE)에 의존합니다. 그러나 OPE는 근본적으로 일관성(consistency), 교환 가능성(exchangeability), 양의성(positivity)이라는 가정을 필요로 하는 인과 추론 문제입니다. 인과 추론 커뮤니티에서는 일반적으로 은닉 혼란 변수(hidden confounding)에 대한 진단 검사, 특히 공변량 균형(covariate balance) 지표를 통해 강건성을 평가합니다. 반면, 오프라인 RL 커뮤니티는 주로 결과 기반 평가 방법론에 집중해 왔으며, 이러한 진단 검사는 소홀히 해왔습니다. 본 논문은 기존의 오프라인 RL 의료 적용 사례들이 긴 시간 지평을 가진 마르코프 결정 과정(MDP)의 맥락에서 유효한 인과 추론에 필요한 공변량 균형 가정을 충족하는지 조사합니다.

방법론
저자들은 공변량 균형 진단을 시간 의존적 오프라인 RL 설정으로 공식화하고 확장합니다. 방법론은 다음과 같습니다:

1. 공식 정의: 본 논문은 성향 점수 매칭/층화(propensity score matching/stratification)에 기반한 *조건부 공변량 균형(conditional covariate balance)*과 역확률 가중치(inverse probability weighting)에 기반한 *가중 공변량 균형(weighted covariate balance)*을 구분합니다. 또한, 가중 버전을 다단계 궤적(multi-step trajectories)으로 확장하여 평균 절대 표준화 차이($MASD_{Weight-t}$)를 도출합니다.
2. 실험 설정: 연구는 기존의 선행 연구(예: Komorowski et al., 2018)에서 확립된 전처리 파이프라인과 MDP 정의를 활용하여 패혈증 관리 데이터에 이 진단법을 적용합니다. 분석 범위는 다음과 같습니다:
   • 전체 행동 공간: 최대 18단계의 지평 동안 진행되는 정맥 수액(IV fluids) 및 승압제(vasopressors) 조합의 25개 이산 행동 공간.
   • 축소된 행동 공간: 5개의 행동(수액 단독)으로 제한된 공간.
   • 절단된 시간 지평: 2, 5, 8, 13 단계의 길이로 절단된 궤적에 대한 분석.
3. 성향 모델링: 기존 연구들이 성향 모델을 활용하지 않았기 때문에, 저자들은 관측된 데이터에 대한 성향 점수($p(A|S)$)를 추정하기 위해 XGBoost 모델을 학습시켰습니다.
4. 분산 감소 기법: 중요도 샘플링(IS)에서 흔히 사용되는 분산 감소 기법인 *클리핑(clipping)*과 하젝(Hajek) 추정치가 공변량 균형 지표에 미치는 영향을 평가합니다.
5. 진단 기준: 균형은 $MASD_{Weight-t}$ 값이 임계값(0.25) 미만인지 확인하여 평가하며, 성향 모델이 균형을 개선하는지 판단하기 위해 비가중(unweighted) 균형과 가중(weighted) 균형 사이의 차이($MASD\text{-}Diff_{Weight-t}$)를 계산합니다.

주요 기여

• 시간 의dependent 균형의 공식화: 본 논문은 공변량 균형의 정의를 통합하고, 이를 이진이 아닌 행동 공간을 가진 시간 의존적 설정으로 확장하여 $MASD_{Weight-t}$를 위한 수학적 프레임워크를 제공합니다.
• 기존 연구의 진단 실패: 분석 결과, 기존의 패혈증 치료 권고 관련 오프라인 RL 연구들이 긴 시간 지평에 대해 공변량 균형 테스트를 충족하지 못함을 보여줍니다.
• 분산 감소 기법의 편향: 본 논문은 진단 목적으로 표준 분산 감소 기법(클리 clipping, Hajek)을 사용하는 데 있어 치명적인 결함을 식별합니다. 시간 지평이 길어짐에 따라 중요도 가중치의 분산이 너무 커져서, 이 추정치들이 공변량 투영을 단일 값으로 편향시켜, 교환 가능성이 성립하지 않음에도 불구하고 마치 균형이 이루어진 것처럼 보이는 가짜 현상(비가중 상태로의 수렴)을 만들어낸다는 것을 보여줍니다.

결과

• 균형 부족: 전체 행동 공간(패혈증 데이터셋)의 경우, 공변량 균형이 달성되지 않습니다. $MASD_{Weight-t}$ 값은 일반적으로 0.25 임계값을 초과하며, $MASD\text{-}Diff_{Weight-t}$ 지표는 성향 모델이 초기 몇 단계(구체적으로 테스트 세트에서 2~3단계 이후)를 제외하고는 균형을 개선하지 못함을 나타냅니다.
• 추정치의 인위적 결과: 일부 추정치(clipping 및 Hajek)가 긴 지평에서 개선되는 균형을 보여주는 것처럼 보였으나, 저자들은 이것이 인위적인 현상임을 입증했습니다. 시간 지평이 길어질수록 유효 표본 크기가 감소하며, 추정치의 편향으로 인해 가중 공변량이 붕괴되어 실제로는 혼란을 교정하지 못하면서도 균형이 잡힌 것처럼 흉내를 내게 됩니다.
• 행동 공간 및 지평의 영향:
  • 행동 공간을 제한(패혈증-수액 데이터셋)하면 성향 모델의 성능과 초기 4단계까지의 균형은 개선되었으나, 그 이후에는 여전히 균형이 악화되었습니다.
  • 시간 지평을 절단(예: 5 또는 8 단계)하면 비가중 분포 대비 균형이 유지되는 타임스텝의 수가 더 많아졌으며, 이는 짧은 지평이 교환 가능성 가정을 충족하기에 더 용이할 수 있음을 시사합니다.
• 훈련 vs 테스트: 테스트 세트에서 관찰된 균형의 악화는 훈련 지표 자체의 내재적 편향보다는 표본 크기 감소에 부분적으로 기인한 것으로 나타났습니다.

의의 및 주장
본 논문은 기존의 치료 권고용 오프라인 RL 연구들이 그들의 인과적 가정에 대해 통계적으로 강건하다고 간주될 수 없다고 결론짓습니다. 현재의 애플리케이션에서 나타나는 행동 공간과 시간 지평의 높은 차원은 기존의 진단 접근법이 은닉 혼란 변수의 부재를 확인하기에 불충분하다는 것을 보여줍니다.

저자들은 다음과 같이 주장합니다:

1. 높은 편향 위험: 기존의 오프라인 RL 치료 권고 연구에는 높은 편향 위험이 존재하거나, 혹은 현재의 공변량 균형 지표가 긴 시간 지평에 대해 불충분합니다.
2. 현재 진단법의 부적절성: 표준 분산 감소 방법(clipping, Hajek)은 긴 지평의 설정에서 공변량 균형을 진단하는 데 부적절합니다. 왜냐하면 이들은 실제 균형 결여를 가리는 편향을 도입하기 때문입니다.
3. 향atic 방향: 분야에는 새로운 방법론적 방향이 필요합니다. 구체적으로 저자들은 다음을 제안합니다:
   • 연구는 행동 공간이나 시간 지평을 제한함으로써 방법론적으로 더 강건한 애플리케이션을 확보하는 데 집중해야 합니다.
   • 편향이 추정치를 압도하는 시점을 결정하기 위해, 추정치의 정확도와 분산 감소 사이의 트레이드오프를 규명할 수 있는 새로운 프레임워크가 필요합니다.
   • 궤적 밀도에 대한 공동 모델링(joint modeling) 접근 방식(자기회귀적 단계별 모델링 대신)이 후기 시간 지평에서의 안정성을 개선할 수 있습니다.

궁극적으로, 본 논문은 의료 분야의 오프라인 RL에서 치료 효능에 대한 확정적인 결론을 내리기 전에, 커뮤니티가 결과 기반 지표를 넘어 그 밑바탕이 되는 인과적 가정을 엄격하게 다룰 것을 촉구하는 경고적 분석 역할을 합니다.