Optimal Treatment Policy Estimation for Recurrent Events with a Competing Terminal Event: An Instrumented Difference-in-Differences Approach

기술 요약: 재발성 사건과 경쟁적 종결 사건이 존재하는 경우의 최적 치료 정책 추정

문제 정의
만성 질환을 위한 데이터 기반 최적 치료 정책 개발은 대규모 행정 의료 데이터셋에 의존하는 경우가 많다. 그러나 이러한 데이터셋은 종종 측정되지 않은 혼란 변수(unmeasured confounding)로 인해 표준적인 무시 가능성 가정(ignorability assumptions)을 검증할 수 없는 상태에 놓여 있다. 특히, 재발성 사건 결과(예: 입원, 질병 악화)가 경쟁적 종결 사건(예: 사망)의 영향을 받는 상황에 대한 문헌에는 구체적이고 결정적인 공백이 존재한다. 기존의 최적 정책 학습 방법들은 재발성 사건과 사망률 사이의 복잡한 상호작용을 고려하지 못하는 경우가 많다. 구체적으로, 제약 없는 최적화는 사망 위험을 높임으로써 재발성 사건의 수를 인위적으로 줄이는 방식을 통해, 마치 최적인 것처럼 보이는 "퇴보적(degenerate)" 정책을 산출할 수 있다. 또한, 도구 변수(Instrumental Variable, IV) 및 이중 차분법(Difference-in-Differences, DiD) 방법이 존재하기나 하지만, 이들은 주로 연속형 결과나 평균 치료 효과를 위해 설계되었으며, 경쟁 위험이 존재하는 상황에서의 개별화된 치료 체계에 대한 제약된 최적화에는 적합하지 않다.

방법론
저자들은 재발성 사건과 종결 사건이 존재하는 상황에서 측정되지 않은 혼란 변수를 고려하여 최적 치료 정책을 추정하기 위해, **도구 변수 기반 이중 차분법(Instrumented Difference-in-Differences, iDID)**에 기반한 새로운 프레임워크를 제안한다.

• 프레임워크 및 가정: 이 접근 방식은 이진 치료 $A$, 이진 도구 변수 $Z$, 그리고 시간 기간 지표 $L$을 활용한다. 이는 표준 iDID 가정(일관성, 양의성, 무작위 샘플링, 추세 관련성, 독립성/배제 제약, 측정되지 않은 공통 효과 수정자 부재, 안정적 치료 효과, 비정보적 검열)에 의존한다. 결정적으로, iDID 설계는 도구 변수가 결과 수준에 직접적인 영향을 미칠 수 있도록 허용하되, 해당 효과가 결과의 추세를 변화시키지 않는다는 조건을 통해 표준 IV의 엄격한 배제 제약을 완화한다.
• 제약된 최적화: 재발성 사건을 줄이기 위해 생존율을 희생하는 퇴보적 정책을 방지하기 위해, 목적 함수를 제약된 최적화 문제로 구성한다. 목표는 기대 누적 재발 사건 수를 최소화하는 것이며, 이때 준거 성향 점수(pseudo-propensity score)로부터 도출된 지정된 기준 행동 정책보다 한계 생존 확률이 높아야 한다는 제약 조건을 따른다.
• 추정 전략:
  1. 역확률 가중(Inverse Probability Weighted, IPW) 추정량: 두 가지 서로 다른 IPW 식별 공식이 도출된다. 첫 번째는 검열되지 않은 하위 샘플에 의존하며, 두 번째는 시간에 따른 누적 사건 정보를 활용하여, 이후에 검열된 개인이라도 해당 시점에 위험에 처해 있었다면 기여할 수 있도록 한다. 두 방식 모두 iDID 구조를 통해 측정되지 않은 혼란 변수를 조정하고, 역확률 가중을 통해 검열을 조정한다.
  2. 다중 강건(Multiply Robust, AIPW) 추정량: 모델 오지정(misspecification)으로부터 보호하기 위해 von Mises 확장을 사용한 다중 강건 추정량이 개발되었다. 이 추정량은 도구 변수 할당, 치료 추세, 검열 생존, 결과 모델과 관련된 여러 섭트 중 어느 하나라도 올바르게 지정된 경우 일관성을 달 achieves 한다.
• 점근적 이론: 본 논문은 제안된 추정량의 일관성과 점근적 정규성을 입증한다. 교차 적합(cross-fitting) 및 머신러닝을 통한 섭잡 파라미터(nuisance parameter) 추정의 특정 정규성 조건 및 속도 가정 하에서, 추정된 정책 파라미터는 $O_p(n^{-1/3})$의 속도로 수렴하며, 정책 이득 추정량은 점근적으로 정규 분포를 따른다.

주요 기여

1. 재발성 사건을 위한 새로운 프레임워크: 본 논문은 최적 정책 학습을 종결 사건이 존재하는 재발성 사건 프로세스로 확장하였으며, 이는 만성 질환 관리에 널리 퍼져 있으나 최적 정책 학습 문헌에서는 거의 다뤄지지 않은 설정이다.
2. 퇴보적 정책 처리: 저자들은 사망률을 높임으로써 부작 an 사건을 줄이는 퇴보적 정책 문제를 명시적으로 해결한다. 이는 기준 정책에 대한 생존 제약을 위반하는 솔루션에 페널티를 부여하는 제약된 최적화 정식화를 통해 달성된다.
3. 다중 강건 추정: iDID, 검열, 재발성 사건에 필요한 복잡한 섭잡 모델 중 일부만 올바르게 지정되어도 일관성을 유지하는 다중 강건 추정량이 개발되었다.
4. 이론적 보장 및 실증적 검증: 저자들은 대표본 성질(일관성 및 점근적 정규성)을 확립하고, 시뮬레이션을 통해 제안된 AIPW 추정량이 유한 표본에서 기존 IPW 방식보다 정확도와 추론적 타당성 측면에서 우수함을 입증하였다.

결과

• 시뮬레이션: 다양한 표본 크기($n=1000$ ~ $5000$)에 걸친 시뮬레이션 연구에서, 제안된 AIPW 추정량은 IPW 대안들에 비해 지속적으로 가장 높은 정답 결정 비율(Percentage of Correct Decisions, PCD)을 달성했다. AIPW 추정량은 무시할 만한 $\sqrt{n}$ 스케일 편향과 명목적 95% 수준에 근접한 경험적 피복 확률을 보여, 정책 이득 추정에 대한 이론적 점근적 성질을 검증했다.
• Medicare 데이터 적용: 본 프레임워크는 제2형 당뇨병(T2DM)의 1차 치료 전략을 최적화하기 위해 메트포르민(Metformin)과 글루카곤 유사 펩타이드-1(GLP-1) 수용체 작용제를 비교하는 데 적용되었다(2016~2023년 국가 Medicare 데이터셋 활용).
  • 분석에는 측정되지 않은 혼란 변수를 해결하기 위해 의료진 선호도 변화가 도구 변수로 사용되었다.
  • 비-IV IPW 접근 방식은 메트포르민을 환자의 4.78%에게만 권장하는 급격한 재배치를 제안했다.
  • 반면, unmeasured confounding을 고려한 iDID 기반 AIPW 추정량은 더 보수적인 재배치를 권장하여 메트포르민 사용률을 21.16%로 제안했다.
  • iDID AIPW 방법으로 식별된 최적 정책는 GLP-1 RA를 더 쇠약하고, 여성이며, 비히스패닉계 백인 환자에게 할당하였는데, 이는 심혈관 및 신장 보호에 관한 최신 임상 가이드라인과 일치한다.
  • 추정된 정책 이득은 관찰된 행동 정책 대비 환자당 약 0.034의 부적 합성 사건(adverse composite events) 감소를 나타냈으며, 이는 생존율을 저해하지 않고 달성되었다.

의의 및 주장
본 논문은 재발성 사건과 경쟁 위험의 맥락에서 인과 효과 추정과 의사결정 사이의 중요한 간극을 메운다고 주장한다. iDID 프레임워크를 제약된 최적화 및 다중 강건 추정과 결합함으로써, 저자들은 unmeasured confounding에 강건하면서도 임상적으로 안전한(생존을 희생하는 정책을 방지하는) 방법을 제공한다. Medicare 데이터에 대한 적용은 unmeasured confounding을 무시할 경우 극단적이고 잠재적으로 해로운 치료 재배치로 이어질 수 있음을 보여줌으로써 본 방법론의 실용적 유용성을 입증한다. 저자들은 선형 결정 경계 및 정적 도구 변수의 제한점을 인정하며, 향에는 동적 치료 환경 및 더 유연한 정책 클래스를 탐구할 것을 제안한다.