Real-world performance of large-scale propensity score adjustment strategies: Matching, weighting, and stratification

기술 요약: 대규모 성향 점수 조정 전략의 실제 성능

문제 정의
관찰 연구에서는 치료 효과를 추정하기 위해 대규모 데이터(수백만 명의 환자, 수만 개의 공변량)를 활용하며, 종종 대규모 성향 점수(Large-Scale Propensity Score, LSPS) 모델을 사용한다. LSPS 모델은 규제화된 회귀(regularized regression)를 통해 공변량 균형과 모델 적합도를 개선하는 것으로 입증되었으나, 이러한 대규모 실제 환경에서 서로 다른 성향 점수(Propensity Score, PS) 조정 전략들이 어떻게 수행되는지에 대한 경험적 근거는 부족한 실정이다. 특히, 방대한 수의 공변량을 포함하는 것이 매칭(matching), 층화(stratification), 역확률 가중치(inverse probability of treatment weighting, IPTW)와 같은 일반적인 조정 전략 중 최적의 선택을 변화시키는지 여부는 여전히 불분명하다. 기존의 벤치마크 결과들은 상충하는 양상을 보였는데, 어떤 연구는 IPTW가 매칭보다 성능이 떨어진다고 제안하는 반면, 다른 연구는 편향 제어 측면에서 IPTW가 우수하다고 지지하기도 했다.

방법론
저자들은 네 개의 연합 국가 의료 데이터베이스(1,100만 명 이상의 환자 포함)의 실제 데이터를 사용하여, 체계적이고 대규모인 경험적 평가인 "성향 점수 조정 경로에 관한 조사(Survey of Propensity-score Adjustment Routes for Treatment-effect Analyses, SPARTA)"를 수행하였다.

• 연구 설계: 고혈압 치료를 위한 1차 단일 요법에 초점을 맞춘 비교 신규 사용자 코호트 설계를 채택하였다. 본 연구는 160개의 음성 대조 결과(치료 효과가 0으로 알려진 경우)와 각 음성 대조 결과당 3개의 합성 양성 대조를 사용하여 12가지의 뚜렷한 치료 비교(약물 수준 및 클래스 수준)를 평가하였다.
• PS 모델링: 인구통계학적 특성, 병력, 약물 노출, 의료 이용을 포괄하는 약 12,000개의 공변량을 포함하는 $\ell_1$-규제 로지스틱 회귀를 사용하여 LSPS 모델을 적합시켰다. 도구 변수는 치료와의 단변량 상관관계를 기준으로 스크리닝되어 제거되었다.
• 평가된 조정 전략:
  • 매칭(Matching): 고정 비율(1:1, 1:5, 1:25) 및 가변 비율(variable-ratio, VR) 매칭(0.2 표준 편차 캘리퍼 적용).
  • 층화(Stratification): 5개 및 25개 층으로 그룹화.
  • IPTW: 세 가지 변형을 테스트하였다:
    1. IPTW (Crump): 치료 할당 여부와 관계없이 PS 분포의 상하위 10%를 트리밍(trimming).
    2. IPTW (Stürmer): 중첩되지 않는 영역을 먼저 제거한 후, 가장 상반되는 환자들을 제거하는 2단계 방법.
    3. 중첩 가중치(Overlap Weighting): PS 중첩이 가장 큰 영역에 있는 환자들의 가중치를 높임.
• 평가 지표: 성능은 제1종 오류(Type-I error, 허위 양성률), 제2종 오류(Type-II error, 허위 음성률), 평균 정밀도(mean precision), 평균 제곱 오차(MSE), 그리고 공변량 균형을 위한 최대 절대 표준화 평균 차이(maximum absolute standardized mean difference, SMD)를 통해 평가되었다.
• 보정(Calibration): 무작위 오차와 체계적 오차를 모두 포착하기 위해, 관찰된 음성 대조 효과의 분포를 기반으로 p-값과 신뢰 구간을 조정하는 경험적 보정 절차를 모든 추정치에 적용하였다.

주요 결과

• 균형 및 편향: 모든 모델 사양에 걸쳐, Crump 트리밍을 적용한 IPTW와 1:1 매칭이 일관되게 가장 강력한 공변량 균형(SMD < 0.1)과 가장 낮은 제1종 오류율을 달est하였다. **IPTW (Stürmer)**는 모든 지표에서 성능이 저조하였으며, 가장 높은 제1종 오류를 보였고 적절한 균형을 달성하는 데 실패하였다. 층화는 혼재된 결과를 보였는데, 때때는 균형을 달성하기도 했으나 종종 더 높은 제로 유형 오류를 대가로 치렀다.
• 정밀도 및 MSE: 여러 방법이 유사한 균형을 달성했음에도 불구하고, 1:1 매칭은 많은 시나리오에서 가장 높은 정밀도와 가장 낮은 MSE를 나타냈다. 흥ante하게도, 매칭 비율을 높이는 것(예: 1:25 또는 가변 비율)이 반드시 정밀도를 개선하는 것은 아니었으며, 오히려 덜 유사한 환자들을 매칭하게 되거나 조건부 결과 모델의 통계적 비용으로 인해 분산을 유발하기도 했다.
• 보정의 영향: 경험적 보정은 전략 간의 성능 차이를 유의미하게 감소시켰다. 보정 후에는 제1종 및 제2종 오류율, 정밀도 및 균형 지표가 대부분의 방법에서 수렴하였으며, 이는 보정이 특정 조정 전략의 선택에 따른 결과의 민감도를 완화할 수 있음을 시사한다.
• 데이터베이스 가변성: 성능은 데이터베이스의 크기와 구성에 따라 약간씩 달랐다. 예를 들어, 더 큰 매칭 비율(1:25)이 특정 대규모 데이터베이스(MDCR, Optum EHR)에서 1:1 매칭보다 간혹 더 우수한 성능을 보였으나, 1:1 매칭이 여전히 견고한 기본값으로 남았다.

주요 기여

1. 경험적 벤치마킹: 본 연구는 네 개의 주요 의료 데이터베이스에서 LSPS 모델을 사용하여 (매칭, 층화, 다양한 IPTW 변형을 포함한) PS 조정 전략을 대규모로 체계적으로 비교한 첫 번째 연구이다.
2. IPTW 변형의 차별화: 본 논문은 모든 IPTW 방법이 동일하지 않음을 명확히 한다. Crump 트리밍과 중첩 가중치가 매우 효과적임을 식별하는 동시에, Stürmer 트리밍은 중첩되는 PS 영역을 제거하기 때문에 대규모 환경에서 차선책임을 입증하였다.
3. 보정의 타당성 검증: 본 연구는 경험적 보정이 서로 다른 조정 전략 간의 성능을 표준화하여, PS 모델링 선택에 따른 결과의 민감도를 줄이는 것을 경험적으로 검증하였다.
4. 실무 가이드라인: 저자들은 단일 전략이 보편적으로 우월하다는 통념에 도전하며, 데이터에 기반한 권장 사항을 제공한다.

의의 및 주장
본 논문은 단일 전략이 모든 설정에서 압도적이지는 않지만, Crump 트리밍을 적용한 IPTW와 1:1 매칭이 편향 제어와 정밀도 사이의 유리한 균형을 제공하는 강력한 기본 선택지 역할을 한다고 주장한다. 저자들은 연구자들이 단일 방법에 의존하기보다, 상위 성능을 보이는 전략들을 민감도 분석으로 포함해야 한다고 강조한다. 또한, 연구 결과가 모델 선택의 영향을 줄이기 위해 경험적 보정을 일상적으로 사용할 것을 강력히 권고한다. 본 연구의 결과는 조정 전략의 선택이 특정 연구 맥락에 의해 안내되어야 하며, 공변량 균형 진단을 통해 검증되어야 하고, 많은 수의 공변량을 포함하는 것이 적절히 구현될 경우 표준적인 조정 기법의 효과를 저해하지 않는다는 점을 시사한다.