Scalable Counterfactual Risk Estimation for Rare Events in Longitudinal Data

기술 요약: 종단적 데이터 내 희귀 사건에 대한 확장 가능한 반사실적 위험 추정

문제 정의

대규모 관찰 연구에서 시변 처치(time-varying treatments)가 생존 결과에 미치는 인과적 효과를 추정하는 것은 결과(outcome)가 희귀할 경우 계산적으로 매우 부담이 큽니다. 반복 조건부 기대값(ICE) 및 비반복 조건부 기대값(NICE)과 같은 g-공식(g-formula) 기반의 표준 접근 방식은 전체 코호트에 대해 모든 시점마다 회귀 모델을 적합시켜야 합니다. 자살 위험과 같이 사건 발생률이 낮은 설정에서는 이는 심각한 클래스 불균형을 초래하여 로지스틱 회귀의 불안정성과 느린 수렴을 유발합니다. 또한, 유효한 추론을 위해서는 반복적인 재표집(resampling)과 모델 적합을 포함하는 부트스트랩 기반의 분산 추정이 필요한데, 이는 계산적 부담을 기하급적으로 증가시킵니다. 보안이 중요하거나 메모리가 제한된 환경에서 전체 종단적 코호트를 반복적으로 처리하는 것은 흔히 불가능합니다.

방법론

저자들은 통계적 일관성을 유지하면서 계산 비용을 줄이기 위해 설계된 원칙적인 **종단적 케이스-컨트롤 하위 표본 추출 및 재가중치 부여 전략(longitudinal case–control subsampling and reweighting strategy)**을 제안합니다. 이 방법은 광범한 범주의 종단적 인과 추정치에 적용 가능하며, 특히 ICE 추정치에 초점을 맞추고 있습니다.

핵심 메커니ism:

1. 결과 의존적 하위 표본 추출: 전체 코호트를 분석하는 대신, 각 시점 $t$에서 이벤트를 경험한 모든 개인(케이스)을 유지합니다. 대조군(이벤트가 발생하지 않은 개인)은 특정 비율 $J_t$(예: 케이스당 5, 10 또는 20명의 대조군)에 따라 하위 표본 추출됩니다.
2. 종단적 제약 조건: 국소적으로 작동하는 표준 케이스-컨트롤 설계와 달리, 이 접근 방식은 종단적 데이터의 시간적 구조를 존중합니다. 한 시점에서의 표본 추출 결정은 생존 및 피험자 내 의존성으로 인해 후속 시점에 제약을 가합니다. 이 방법은 시점 간 의존성을 고려하여 일관된 샘플링된 데이터셋을 구축합니다.
3. 일관성을 위한 재가중치 부여: 하위 표본이 전체 모집단의 반사실적 위험에 대해 일관된 추정치를 제공하도록 하기 위해, 저자들은 특정 가중치($w_t, m_t, \ell_t$)를 도출합니다.
   • 가중치는 상호 배타적인 그룹(예: 시점 $t$에서 사망한 자, 시점 $t$에서 중도 절단된 자, 생존한 자) 간의 기대 총 가중치 기여도를 동일하게 맞춤으로써 도출됩니다.
   • 저자들은 이러한 균형 조건 하에서 하위 표본의 가중치 추정 방정식이 모집단 수준의 추정 방정식의 불편 추정량임을 입증합니다.
4. 알고리즘 통합: 제안된 가중치 체계는 표준 ICE 알고리즘(Algorithm 2)에 통합됩니다. 역방향 반복 단계(Time $T$에서 0까지)의 각 단계에서, 현재의 전역 시점은 국소적 기준점으로 취급되며, 조건부 기대값 모델의 회귀 적합에 적절한 가중치가 적용됩니다.

중도 절단(Censoring) 처리:
본 프레임워크는 행정적 중도 절단(administrative censoring)과 추적 관찰실실(loss to follow-up)을 명시적으로 처리합니다. 중도 절단된 개인은 중도 절단되기 전의 시점까지 하위 표본에 포함되며, 케이스 및 대조군과의 기여도를 균형 있게 맞추기 위해 도출된 가중치가 적용됩니다.

주요 기여

• 확장 가능한 프레임워크: 본 논문은 희귀 사건 설정에서 계산 부하를 획기적으로 줄이기 위해 기존의 g-공식 기반 추정치(ICE 및 NICE)에 적용할 수 있는 일반적인 하위 표본 추출 프레임워크를 소개합니다.
• 이론적 일관성: 저자들은 제안된 하위 표본 추출 추정량이 표준 인과 가정(일관성, 교환 가능성, 양의성) 하에서 목표 반사실적 위험 $E(Y^g_T)$에 대해 일관성을 유지함을 이론적으로 증명합니다(Theorem 1). 이는 도출된 가중치 균형 방정식이 충족되는 경우를 전제로 합니다.
• 실용적인 가중치 체계: 본 논문은 시점별로 변화하는 이벤트율을 수용할 수 있도록 가변적인 샘플링 비율을 허용하는 구체적이고 유연한 가중치 체계를 제공합니다.

결과

저자들은 광범한 시뮬레이션과 실제 응용 사례를 통해 이 방법을 평가했습니다.

시뮬레이션 연구:

• 설정: $N=30,000$명의 개인을 대상으로 6개 시점에 걸쳐 진행된 낮은 이벤트 발생률(~1%)의 시뮬레이션 종단 데이터.
• 계산 효율성: 하위 표본 추출 방식은 계산 시간을 극적으로 단축했습니다. 로지스istic 회귀의 경우, 총 실행 시간이 약 6070% 감소했습니다(예: NICE의 경우 ~11.8초에서 ~5.8초로 감소). 더 복잡한 머신러닝 모델(SuperLearner)의 경우, 감소 폭이 더욱 두드러져 ~63분에서 ~35분으로 단축되었습니다.
• 통계적 성능: 하위 표본 추출된 데이터로부터 얻은 위험 추정치는 전체 데이터의 대응치와 유사했습니다. 대조군 대비 케이스 비율($J$)을 5에서 20으로 높이면 표준 오차가 감소하여 전체 표본 추정치에 더 가까워졌습니다. 부트스트랩 평균의 박스플롯은 하위 표본 추출 버전이 전체 데이터 결과를 밀접하게 추적함을 보여주었습니다.
• 강건성: 이 방법은 중간 정도의 발생률(~2.5% 및 ~6%) 설정에서도 효과적으로 작동했으나, 이벤트율이 높아짐에 따라 계산적 이점은 자연스럽게 감소했습니다.

실제 응용:

• 데이터셋: 정신과 병원에서 퇴원한 미국 참전 용사 127,399명의 코호트로, 5개의 6개월 간격 동안 자살 위험(331건의 이벤트)을 추적했습니다.
• 성능: 하위 표본 추출 ICE 추정기는 전체 데이터 버전이 소요하는 시간의 약 4분의 1 수준으로 실행되었습니다(적합당 5.73초 vs 24.66초).
• 정확도: 서로 다른 처치 전략(항상 치료 vs 치료 안 함) 하에서의 자살 위험에 대한 점 추정치는 두 방법 간에 유사했습니다. 하위 표본 추출 방식은 줄어든 표본 크기에 따라 마지막 시점에서 약간 더 큰 표준 오차를 보였으나, 전반적인 타당성을 유지했습니다.

의의 및 주장

본 논문은 제안된 방법이 희귀 사건 설정의 종단적 인과 추론을 위한 확장 가능한 대안을 제공한다고 주장합니다. 이 연구의 주요 의의는 부트스트랩 재표집을 통한 추론이 필요한 거대 데이터셋에서 엄격한 g-공식 기반 인과 추론을 적용할 수 있게 한다는 점에 있습니다.

저자들은 다음을 강조합니다:

1. 이 방법은 표준 g-공식의 새로운 식별 가정을 요구하지 않고 일관성을 보존합니다.
2. 매우 불균형한 위험 집합에 대한 반복적인 모델 적합으로 발생하는 계산적 병목 현상을 완화합니다.
3. 균형 방정식이 충족되는 한 가변적인 샘 sampling 비율과 다양한 가중치 체계를 허용하는 유연성을 갖추고 있습니다.
4. 이 접근 방식은 모델을 새로운 데이터가 도착함에 따라 빈번하게 재적합해야 하는 온라인 또는 정기적 분석에 특히 가치가 있습니다. 부트스트랩 재표집을 통한 누적 시간 절감 효과는 상당합니다(예: 6.9시간의 부트스트랩 과정을 1.6시간으로 단축).

본 논문은 하위 표본 추출 단계가 비용을 줄이지만 목표 추정치(estimand)를 변경하지는 않으므로, 대규모 희귀 결과 종단 데이터를 다루는 연구자들에게 실용적인 도구라고 결론짓습니다.