Non-parametric Causal Inference in Dynamic Thresholding Designs

기술 요약: 동적 임계값 설계에서의 비모수적 인과 추론

문제 제기
회귀 불연속 (RD) 설계는 정적 환경에서 비모수적 인과 추론을 위한 표준 도구로, 처리가 실행 변수가 고정된 임계값을 초과하는지에 따라 할당되는 경우에 사용됩니다. 그러나 의료, 교육, 공공 정책 분야에서 많은 중대한 의사결정은 실행 변수가 시간에 따라 진화하고 과거의 처리에 영향을 받는 동적 환경에서 이루어집니다. 예를 들어, 환자의 다음 해 혈당 수준 (실행 변수) 은 전년도에 생활 습관 개입 (처리) 을 받았는지에 따라 달라집니다.

기존의 RD 문헌은 단위가 한 번만 처리를 받는 횡단면 환경에 초점을 맞추고 있습니다. 표준 RD 방법을 동적 환경에 직접 적용하는 것은 다음과 같은 이유로 실패합니다:

1. 과거의 처리가 미래 실행 변수의 분포를 변경하여 복잡한 피드백 루프를 생성합니다.
2. 모든 가능한 처리 이력에 대한 인과적 추정량을 정의하면 시간 범위가 커짐에 따라 '차원의 저주'가 발생합니다.
3. 축소형 접근법 (예: 초기 실행 변수에 대한 미래 결과 회귀) 은 전체 동적 처리 효과를 포착하지 못하며 정책 관련 매개변수로 직접 해석되지 않습니다.

방법론
저자들은 제한적인 모수적 가정을 부과하지 않고 처리 동역학을 고려하는 동적 임계값 설계에 대한 비모수적 인과 추론 프레임워크를 제안합니다.

• 목표 추정량 (한계 정책 효과): 이 논문은 고전적인 RD 추정량을 단순히 임계점에서의 국소 평균 처리 효과 (LATE) 로 해석하는 것이 아니라 한계 정책 효과로 재해석합니다. 구체적으로, 이는 정책 $\pi_c$ 하에서 기대 할인된 복지 (가치 함수) 의 임계값 $c$에 대한 미분과 기대 할인된 처리 빈도의 임계값 $c$에 대한 미분의 비율로 정의됩니다:
  $$\tau^{RD} := \frac{\partial V^Y(\pi_c)}{\partial c} \Big/ \frac{\partial V^A(\pi_c)}{\partial c}$$
  여기서 $V^Y$와 $V^A$는 각각 정책 $\pi_c$ 하에서의 순현재 기대 결과와 처리 횟수를 나타냅니다. 이 비율은 임계값을 한계적으로 낮추는 비용 - 편익 트레이드오프를 특징짓습니다.

• Q-함수를 통한 식별: 강화 학습 (RL) 과 마르코프 의사결정 과정 (MDP) 에 영감을 받아, 저자들은 정책 기울기를 식별하기 위해 Q-함수 (행동 가치 함수) 를 활용합니다. 그들은 g-공식 (시스템이 관측되지 않은 상태가 있더라도 마르코프 구조를 따르는 경우 성립) 하에서 정책 기울기가 실행 변수의 조건부 밀도로 가중된 임계점에서의 Q-함수 차이의 할인된 합으로 표현될 수 있음을 보여줍니다.
  $$-\frac{\partial V^Y(\pi_c)}{\partial c} = \sum_{t=0}^T \gamma^t E\left[ (Q^Y_{c,t}(S_t, c, 1) - Q^Y_{c,t}(S_t, c, 0)) f_t(c | S_t) \right]$$
  이 특징화는 단일 현상 임계값에서 수집된 데이터를 사용하여 동적 한계 정책 효과를 식별할 수 있게 합니다.

• 추정 (이중 할인 국소 선형 회귀): $\tau^{RD}$를 추정하기 위해 저자들은 맞춤형 국소 선형 회귀 (LLR) 추정량을 제안합니다. 표준 정적 RD 와 달리, 이 추정량은 다음과 같습니다:

  1. 즉각적인 결과 대신 미래 결과의 할인된 합 ($\Gamma^Y_{i,t}$) 과 처리 ($\Gamma^A_{i,t}$) 를 종속 변수로 사용합니다. 이는 Q-함수를 근사하고 장기 하류 효과를 포함합니다.
  2. 정책 기울기 정리 구조를 반영하여 관측치에 시간 할인 가중치 ($\gamma^t$) 를 적용합니다.
  3. 단위 간 공통적인 시간별 변화를 흡수하고 점근적 분산을 줄이기 위해 시간 고정 효과를 포함합니다.
  4. 임계값 변경이 미래 처리 빈도에 미치는 영향의 불확실성을 고려하기 위해 비율 형태 ($\hat{\tau}^Y / \hat{\tau}^A$) 를 취합니다. 이는 퍼지 RD 추정량과 유사합니다.

주요 결과

• 일관성: 표준 정규성 조건 (임계점에서의 조건부 반응 함수 및 밀도의 연속성, Q-함수의 매끄러움) 하에서 제안된 추정량은 동적 한계 정책 효과 $\tau^{RD}$에 대해 일관성을 가집니다.
• 점근 분포: 추정량은 $n^{-2/5}$의 표준 비모수 수렴 속도 (대역폭 $h_n \sim n^{-1/5}$) 를 달성합니다. 점근 분산은 $\gamma^{2t}$로 가중된 모든 시간 기간에 걸친 불확실성을 집계합니다.
• 분산 추정: 저자들은 궤적 내 시간 간 임의적 의존성을 고려하여 점근 분산을 일관되게 추정하는 단위 클러스터링 샌드위치 분산 추정량을 제안합니다.
• 대역폭 선택: 잔차화된 결과와 단위 클러스터링 분산 추정을 사용하여 Imbens-Kalyanaraman (2012) 방법을 동적 환경으로 확장한 데이터 기반 대역폭 선택 규칙이 유도됩니다.

실증 검증
저자들은 두 가지 수치 실험을 통해 접근법을 검증합니다:

1. 자기회귀 시뮬레이터: 과거 처리에 기반하여 상태가 진화하는 스타일화된 데이터 생성 과정입니다. 제안된 방법은 동적 한계 정책 효과를 올바르게 복원하는 반면, 표준 LLR (부분 균형 효과를 대상으로 함) 과 단순한 장기 LLR (미래 임계값 교차 무시) 은 유효한 추론을 제공하지 못하거나 상당한 편향을 보입니다.
2. UVa/Padova 1 형 당뇨병 시뮬레이터: FDA 승인 연속 혈당 모니터링 시뮬레이터를 사용하여 인슐린 투여에 대한 동적 임계값 규칙을 모의합니다. 제안된 방법은 다양한 할인 인자에 걸쳐 신뢰구간에 대해 명목상 커버리지를 유지하는 반면, 경쟁 방법들은 심각한 커버리지 부족 (표준 LLR) 이나 무의미하고 극도로 넓은 구간 (단순한 장기 LLR) 을 생성합니다.

의의 및 주장
이 논문은 표준 횡단면 RD 결과와 비교할 수 있는 일반성을 갖춘 동적 임계값 설계에 대한 최초의 비모수적 인과 추론 결과를 제공한다고 주장합니다.

• 정책 관련성: 추정량을 한계 정책 효과로 프레임함으로써, 이 접근법은 자원 배분에 대한 비용 - 편익 분석을 직접 가능하게 합니다 (예: 건강 검진 임계값을 낮출지 결정).
• 강건성: 이 방법은 이전 동적 RD 접근법 (예: Cellini et al., 2010) 이 요구하는 제한적인 모수적 가정과 다른 방법들 (예: Hsu and Shen, 2024) 이 요구하는 강한 조건부 독립 가정을 피합니다.
• 이론적 교량: 이 연구는 회귀 불연속 설계 문헌과 강화 학습 및 정책 기울기 정리 문헌을 연결하여, 정책 기울기 개념이 시간적 간섭이 있는 환경에서 관찰적 인과 추론에 적응될 수 있음을 보여줍니다.

저자들은 특정 국소 선형 회귀 추정량이 일관성을 가진다고 지적하지만, 다른 알고리즘의 효율성과 편향 인식 추론 절차 (Calonico et al., 2014 등) 의 동적 환경 적응에 대해서는 여전히 의문이 남아있다고 언급합니다.