Residual-on-Residual Regression as a Tool for Effect Estimation in Observational Data

기술 요약: 관찰 데이터의 효과 추정을 위한 도구로서의 잔차-대-잔차 회귀 (Residual-on-Residual Regression)

문제 제기
연구자들은 인과적 노출 효과를 추정하기 위해 관찰 데이터를 빈번하게 활용하지만, 표준적인 모수적 회귀 모델은 잠재적 교란 변수의 수가 표본 크기에 비해 큰 고차원 설정에서 실패하는 경우가 많다. 이러한 맥락에서는 함수 형태와 상호작용을 올바르게 지정하는 것이 어려우며, 모델 오지정(misspecification)은 표준적인 민감도 분석으로는 감지되지 않는 편향을 초래할 수 있다. 머신러닝(ML) 알고리즘이 복잡한 교란 관계를 모델링하기 위한 데이터 적응형 대안을 제공하긴 하지만, 이들은 일반적으로 손실 함수(loss function)의 편향-분산 트레이드오프를 최적화한다. 고려되지 않을 경우, 유연한 ML 방법론에 의해 도입된 편향은 단순한 단일 강건(singly robust) 인과 추정량의 성능을 저하시킬 수 있다.

준모수적 효율성 이론(semiparametric efficiency theory)은 증강 역확률 가중치(AIPW) 및 표적 최대 가능도 추정(TMLE)과 같은 이중 강건(doubly robust) 추정량을 산출해 냈으나, 이러한 방법들도 한계가 존재한다. 구체적으로, 이들은 양의성 가정(positivity assumption)의 미세한 위반(예: 노출군과 비노출군 모두를 채울 충분한 표본이 모든 교란 변수 층위에 존재하지 않는 경우)에 매우 민감할 수 있다. 또한, 동일한 데이터셋에 TMLE와 AIPW를 모두 적용했을 때 서로 다른 결과가 도출될 수 있으며, 이는 어떤 추정치를 신뢰할 것인가에 대한 불확실성을 야기한다.

방법론
본 논문은 평균 처치 효과(ATE)를 추정하기 위한 안정적인 대안으로서, 로빈슨(Robinson, 1988)의 연구에 뿌리를 두고 계량경제학에서 대중화된 **잔차-대-잔차 회귀(Residual-on-Residual Regression)**를 제안하고 평가한다.

이 접근법은 다음과 같은 명세 하에 작동한다:
$$Y = \psi A + g(W) + \epsilon$$
여기서 $Y$는 결과(outcome), $A$는 노출(exposure), $W$는 교란 변수 집합, $\psi$는 상수 처치 효과, 그리고 $g(W)$는 지정되지 않은 비모수 함수이다. 표준 회귀와 달리, 이 모델은 노출과 결과 사이의 선형 관계를 가정하면서도 교란 변수와 결과 사이의 관계는 유연하게 남겨둔다.

추정 과정은 다음 세 단계로 진행된다:

1. 교란 요인 추정(Nuisance Estimation): 교란 변수 조건하의 결과 조건부 평균 $\hat{E}[Y|W]$와 교란 변수 조건하의 노출 조건부 평균 $\hat{E}[A|W]$를 추정하기 위해 비모수 모델(예: Super Learner 앙상블 사용)을 적합시킨다.
2. 잔차 생성(Residual Construction): 결과($\tilde{Y} = Y - \hat{E}[Y|W]$)와 노출($\tilde{A} = A - \hat{E}[A|W]$)에 대한 잔차를 각각 계산한다.
3. 최종 추정(Final Estimation): 절편이 없는(no-intercept) 최소제곱법(OLS) 추정량을 사용하여 $\tilde{Y}$를 $\tilde{A}$에 대해 회귀함으로써 $\psi$를 추정한다.

유효한 추론과 강건성을 보장하기 위해, 저자들은 교란 모델에서의 과적합을 방지하고자 표본 외 검증(out-of-sample validation, cross-fitting)을 사용한다. 분산 추정에는 추정량의 네이만 직교 영향 함수(Neyman-orthogonal influence function)의 경험적 분산에 대응하는 HC3 로버스트(sandwich) 분산 추정량을 사용한다.

실증적 적용 및 시뮬레이션 결과
저자들은 고채소 섭취 밀도와 자간전증(preeclampsia) 사이의 연관성을 추정하기 위해 Nulliparous Pregnancy Outcomes Study: Monitoring Mothers-to-Be (nuMoM2b) ($n=7,923$) 데이터를 사용하여 이 방법을 적용하였다.

• 실증적 결과: 잔차-대-잔차 회귀, AIPW, TMLE는 모두 고채소 섭취와 관련된 자간전증 위험의 완만한 감소를 나타내며 일치된 추정치를 보였다. 잔차-대-잔차 접근법은 조정된 위험 차이를 -1.49(95% CL: -2.94, -0.03)로 산출하였으며, 이는 AIPW(-0.97) 및 TMLE(-1.15)와 유사한 수준이었다.

몬테카를로 시뮬레이션 연구($n=500$, 10,000회 반복)를 통해 잔차-대-잔차 회귀를 AIPW, TMLE, 그리고 오지정된 선형-가법적 OLS 모델과 비교하였다.

• 주요 시뮬레이션 (양의성 충족 시): 실제 효과가 일정하고 교란 관계가 비선형일 때, 세 가지 이중 강건 추정량 모두는 거의 명목적 신뢰 구간 범위를 유지하며 편향이 없었다. 이들은 심각한 편향을 보이고 커버리지가 붕괴된 오지정된 모수적 OLS 모델보다 실질적으로 우수한 성능을 보였다.
• 양의성 스트레스 테스트: 유도된 양의성 위반(성향 점수가 0 또는 1에 근접하는 경우)이 있는 시나리오에서, 잔차-대-잔차 회귀는 탁월한 안정성을 입증했다. AIPW의 평균 제곱근 오차(RMSE)가 4배 증가하고 TMLE의 커버리지가 심각한 위반 수준에서 88.7%로 떨어지는 동안, 잔차-대-잔차 회귀는 편향, 정밀도 및 커버리지 측면에서 본질적으로 불변하는 모습을 보였다. 이러한 안정성은 이 방법이 성향 점수를 역수로 취하는 대신 노출을 잔차화하는 방식에 의존함으로써 극단적인 가중치와 관련된 불안정성을 피하기 때문이다.

주요 기여 및 의의
본 논문은 잔차-대-잔차 회귀가 AIPW 및 TMLE를 보완할 수 있는 실용적이고 해석 가능하며 계산적으로 단순한 인과 추론 도구라고 주장한다. 그 의의는 다음과 같은 몇 가지 측면에 있다:

1. 양의성 위반에 대한 안정성: 역확률 가중치에 의존하는 AIPW 및 TMLE와 달리, 잔차-대-잔차 회귀는 성향 점수를 역수로 취할 필요가 없다. 이는 양의성 가정이 약하거나 위반되는 경우(영양 역학 분야에서 흔히 발생하는 문제)에 더 강건하다.
2. 삼각측량 전략 (Triangulation Strategy): 이 방법은 AIPW 및 TMLE와 이중 강한 속성을 공유하면서도 서로 다른 추정 메커니즘을 사용하므로, 유효한 삼각측량 도구로서 가치가 있다. 이 추정량들 사이의 불일치는 모델 의존성이나 기저 가정의 위반을 나타낼 수 있으며, 추가 조사를 요구하는 신호가 된다.
3. 해석 가능성 및 구현: 이 방법은 폐쇄형 계수(closed-form coefficient)와 로버스트 표준 오차를 산출하므로 표준 소프트웨어에서 구현하기 쉽다. 또한 부분 선형 모델 가정하에서 상수 처치 효과에 대한 직접적인 추정치를 제공한다.

저자들은 이 추정량이 ATE로서 갖는 해석 가능성은 상수 처치 효과 가정에 달려 있다고 언급한다. 만약 효과의 이질성(heterogeneity)이 존재한다면, 이 추정량은 단순한 ATE보다는 분산 가중 평균 효과(variance-weighted average effect)로 수렴한다. 그러나 저자들은 상수 효과 가정이 타당한 환경에서 잔차-대-잔차 회귀가 기존의 이중 강건 방법들에 대한 안정적이고 효율적이며 강건한 대안을 제공한다고 제언한다.