Heterogeneous Treatment Effects and Causal Mechanisms

논문 요약: 이질적 치료 효과 (HTE) 와 인과적 메커니즘 (Causal Mechanisms)

저자: Jiawei Fu, Tara Slough
발행일: 2025 년 11 월 25 일 (arXiv:2404.01566v4)

1. 연구 배경 및 문제 제기 (Problem)

사회과학, 특히 정치학 연구에서는 "왜 (Why)" 또는 "어떻게 (How)" 특정 처치 (Treatment) 가 결과에 영향을 미치는지 설명하는 인과적 메커니즘에 대한 주장을 매우 빈번하게 합니다. 최근의 '신뢰 혁명 (Credibility Revolution)'은 인과 효과의 식별과 추정을 위한 연구 설계를 발전시켰지만, 측정된 인과 효과를 생성하는 구체적인 메커니즘을 이해하는 것은 여전히 난제입니다.

현재 정량적 연구에서 메커니즘을 검증하는 주된 방법은 **이질적 치료 효과 (Heterogeneous Treatment Effects, HTE)**를 사전 처치 공변량 (Pre-treatment covariates) 에 대해 검출하는 것입니다. 예를 들어, 어떤 프로그램의 효과가 특정 하위 집단에서 더 크다면, 이를 해당 메커니즘이 활성화되었음을 시사하는 증거로 해석합니다.

하지만 이 논문은 현재의 관행이 이론적 기반이 부족하며, 종종 오해를 불러일으킬 수 있음을 지적합니다.

• 현황: 주요 정치학 저널 (AJPS, APSR, JoP) 의 2021 년 양적 연구 중 약 56% 가 HTE 를 추정하며, 그중 82% 는 이를 메커니즘에 대한 정보로 해석합니다.
• 문제점: HTE 의 존재가 메커니즘 활성화의 충분조건인지, 부재가 메커니즘의 비활성화를 의미하는지에 대한 명확한 이론적 틀이 부재합니다. 또한, 결과 변수의 측정 방식 (비선형 변환 등) 이 HTE 해석에 어떻게 영향을 미치는지 고려되지 않고 있습니다.

2. 방법론 및 이론적 프레임워크 (Methodology)

저자는 잠재 결과 (Potential Outcomes) 프레임워크와 인과적 매개 분석 (Causal Mediation Analysis) 을 결합하여 새로운 이론적 프레임워크를 개발했습니다.

2.1 핵심 정의

• 조건부 평균 치료 효과 (CATE): 공변량 $X_k$의 특정 값 $x$에서 관찰된 평균 치료 효과.
• 메커니즘 감지 변수 (Mechanism Detector Variable, MDV): 특정 메커니즘의 간접 효과가 공변량의 수준에 따라 달라지는 변수. 즉, $X_k$가 메커니즘을 조절 (Moderate) 하는지 여부를 판단하는 변수입니다.
• 변환된 결과 (Transformed Outcome): 잠재적 결과 $Y$에 비선형 함수 $h(\cdot)$를 적용한 관측 결과 $\tilde{Y} = h(Y)$ (예: 투표 선택, 리커트 척도 응답).

2.2 식별을 위한 가정 (Identification Assumptions)

HTE 를 메커니즘 활성화의 증거로 사용하기 위해 두 가지 **배제 가정 (Exclusion Assumptions)**이 필수적입니다.

1. 가정 1 (배제 I): 공변량 $X_k$는 직접 효과 (Direct Effect) 를 조절하지 않아야 합니다.
2. 가정 2 (배제 II): 공변량 $X_k$는 관심 있는 메커니즘 ($M_1$) 외의 다른 메커니즘 ($M_2$) 의 간접 효과를 조절하지 않아야 합니다.

이 가정들은 매개 분석에서 요구되는 '연속적 무작위성 (Sequential Ignorability)'과 논리적으로 동등한 강도를 가지며, 서로를 함축하지는 않습니다.

3. 주요 결과 (Key Results)

저자는 HTE 의 유무와 결과 변수의 변환 여부에 따라 4 가지 경우를 나누어 분석했습니다 (Table 2 참조).

3.1 HTE 가 존재하는 경우 (Case 1 & 3)

• 비변환된 결과 (Original Outcome): 배제 가정이 성립할 때, HTE 가 관측된다면 해당 공변량은 MDV 이며, 적어도 일부 단위에서 관심 메커니즘이 활성화되었음을 증거할 수 있습니다.
• 변환된 결과 (Transformed Outcome): 결과 변수가 비선형적으로 변환된 경우 (예: 이진 선택), 배제 가정이 깨질 수 있습니다. 이 경우 HTE 가 관측되더라도 이는 메커니즘 활성화의 증거가 아니라, 단순히 공변량이 결과에 영향을 미친다는 사실 ($X_k \in X_R$) 만을 보여줄 뿐, 어떤 메커니즘이 활성화되었는지에 대해서는 아무런 정보도 제공하지 않습니다.

3.2 HTE 가 부재하는 경우 (Case 2 & 4)

• 비변환된 결과: HTE 가 없다면 메커니즘이 비활성화되었다고 결론 내릴 수 없습니다. 이는 다음과 같은 세 가지 가능성 중 하나일 뿐입니다:
  1. 해당 공변량이 MDV 가 아님 (이론 오설정).
  2. 메커니즘이 활성화되었지만 모든 단위에서 동일한 효과를 냄 (모든 단위에서 균일한 반응).
  3. 메커니즘 자체가 비활성화됨.
  • 따라서 HTE 부재는 메커니즘 배제 (Ruling out) 에 사용될 수 없습니다.
• 변환된 결과: HTE 부재는 공변량과 결과 간의 관계에 대해 아무런 정보도 제공하지 않습니다.

3.3 실증적 예시 (부패 정보와 투표)

투표자 모델 (부패에 대한 혐오감 vs 정당성) 을 통해 시뮬레이션한 결과:

• 효용 (Utility) 측정 시: 정당성 (Partisanship) 은 부패 혐오 메커니즘을 조절하지 않으므로 HTE 가 나타나지 않음 (올바른 해석).
• 투표 선택 (Vote Choice, 이진 변수) 측정 시: 비선형 변환 (Threshold 효과) 으로 인해 정당성에서도 HTE 가 관측됨. 이는 메커니즘이 정당성을 조절하기 때문이 아니라, 측정 방식 (Ceiling/Floor 효과) 때문임. 연구자가 이를 오해하면 정당성 조절 메커니즘 (예: 동기부여된 추론) 을 잘못 추론할 수 있음 (Type I 오류).

4. 연구의 기여 (Contributions)

1. 이론적 프레임워크 정립: HTE 와 인과적 메커니즘 간의 관계를 규명하는 최초의 이론적 분석을 제공했습니다. 기존 통계적 HTE 추정 문헌과 메커니즘 분석 문헌을 연결했습니다.
2. 측정의 중요성 강조: 결과 변수의 측정 방식 (비선형 변환 등) 이 메커니즘 추론의 타당성을 근본적으로 훼손할 수 있음을 밝혔습니다. 이는 단일 연구 내에서의 측정 문제와 교차 연구 간 증거 축적 모두에 중요한 시사점을 줍니다.
3. 실무적 가이드라인 제공: 연구 설계 및 해석을 위한 구체적인 제안을 제시했습니다.
   • 이론적 고려사항: 배제 가정을 명시적으로 방어하고, 여러 후보 MDV 를 측정해야 함.
   • 해석의 개선: HTE 부재로 메커니즘을 배제하지 말 것. HTE 존재 시에도 변환된 결과라면 신중할 것.
   • 연구 설계: 메커니즘 검증을 위해 비선형 변환이 덜된 결과 변수 (예: 효용, 태도 척도) 를 우선적으로 측정할 것.
   • 강화된 가정: 배제 가정이 성립하지 않는 경우, 무작위 효용 모델 (Random Utility Models) 이나 모노톤성 (Monotonicity) 가정, 베이지안 접근 등을 통해 추가 정보를 얻을 수 있음을 논의했습니다.

5. 의의 및 결론 (Significance)

이 논문은 정치학 및 사회과학 전반에 걸쳐 널리 사용되는 HTE 기반 메커니즘 검출 관행에 대해 비판적이면서도 건설적인 제안을 합니다.

• 비대칭적 추론: HTE 의 존재는 메커니즘 활성화의 증거가 될 수 있지만, HTE 의 부재는 메커니즘의 비활성화를 증명하지 못한다는 점을 강조합니다.
• 측정의 함정: 연구자가 선택한 결과 변수의 측정 방식 (예: 투표 여부 vs 투표 효용) 이 인과적 메커니즘에 대한 추론을 왜곡할 수 있음을 경고합니다.
• 미래 연구 방향: 단순한 HTE 존재 여부가 아닌, 그 **크기 (Magnitude)**나 모델 기반 접근을 통해 메커니즘을 더 정교하게 식별해야 함을 제안합니다.

결론적으로, 이 연구는 연구자들이 HTE 를 메커니즘 검증 도구로 사용할 때 필요한 엄격한 이론적 전제와 주의점을 명확히 함으로써, 향후 인과 메커니즘 연구의 신뢰성을 높이는 데 기여합니다.