Prediction decomposition for causal analysis

이 논문은 기계학습 모델의 예측을 인과 분석에 활용할 때 전체 예측 정확도보다 '단위 내 시간 간 예측 정확도'가 반사실적 치료 효과 추정의 더 나은 지표가 된다는 이론적 프레임워크를 제시하고, 이를 진단 및 모델 선택 도구로 활용하는 방법을 제안합니다.

핵심

1. 문제 상황: AI 가 농사를 잘 예측한다고 해서, 비가 오면 농사가 잘 될까?

우리가 어떤 정책 (예: 농민들에게 보조금을 주는 것) 이 농작물 수확량에 미치는 영향을 알고 싶다고 가정해 봅시다.
하지만 모든 농민의 수확량을 직접 재는 것은 너무 비싸고 시간이 걸립니다. 그래서 우리는 **AI(머신러닝)**를 시켜서 농민의 과거 데이터 (휴대폰 사용 기록이나 위성 사진 등) 를 보고 "이 농민은 올해 수확량이 얼마나 될까?"라고 예측하게 합니다.

그런데 여기서 큰 함정이 있습니다.

• AI 의 생각: "아, 이 농민은 땅이 비옥하고 (A), 과거에 수확량이 많았어 (B). 그래서 올해도 수확량이 많을 거야." -> 예측은 아주 정확합니다!
• 우리가 알고 싶은 것: "보조금 (정책) 을 줬을 때, 수확량이 얼마나 더 늘어날까?"

여기서 문제가 발생합니다.
AI 는 "땅이 비옥한 A 농민"과 "땅이 척박한 B 농민"을 구분하는 데는 아주 능숙합니다. 하지만 보조금을 줬을 때 A 농민의 수확량이 얼마나 변할지는 모릅니다. 왜냐하면 AI 는 "땅의 비옥함"이라는 변하지 않는 특징만 보고 예측했기 때문입니다.

결과적으로 AI 는 "보조금을 줘도 수확량은 변하지 않아 (0)"라고 예측해 버립니다. 실제로는 보조금이 효과가 있는데도 말입니다.

2. 이 논문의 핵심 해결책: "변화"를 보는 눈

저자 (오이르 라이히) 는 이 문제를 해결하기 위해 AI 의 예측 능력을 세 가지로 나누어 분석해야 한다고 말합니다.

1. 사람 (농부) 간의 차이 (Between-unit): "A 는 부자고 B 는 가난해." (AI 가 잘하는 부분)
2. 시간에 따른 변화 (Within-unit): "A 는 비가 오면 수확량이 늘고, 가뭄이면 줄어." (AI 가 잘해야 하는 부분)
3. 정책의 효과 (Treatment Effect): "보조금을 줬을 때 A 의 수확량이 얼마나 더 늘까?" (우리가 진짜 알고 싶은 부분)

핵심 통찰:
AI 가 **1 번 (사람 간의 차이)**만 잘 맞추면 예측 점수 (정확도) 는 높지만, **3 번 (정책 효과)**은 전혀 못 맞출 수 있습니다.
하지만 **2 번 (시간에 따른 변화)**을 잘 맞추는 AI 는, 3 번 (정책 효과) 도 잘 맞출 가능성이 높습니다. 왜냐하면 둘 다 **"무엇이 변하는가?"**를 이해해야 하기 때문입니다.

3. 새로운 도구: "차이의 차이" (Diff-vs-Diff) 측정기

그렇다면 실험을 하기 전에 (모든 농민의 실제 수확량을 재기 전에), 어떤 AI 모델이 정책 효과를 잘 잡아낼지 어떻게 알 수 있을까요?

저자는 **"두 번의 데이터 (시간 1 과 시간 2)"**만 있으면 된다고 말합니다.

• 기존 방식 (틀린 방법): "AI 가 예측한 값과 실제 값이 얼마나 비슷해?" (전체 정확도 확인)
  • 비유: "A 농부와 B 농부의 수확량 예측이 얼마나 정확한지"만 봅니다.
• 이 논문의 방식 (올바른 방법): "AI 가 변화를 얼마나 잘 예측했나?"
  • 비유: "비가 왔을 때 A 농부의 수확량이 얼마나 변했는지를 AI 가 예측했는지"를 봅니다.

방법:

1. 소수의 농민들에게서만 실제 수확량 데이터를 2 번 (시간 1, 시간 2) 수집합니다.
2. AI 가 예측한 값의 변화량과 실제 수확량의 변화량을 비교합니다.
3. 이 두 가지 변화가 얼마나 잘 일치하는지 (기울기) 를 계산합니다.

이 기울기가 높을수록, 그 AI 모델은 "변화"를 잘 이해하는 모델이므로, 나중에 정책의 효과도 잘 잡아낼 가능성이 높습니다.

4. 왜 이것이 중요한가? (일상적인 예시)

• 잘못된 선택: "이 AI 는 전체 예측 정확도가 90% 라!"라고 해서 선택했다가, 막상 정책을 적용해 보니 효과가 0% 로 나오는 실수를 할 수 있습니다. (AI 가 부자/가난한 농부만 구분했기 때문)
• 올바른 선택: "이 AI 는 전체 정확도는 80% 라. 하지만 비가 왔을 때 수확량 변화를 예측하는 능력이 90% 라!"라고 해서 선택하면, 정책 효과를 정확히 측정할 수 있습니다.

5. 결론: 요약

이 논문은 우리에게 이렇게 말합니다:

"AI 모델을 고를 때, **'얼마나 정확한가 (Accuracy)'**를 먼저 보지 마세요. 대신 **'시간이 지남에 따라 어떻게 변하는지 (Within-unit variation)'**를 얼마나 잘 예측하는지 확인하세요.

만약 AI 가 농부의 '변화'를 잘 이해한다면, 그 AI 는 '정책의 효과'도 잘 이해할 것입니다. 이를 확인하기 위해 최소 2 번의 데이터만 있으면 된다는 간단한 측정법을 제안합니다."

이 방법은 연구자들이 비싼 실험을 하지 않고도, 어떤 AI 모델이 정책 분석에 적합한지 미리 골라낼 수 있게 해줍니다. 마치 농부에게 "이 비료는 땅을 비옥하게 하지는 못하지만, 비가 왔을 때 작물이 얼마나 자라는지 예측하는 데는 탁월하다"는 것을 미리 알아내는 것과 같습니다.

기술 요약

논문 요약: 인과 분석을 위한 머신러닝 예측 분해

저자: Ofir Reich
주제: 머신러닝 (ML) 모델의 예측값을 인과 분석의 결과 변수 (Outcome) 로 사용할 때 발생하는 문제점 해결 및 모델 선택을 위한 새로운 진단 지표 제안

1. 문제 제기 (Problem Statement)

• 배경: 무조건적 현금 이전 (UCT) 의 사회적 영향이나 농업 개입의 수확량 분석 등, 대규모 표본에서 실제 결과 데이터를 수집하는 것이 비용이 많이 들거나 불가능한 경우, 머신러닝을 통해 예측된 결과값을 인과 분석의 종속 변수로 사용하는 연구가 증가하고 있음.
• 핵심 문제:
  1. 예측 정확도 vs 인과 효과: ML 모델의 예측 정확도 (R-squared 등) 가 높다고 해서 인과 효과 (Treatment Effect) 를 올바르게 추정하는 것은 아님.
  2. 편향된 추정: ML 모델이 개체 간 차이 (Between-unit variation) 에만 과도하게 적합되어, 개체 내 변화 (Within-unit variation) 나 치료 효과 (Treatment Effect) 를 무시하는 경우, 실제 인과 효과가 존재함에도 불구하고 추정치가 0 이 되거나 과소평가될 수 있음.
  3. 모델 선택의 난제: 인과 분석에 적합한 ML 모델을 선택할 때, 단순히 예측 정확도를 기준으로 삼는 것은 부적절함.

2. 방법론 및 이론적 프레임워크 (Methodology & Theoretical Framework)

저자는 ML 모델의 예측값을 세 가지 구성 요소로 분해하여 분석하는 새로운 프레임워크를 제안합니다.

2.1 예측 분해 (Prediction Decomposition)
실제 결과 ($Y_{actual}$) 와 ML 예측 결과 ($Y_{pred}$) 를 다음과 같이 분해합니다:
$$Y_{actual, i, t} = \alpha + \mu_i + \gamma T_{i, t} + \epsilon_{i, t}$$
$$Y_{pred, i, t} = \alpha + \eta_\mu \mu_i + \eta_T \gamma T_{i, t} + \eta_\epsilon \epsilon_{i, t} + \nu_{i, t}$$

여기서 중요한 계수들은 다음과 같습니다:

• $\eta_\mu$ (Between-unit): 개체 간 고정 효과 (지리적 위치, 인구통계학적 특성 등) 를 얼마나 잘 포착하는가.
• $\eta_\epsilon$ (Within-unit across-time): 개체 내 시간적 변동 (계절적 신호, 일시적 충격 등) 을 얼마나 잘 포착하는가.
• $\eta_T$ (Counterfactual-treatment-effect): 치료 효과 (Counterfactual) 를 얼마나 잘 포착하는가. (인과 효과 추정의 성패를 결정하는 핵심)

2.2 핵심 통찰

• 구조적 차이: $\eta_\mu$ 는 치료에 의해 변하지 않는 고정된 특성을 학습하므로, 치료 효과를 포착하는 데 도움이 되지 않음. 반면, $\eta_\epsilon$ 는 시간에 따라 변하는 동적 특성을 학습하므로, 치료 효과 ($\eta_T$) 와 구조적으로 유사한 신호를 포착할 가능성이 높음.
• 가정: $\eta_\epsilon$ 는 $\eta_T$ 를 추정하는 데 전체 예측 정확도 (R-squared) 보다 더 나은 대리 변수 (Proxy) 임.

2.3 새로운 진단 지표: Diff-vs-Diff Slope ($\hat{\eta}_\epsilon$)

• 데이터 요구사항: 라벨이 있는 표본 (Subsample) 에 대해 최소 2 개 이상의 시점 (Panel Data) 이 필요.
• 계산 방법:
  1. 통제군 (Treatment 받지 않은 단위) 의 실제 결과와 예측 결과에 대해 시간 간 차이 ($\Delta Y = Y_{t=2} - Y_{t=1}$) 를 계산.
  2. $\Delta Y_{pred}$ 를 $\Delta Y_{actual}$ 에 회귀 분석 (절편 없이) 수행.
  3. 추정된 기울기 ($\hat{\beta}$) 가 바로 $\eta_\epsilon$ 의 추정치 ($\hat{\eta}_\epsilon$) 가 됨.
     $$\Delta Y_{pred, i} = \hat{\eta}_\epsilon \Delta Y_{actual, i} + error$$

3. 주요 기여 (Key Contributions)

1. 예측 정확도의 한계 규명: 전체 예측 정확도 (R-squared) 가 높더라도 $\eta_\mu$ 가 높고 $\eta_T$ 가 낮을 경우, 인과 효과 추정은 완전히 실패할 수 있음을 이론적으로 증명.
2. 새로운 모델 선택 지표 제안: $\eta_\epsilon$ (개체 내 시간 변동 적합도) 을 추정할 수 있는 지표를 개발하여, 인과 분석에 적합한 ML 모델을 선별하는 도구로 활용 가능.
3. 편향 보정 가능성: $\eta_T \approx \eta_\epsilon$ 라는 강한 가정이 성립할 경우, 추정된 인과 효과를 $\hat{\eta}_\epsilon$ 로 나누어 편향을 보정한 무편향 추정치를 얻을 수 있음을 제시.
   $$\text{Unbiased TE} = \frac{\text{Estimated TE}}{\hat{\eta}_\epsilon}$$

4. 시뮬레이션 결과 (Simulation Results)

저자는 합성 데이터를 사용하여 다양한 시나리오를 시뮬레이션하여 다음을 확인함:

• R-squared 와 인과 효과의 불일치: 예측 R-squared 가 낮은 모델이 오히려 더 정확한 치료 효과를 추정할 수 있음 (반대로 R-squared 가 높은 모델이 치료 효과를 0 으로 추정할 수도 있음).
• $\eta_\mu$ 의 지배적 영향: 개체 간 변동 ($\mu_i$) 이 전체 분산의 대부분을 차지하는 경우, R-squared 는 주로 $\eta_\mu$ 에 의해 결정됨. 따라서 R-squared 는 $\eta_T$ 와 거의 무관함.
• 통계적 검정력: 치료 효과 검정력 (t-statistic) 은 예측 정확도가 아닌 $\eta_T$ 에 의해 결정됨.
• Diff-vs-Diff 의 유효성: $\eta_T = \eta_\epsilon$ 인 경우, Diff-vs-Diff 기울기 ($\hat{\eta}_\epsilon$) 는 실제 치료 효과의 크기를 매우 잘 예측함.

5. 실무 가이드 (Practical Guide)

연구자들이 ML 예측 결과를 인과 분석에 사용할 때 다음과 같은 단계를 따를 것을 권장함:

1. 패널 데이터 수집: 최소 2 개 시점의 실제 결과 데이터 (Ground-truth) 를 가진 표본 확보.
2. 통제군 모델 학습: 치료 효과를 학습하지 않도록 통제군 데이터로만 ML 모델 학습.
3. $\hat{\eta}_\epsilon$ 계산: 통제군 표본에서 Diff-vs-Diff 회귀를 통해 $\hat{\eta}_\epsilon$ 추정.
4. 모델 선택: 전체 R-squared 가 아닌 $\hat{\eta}_\epsilon$ 가 가장 높은 모델을 선택.
5. 편향 보정 (선택적): $\eta_T \approx \eta_\epsilon$ 가정이 타당하다고 판단될 때만, 추정된 치료 효과를 $\hat{\eta}_\epsilon$ 로 나누어 보정.

6. 의의 및 결론 (Significance & Conclusion)

• 이론적 의의: ML 예측이 인과 분석에 사용될 때 발생하는 실패 원인을 '예측 분해'를 통해 구조적으로 설명하고, 왜 개체 간 변동 적합도가 인과 효과 추정을 방해하는지 명확히 함.
• 실무적 의의: 전체 표본에 대한 실제 데이터 수집 없이도, 패널 데이터를 가진 소규모 표본을 통해 ML 모델이 인과 분석에 적합한지 진단할 수 있는 실용적인 도구를 제공.
• 향후 연구 방향: 다양한 도메인에서 $\eta_T$ 와 $\eta_\epsilon$ 의 관계를 실증적으로 검증하고, 인과 추정을 목적으로 할 때 '수준 (Level)'이 아닌 '변화 (Change)'를 예측하도록 모델을 학습시키는 전략의 효과성 연구 필요.

이 논문은 머신러닝과 인과 추론의 교차점에서, 단순한 예측 정확도가 아닌 '인과적 민감도 (Causal Sensitivity)'를 평가하는 새로운 기준을 제시했다는 점에서 중요한 기여를 합니다.