Degrees of Freedom and Information Criteria for the Synthetic Control Method

이 논문은 합성 통제법 (SCM) 의 모델 유연성을 자유도로 분석하고 교차검증 없이 모델 선택을 가능하게 하는 정보 기준을 제시하며, 이를 Tianjin 의 차량 번호 제한 정책 평가에 적용하여 교차검증보다 우수한 성능을 입증했습니다.

핵심

1. 문제 상황: "가짜 친구"를 만드는 게임

상상해 보세요. 어떤 도시 (예: 톈진) 에서 자동차 번호판 구매를 제한하는 새로운 정책이 생겼습니다. 이 정책이 자동차 판매에 어떤 영향을 미쳤는지 알고 싶다면, **"만약 이 정책이 없었다면 어땠을까?"**라는 가상의 시나리오를 만들어야 합니다.

여기서 **'합성 통제법'**이 등장합니다. 이 방법은 정책이 시행되지 않은 다른 도시들 (후원자, Donors) 들을 섞어서, 정책이 시행된 도시와 **가장 흡사한 '가짜 친구 (합성 통제군)'**를 만들어냅니다.

• 예시: 툰진 (정책 도시) 의 자동차 판매량을 예측하기 위해, 베이징, 상하이, 광저우 등 다른 도시들의 데이터를 섞어서 '가짜 툰진'을 만듭니다.
• 목표: 실제 툰진의 판매량과 '가짜 툰진'의 판매량을 비교하면, 정책의 효과를 알 수 있습니다.

2. 첫 번째 발견: "과도한 적응 (Overfitting)"의 위험

논문 저자들은 이 방법이 가진 치명적인 약점을 발견했습니다. 바로 **"너무 잘 맞추려고 하다 보니, 진짜 패턴을 놓치는 경우"**입니다.

• 비유: 시험을 볼 때, 정답을 외우기 위해 문제집의 모든 숫자까지 암기해버린 학생을 생각해 보세요. 그 학생은 연습문제 (기존 데이터) 에서는 100 점 만점을 받지만, 새로운 문제 (미래 예측) 에서는 엉망이 됩니다.
• 논문 내용: 후원자 (다른 도시) 가 너무 많으면, 합성 통제법은 우연히 잘 맞는 조합을 찾아내서 과거 데이터를 완벽하게 맞추려 합니다. 하지만 이는 **과도한 적응 (Overfitting)**이라서, 실제 정책 효과를 잘못 예측할 수 있습니다.

저자들은 이 '과도한 적응' 정도를 측정할 수 있는 **'자유도 (Degrees of Freedom)'**라는 지표를 개발했습니다.

• 자유도란? "이 모델이 얼마나 유연하게 (자유롭게) 데이터를 맞추려고 하는가?"를 나타내는 숫자입니다. 숫자가 크면 모델이 너무 복잡해서 과적합 위험이 있다는 뜻입니다.

3. 두 번째 발견: "크로스 밸리데이션"은 비효율적

기존에는 모델이 너무 복잡한지 확인하기 위해 **'크로스 밸리데이션 (Cross-Validation)'**이라는 방법을 썼습니다.

• 기존 방법 (크로스 밸리데이션): 데이터를 반으로 나누어, 절반으로 모델을 훈련시키고 나머지 절반으로 테스트하는 방식입니다.
• 문제점: 자동차 판매 데이터처럼 데이터가 적고 (짧은 기간), 후보가 너무 많은 경우에는 이 방법이 실패합니다. 데이터를 반으로 나누면 훈련 데이터가 너무 부족해져서, 모델이 제대로 배우지 못하기 때문입니다. 마치 조금만 연습해서 시험을 보라고 하는 것과 같습니다.

4. 해결책: "정보 기준 (Information Criteria)"이라는 나침반

저자들은 크로스 밸리데이션 대신, **전체 데이터를 다 쓰면서도 과적합을 방지하는 '정보 기준 (Information Criteria)'**을 제안합니다.

• 비유: 크로스 밸리데이션이 "일부만 보고 추측하는 것"이라면, 정보 기준은 **"전체 데이터를 다 보되, 모델이 너무 복잡해지지 않도록 벌칙을 부과하는 것"**입니다.
• 작동 원리: 모델이 과거 데이터를 얼마나 잘 맞추는지 (적합도) 를 점수 매기는데, 모델이 너무 복잡하면 (자유도가 높으면) 점수를 깎아줍니다.
• 결과: 이 방법을 쓰면, 데이터가 적고 후보가 많은 상황에서도 가장 정확한 '가짜 친구'를 찾아낼 수 있습니다. 시뮬레이션 실험 결과, 기존 방법보다 훨씬 정확한 예측을 보여주었습니다.

5. 실제 적용: 툰진의 자동차 판매량 분석

이론을 실제 데이터에 적용해 보았습니다.

• 상황: 2013 년 툰진에서 자동차 번호판 추첨과 경매를 병행하는 제도를 도입했습니다.
• 분석: 이 정책이 각 자동차 브랜드 (예: 토요타 하이랜더, 폭스바겐 파사트 등) 의 판매에 어떤 영향을 미쳤는지 분석했습니다.
• 결과:
  • 단순히 비슷한 도시 하나만 고르면 (자연스러운 매칭) 데이터가 너무 시끄러워서 (노이즈가 많아서) 정확한 결론을 내기 힘들었습니다.
  • 하지만 여러 도시를 섞어 '가짜 툰진'을 만들고, 저자들이 개발한 '정보 기준'으로 모델을 다듬자 명확한 결과가 나왔습니다.
  • 결론: 정책 도입 후, 고급 승용차나 중가 차량의 판매 비중은 오히려 늘거나 유지된 반면, 저가형 차량의 판매는 크게 줄어든 것으로 나타났습니다. 이는 번호판이 경매나 추첨을 통해 소득이 높은 계층에게 집중되었기 때문으로 해석됩니다.

요약

이 논문은 **"합성 통제법이라는 도구가 너무 자유로워서 (자유도가 높아서) 실수를 저지를 수 있다"**는 것을 지적하고, **"과적합을 방지하면서도 데이터를 효율적으로 쓸 수 있는 새로운 나침반 (정보 기준)"**을 만들었습니다.

이를 통해 연구자들은 적은 데이터와 많은 후보가 있는 상황에서도, 더 정확하고 신뢰할 수 있는 정책 효과 분석을 할 수 있게 되었습니다. 마치 **너무 많은 선택지 앞에서 혼란스러워하는 연구자들에게, "가장 적절한 조합을 골라주는 똑똑한 비서"**를 제공한 것과 같습니다.

기술 요약

1. 연구 배경 및 문제 제기

• 합성 통제법 (SCM) 의 한계: SCM 은 처리된 단위 (예: 특정 주나 국가) 의 반사실적 결과 (counterfactual) 를 추정하기 위해 여러 통제 단위 (donors) 의 가중치 평균을 구하는 방법입니다. 그러나 donors 의 수가 많고 사전 처리 기간 (pre-treatment period) 이 짧을 경우, **과적합 (overfitting)**의 위험이 큽니다.
• 기존 모델 선택 방법의 문제점:
  • 교차 검증 (Cross-Validation, CV): SCM 에서는 CV 가 데이터가 부족할 때 (짧은 시계열) 편향되거나 불안정할 수 있습니다. 특히 '처리 단위 홀드아웃 (pre-intervention holdout)'은 데이터 분할로 인해 편향을 유발하고, '비처리 단위 로-원-아웃 (leave-one-out)'은 강력한 가정을 요구합니다.
  • 자유도 부재: SCM 에 대한 명확한 자유도 공식이 없어, 모델이 얼마나 유연한지 (복잡한지) 를 정량화하거나 과적합을 판단하기 어려웠습니다.
• 목표: SCM 의 자유도를 분석적으로 유도하고, 이를 활용한 정보 기준 (AIC/BIC 와 유사) 을 개발하여 CV 없이도 최적의 하이퍼파라미터 (정규화 파라미터, 가중치 행렬 등) 를 선택할 수 있게 하는 것입니다.

2. 방법론 (Methodology)

2.1 자유도 (Degrees of Freedom) 의 분석적 유도

저자들은 **스테인의 보조정리 (Stein's Lemma)**를 활용하여 SCM 의 자유도를 유도했습니다. 이는 Lasso 회귀 분석의 자유도 유도 (Zou et al., 2007) 와 유사한 접근법입니다.

• 기본 정의: 자유도 $df(\hat{Y})$는 관측값 $Y$와 적합값 $\hat{Y}$의 공분산의 합으로 정의됩니다.
  $$df(\hat{Y}) = \frac{1}{\sigma^2} \sum_{i=1}^n \text{Cov}(Y_i, \hat{Y}_i | X) = E[\text{Tr}(\nabla \hat{Y})]$$
  여기서 $\nabla \hat{Y}$는 적합값에 대한 관측값의 발산 (Jacobian) 입니다.
• 주요 결과:
  1. 공변량 없는 SCM: 자유도는 선택된 (비영) donors 의 수에서 1 을 뺀 값의 기댓값입니다.
     $$df = E[|A|] - 1$$
     여기서 $|A|$는 0 이 아닌 가중치를 가진 donors 의 개수입니다. 이는 SCM 이 암묵적인 모델 선택을 수행하더라도, 그 비용이 자유도에 추가적으로 반영되지 않음을 의미합니다 (단, 1 개의 제약 조건으로 인해 1 이 감소).
  2. 정규화 (Penalized) SCM: 페널티 파라미터 $\lambda$가 포함된 경우, 자유도는 $\lambda$와 활성 집합 (active set) 의 크기에 따라 달라지며, 구체적인 수식으로 도출되었습니다.
  3. 공변량 포함 SCM: 공변량 (covariates) 을 사용할 경우, 자유도는 공변량의 수 ($n_{cov}$) 만큼 추가로 감소합니다.

2.2 정보 기준 (Information Criteria) 개발

자유도 추정치를 바탕으로 스테인의 편향 없는 위험 추정치 (SURE) 를 활용한 정보 기준을 제안합니다.

• 식 (20): $\widehat{IC} = \|Y - \hat{Y}\|^2_2 + 2\hat{\sigma}^2 \widehat{df}(\hat{Y})$
  • 첫 번째 항: 표본 내 오차 (in-sample loss)
  • 두 번째 항: 모델 복잡도에 대한 페널티 (자유도 기반)
• 이점: 이 기준은 전체 사전 처리 데이터를 사용하여 모델을 평가하므로, 데이터를 분할해야 하는 교차 검증보다 데이터 효율이 높고, 짧은 시계열에서도 더 안정적인 모델 선택이 가능합니다.
• 이질적 분산 (Heteroskedasticity) 대응: 데이터의 분산이 일정하지 않을 경우를 대비하여, 발산 항을 직접 추정하는 이질적 분산 강건 (Heteroskedasticity-robust) 정보 기준 (식 21) 도 제안했습니다.

3. 주요 기여 (Key Contributions)

1. SCM 의 자유도 공식화: SCM 과 그 변형들 (Penalized SCM, Ridge SCM, Elastic Net SCM, Covariate SCM) 에 대한 자유도의 폐쇄형 (closed-form) 또는 추정 가능한 식을 최초로 제시했습니다.
2. 교차 검증 대체 수단 제공: 짧은 시계열과 많은 donors 가 존재하는 고차원 환경에서 교차 검증의 단점을 보완하는 정보 기준을 제안했습니다.
3. 과적합에 대한 이론적 통찰: 초기 SCM 연구들 (예: 캘리포니아 담배 판매 연구) 은 과적합이 아닌 데이터의 정보량으로 인해 좋은 적합도를 보였음을, 반면 고차원 응용에서는 과적합이 발생할 수 있음을 자유도 분석을 통해 규명했습니다.

4. 실증 분석 및 결과 (Empirical Results)

4.1 시뮬레이션 연구

• 설계: 가우시안 요인 모델과 실제 데이터 (Shijiazhuang) 의 잔차 분포를 기반으로 한 시뮬레이션을 수행하여 이론의 강건성을 검증했습니다.
• 결과:
  • 제안된 정보 기준 (SURE 기반) 은 교차 검증 (수평, 수직, Rolling Window) 보다 예측 오차 (RMSE) 가 낮고, 오라클 (Oracle) 파라미터에 더 가깝게 수렴했습니다.
  • 특히 짧은 시계열 환경에서 교차 검증은 잘못된 파라미터를 선택하는 경향이 있었으나, 정보 기준은 일관된 성능을 보였습니다.
  • 정규 분포 가정이 깨진 경우에도 자유도 추정치가 강건하게 작동함을 확인했습니다.

4.2 톈진시 자동차 판매량 분석 (Case Study)

• 배경: 2013 년 톈진시는 자동차 번호판 배급제 (추첨 + 경매 혼합) 를 도입하여 차량 수를 제한했습니다.
• 문제: 특정 차종 (예: Toyota Highlander) 의 판매량 변화를 분석하기 위해 자연스러운 매칭 (Shijiazhuang 시의 동일 차종) 을 사용했으나, 데이터 노이즈가 커서 신뢰도가 낮았습니다.
• 해결:
  • 다중 매칭 평균화: SCM 을 사용하여 여러 유사하지만 완벽하지 않은 차종들을 평균화하여 분산을 줄였습니다.
  • 정규화 SCM (PSCM) 적용: donors 가 많아 과적합 우려가 있으므로, 페널티를 도입한 PSCM 을 사용했습니다.
  • 모델 선택: 교차 검증 대신 제안된 **정보 기준 (IC)**을 사용하여 최적의 페널티 파라미터 ($\lambda$) 를 선택했습니다.
• 결론:
  • 정보 기준을 사용한 모델은 교차 검증이나 비정규화 모델보다 더 보수적이고 안정적인 반사실적 추정을 제공했습니다.
  • 정책 효과: 배급제 도입 후 중급 및 고급 차량 (Highlander 등) 의 시장 점유율은 상대적으로 증가한 반면, 저가형 차량은 크게 감소했습니다. 이는 번호판이 고소득층에게 할당되었기 때문으로 해석됩니다.

5. 의의 및 결론

• 방법론적 의의: SCM 에 표준 회귀 분석의 출력 (자유도, p-value, 신뢰구간 등) 을 통합하는 중요한 단계를 밟았습니다. 이는 SCM 을 더 엄밀한 통계적 도구로 발전시켰습니다.
• 실무적 의의: 연구자들은 짧은 시계열 데이터를 다룰 때 교차 검증에 의존하는 대신, 계산적으로 효율적이고 이론적으로 타당한 정보 기준을 사용할 수 있게 되었습니다.
• 결론: 합성 통제법은 고차원 환경에서도 과적합을 방지하기 위해 정규화와 적절한 모델 선택 기준 (정보 기준) 이 병행될 때 가장 효과적입니다. 이 논문은 이를 위한 이론적 기반과 실용적 도구를 제공했습니다.

---

핵심 키워드: 합성 통제법 (SCM), 자유도 (Degrees of Freedom), 정보 기준 (Information Criteria), 스테인의 보조정리 (Stein's Lemma), 과적합 (Overfitting), 톈진 자동차 배급제.