상상해 보세요. 여러분이 50 개 주 (State) 의 40 년 동안의 범죄 기록을 담은 거대한 영화 스크립트를 가지고 있습니다. 하지만 이 스크립트에는 치명적인 문제가 있습니다.
어떤 주는 1990 년에 총기 소지 허가법 (RTC 법) 을 통과시켰고, 어떤 주는 2000 년에, 어떤 주는 2010 년에 통과시켰습니다.
문제: 법이 통과된 주 (처치군) 에서는 그 이후의 **'만약 법이 없었더라면 어땠을까?'(대조군)**에 대한 데이터가 사라져 버렸습니다. 마치 영화의 중요한 장면이 잘려나간 것처럼요.
이 논문은 **"잘려나간 장면을 어떻게 복원할까?"**에 대한 이야기입니다.
1. 원저자 (CY) 의 제안: "조각난 퍼즐 맞추기"
원저자들은 **"행렬 완성 (Matrix Completion)"**이라는 기술을 제안했습니다.
비유: 잘려나간 퍼즐 조각을, 남아있는 다른 퍼즐 조각들의 패턴을 보고 추측해서 채워 넣는 기술입니다.
핵심 아이디어: "처음부터 모든 조각을 한 번에 맞추려고 하지 말고, 작은 조각 (특정 시점과 특정 주) 단위로 나누어 하나씩 맞추고, 나중에 다시 합치자"는 것입니다.
장점: 데이터가 복잡하게 빠져있어도 (예: 특정 주만 특정 시기에 법이 생김), 남은 데이터가 충분히 많다면 잘 작동할 수 있습니다.
저자들은 이 논문을 "Split-Apply-Combine(분할 - 적용 - 결합)" 전략의 한 예로 칭찬합니다.
Split (분할): 큰 문제를 작은 덩어리로 나눈다.
Apply (적용): 각 덩어리에서 퍼즐을 맞춘다.
Combine (결합): 다 맞춰진 조각들을 다시 합쳐서 전체 그림을 만든다.
2. 저자들의 경고: "이론과 현실의 간극 (Last Mile Problem)"
논문의 저자 (Ben-Michael & Feller) 는 원저자의 아이디어를 좋게 보지만, **"이론상 완벽해 보여도 실제 현장 (Last Mile) 에선 넘어야 할 산이 많다"**고 경고합니다.
① "시간의 기준을 어떻게 잡을 것인가?"
원저자의 방식: "2005 년에 법이 통과된 모든 주를 합쳐서 평균을 내자." (달력 시간 기준)
저자의 지적: 이건 이상합니다. 2005 년에 법이 생긴 주와 2010 년에 생긴 주를 섞으면, "법 시행 1 년 차"와 "법 시행 6 년 차"의 효과를 섞어먹는 꼴이 됩니다.
해결책: "법 시행 후 1 년, 2 년, 3 년"처럼 **사건 기준 (Event Time)**으로 맞춰서 비교하는 것이 더 자연스럽습니다.
② "과도한 착각 (Overfitting) 의 위험"
비유: 퍼즐을 맞추려다 보니, 잘려나간 부분을 너무 완벽하게 맞춰서 오히려 가짜 패턴을 만들어내는 경우입니다.
문제: 컴퓨터가 "아, 이 부분은 이렇게 채워야지!"라고 너무 열심히 추측하면, 실제 효과는 없는데 마치 큰 효과가 있는 것처럼 보일 수 있습니다.
해결책: "가짜 치료 (Placebo)" 테스트를 해서, 법이 없었을 때에도 효과가 나타나는지 확인해야 합니다.
③ "매개변수 (Hyper-parameter) 설정의 어려움"
퍼즐을 얼마나 빡빡하게 맞출지 (정규화 수준) 를 정하는 숫자를 어떻게 정할지 고민해야 합니다. 이걸 잘못 정하면 결과가 엉망이 됩니다.
3. 실전 테스트: "총기 소지법과 범죄율"
저자들은 이 방법을 실제 데이터에 적용해 봤습니다. **"총기 소지 허가법 (RTC) 이 범죄율을 얼마나 변화시켰을까?"**를 분석한 것입니다.
결과 1 (보정 전): 퍼즐을 맞추는 기술 (행렬 완성) 을 그대로 쓰니, **"총기 법이 통과되자 범죄율이 10 만 명당 205 명이나 급증했다!"**라는 터무니없는 결과가 나왔습니다. (실제 데이터의 변동 폭보다 훨씬 큰 수치였습니다.)
이유: 데이터의 기본적인 차이 (어떤 주는 원래 범죄가 많고, 어떤 주는 적음) 를 고려하지 않았기 때문입니다.
결과 2 (보정 후): 먼저 각 주의 기본 수준과 연도별 흐름을 빼고 (잔차化处理), 그 위에 퍼즐 맞추기를 적용하니 결과가 완전히 달라졌습니다.
**"범죄율이 약간 감소했다"**거나, 다른 방법론 (Synthetic Control 등) 과 비슷한 결과가 나왔습니다.
교훈: 아무리 멋진 통계 기술이라도, 데이터의 기본적인 맥락 (고정 효과) 을 먼저 정리해 주지 않으면 엉뚱한 결론을 내릴 수 있습니다.
📝 요약 및 결론
이 논문은 다음과 같은 메시지를 전달합니다:
칭찬: 원저자 (CY) 가 제안한 "작게 나누어 퍼즐 맞추기" 방식은 매우 영리하고 유용한 아이디어입니다.
경고: 하지만 이 기술을 실제 정책 평가에 쓸 때는 주의가 필요합니다.
시간 기준을 어떻게 잡을지 신중하게 정해야 합니다.
컴퓨터가 가짜 패턴을 만들어내지 않도록 검증 (Placebo test) 을 해야 합니다.
가장 중요한 것은, 데이터의 기본적인 특성 (주별/연도별 차이) 을 먼저 보정해 주는 것입니다.
결론: 최신 통계 기술은 강력한 도구이지만, **"도구를 잘 다루는 사람 (실무자)"**의 통찰력이 없으면 오히려 위험할 수 있습니다. 이론과 현실 사이의 간극을 메우기 위해 더 꼼꼼한 검증 과정이 필요합니다.
한 줄 요약:
"잘려나간 퍼즐을 맞추는 멋진 기술이 있지만, 퍼즐을 맞추기 전에 먼저 퍼즐판의 기울기를 다듬어주지 않으면, 엉뚱한 그림이 나올 수 있으니 조심하자!"
제공된 논문은 Choi and Yuan (2025, 이하 CY) 의 연구에 대한 토론 (Discussion) 으로, Eli Ben-Michael 과 Avi Feller 가 작성했습니다. 이 논문은 패널 데이터에서 비무작위 결측 (Missing Not at Random, MNAR) 조건, 즉 치료 (Treatment) 도입 시점에 따른 선택 편향이 존재할 때 행렬 완성 (Matrix Completion) 기법을 적용하는 방법과 그 한계, 그리고 실제 정책 평가에의 적용 가능성을 심층적으로 분석합니다.
다음은 논문의 기술적 요약입니다.
1. 연구 배경 및 문제 제기 (Problem)
핵심 문제: 패널 데이터에서 인과 효과를 추정할 때, 결측 데이터가 무작위가 아닌 경우 (예: 특정 시점에 치료를 받은 단위들) 행렬 완성 기법의 적용 가능성과 한계.
CY 의 제안: CY 는 치료된 관측치 (treated observations) 가 통제된 관측치 (control observations) 에 비해 상대적으로 적을 때, 구조화된 결측 패턴 (선택 편향) 이 있더라도 행렬 완성이 효과적일 수 있음을 주장합니다.
본 논문의 목적: CY 의 제안을 패널 데이터 추정량의 일반적인 프레임워크인 "Split-Apply-Combine (분할 - 적용 - 결합)" 전략의 관점에서 재해석하고, 이론과 실제 적용 사이의 격차인 "통계적 마지막 마일 (Statistical Last Mile)" 문제를 해결하기 위한 실용적 제언을 제공하며, 실제 정책 평가 사례 (총기 소지법) 를 통해 방법론을 검증하는 것입니다.
2. 방법론 및 프레임워크 (Methodology)
2.1 Split-Apply-Combine 전략
저자들은 CY 의 접근법을 현대 패널 데이터 추정 (이중차분법, Synthetic Control 등) 의 핵심 전략인 "Split-Apply-Combine"으로 규정합니다.
Split (분할): 패널 데이터를 관리 가능한 조각으로 나눕니다.
기존 DiD: 처리 시기와 그룹에 따라 2 시점 2 집단 사례로 분할.
CY 의 행렬 완성: 특정 시점 (focal time) 과 동일한 치료 시점을 가진 단위들을 선택하여 행렬을 부분집합 (subset) 으로 나눕니다.
Apply (적용): 각 조각에 대해 추정 모델을 적용합니다.
CY 는 핵정규화 (nuclear-norm regularization) 가 적용된 행렬 완성을 통해 결측된 반사실 (counterfactual) 결과를 보정 (imputation) 합니다.
Combine (결합): 각 조각의 추정치를 종합하여 최종 인과 효과를 도출합니다.
CY 는 치료된 단위들 간의 관측 결과와 보정된 반사실 결과의 차이를 평균화합니다.
2.2 추정량 (Estimands) 의 선택: ITE vs ATT
개인별 처리 효과 (ITE): 개별 단위별 반사실 결과를 완전히 보정하는 것은 근본적인 인과 추론의 문제 (Fundamental Problem of Causal Inference) 로 인해 불가능하며, 오차 항으로 인해 유용한 오차 한계를 설정하기 어렵습니다.
처치된 집단의 평균 처리 효과 (ATT): 여러 처리된 단위가 있는 경우, ATT를 목표로 하는 것이 더 실용적입니다.
전략 제안: 저자는 "Split-Apply-Combine" 대신 "Combine-Apply" 전략을 제안합니다. 즉, 개별 단위별로 보정하는 대신, 먼저 처리된 단위들을 평균화 (또는 가중치 부여) 한 후, 이에 해당하는 통제군을 찾아 차이를 추정하는 방식입니다. 이는 'Fine Balance' 접근법과 유사하며, 유효 표본 크기를 늘려 효율성을 높일 수 있습니다.
2.3 통계적 마지막 마일 문제 (The Last Mile Problem)
이론적으로 우수한 추정량이 실제 적용에서 겪는 난제를 해결하기 위한 제언:
캘린더 시간 vs 이벤트 시간: CY 는 캘린더 시간 (Calendar time) 기준 ATT 를 추정하지만, 이는 치료 시작 시점이 다른 단위들을 섞어 해석을 어렵게 만듭니다. 저자는 치료 후 경과 시간 (Event time) 기준 추정이 더 해석하기 쉬우며, 이를 행렬 완성 모델에 적용할 때의 점근적 정규성 및 분산 추정의 복잡성을 지적합니다.
이분산성 (Heteroskedasticity) 대응: 사회과학 데이터는 단위별 이질성이 크므로 이분산성 강건한 (Robust) 추론이 필수적입니다. CY 의 블록 결측 (block missingness) 에 대한 확장 결과를 바탕으로, 계단식 채택 (staggered adoption) 상황에서도 이분산성 강건한 분산 추정치가 필요함을 강조합니다.
하이퍼파라미터 선택: 정규화 강도를 결정하는 튜닝 파라미터 선택이 어렵습니다. 기존 교차검증 (Cross-validation) 방식이 결측 데이터의 구조를 무시할 수 있으므로, 전처리 기간을 홀드아웃 (hold-out) 하는 등 구조를 고려한 검증 방식이 필요합니다.
진단 (Diagnostics):
기존 이벤트 스터디 플롯 (Placebo check) 은 행렬 완성 추정치에서 과적합 (Over-fitting) 을 감지하지 못할 수 있습니다.
In-time-placebo check: 실제 치료 시점보다 앞선 시점을 가짜 치료 시점으로 설정하여 추정하는 '아웃-오브-샘플 (out-of-sample)' 진단이 더 효과적일 수 있음을 제안합니다.
3. 실증 분석 결과 (Results)
3.1 사례 연구: 총기 소지법 (Right to Carry, RTC) 의 폭력 범죄 영향
데이터: 1977~2014 년 미국 50 개 주의 폭력 범죄율 데이터 (Donohue et al., 2019).
특징: 주별 정책 도입 시점이 매우 다양하며 (최대 29 년 차이), 초기 도입 주들은 사전 관측 기간이 짧음.
비교 추정기:
전체 행렬에 대한 핵정규화 행렬 완성 (Full Matrix Completion)
CY 의 제안 (Split-Apply-Combine)
부분적 풀링 Synthetic Control (PPSC)
Gsynth (Xu, 2017)
이중차분법 (DiD)
3.2 주요 발견
보정 전 (No Fixed Effects) 결과:
행렬 완성 기법 (전체 및 CY 방식) 은 치료 후 폭력 범죄가 급격히 증가한다는 비현실적으로 큰 추정치 (10 만 명당 136~205 건 증가) 를 산출했습니다.
반면, Synthetic Control 과 Gsynth 는 훨씬 작은 효과 (10 만 명당 11.3 건 및 3.86 건 증가) 를 보여주었습니다.
치료 전 (Placebo) 기간에는 추정치가 0 에 가까웠으나, 이는 과적합을 반영할 가능성이 있습니다.
보정 후 (Fixed Effects Pre-processing) 결과:
단위 (Unit) 와 시간 (Time) 고정 효과를 먼저 제거 (Residualize) 한 후 행렬 완성을 적용한 결과, 추정치가 크게 개선되었습니다.
행렬 완성 추정치는 폭력 범죄가 약 8.5~10.1 건 감소하는 것으로 나타났으며, 이는 Synthetic Control 및 Gsynth 의 추정치 (증가 또는 통계적 유의미성 부재) 와 더 일관된 방향성을 보였습니다.
결론: 단순 행렬 완성만으로는 편향이 발생할 수 있으나, 고정 효과 제거를 전처리 (Pre-processing) 로 수행하면 행렬 완성 기법이 다른 현대적 추정법과 조화로운 결과를 도출할 수 있음이 확인되었습니다.
4. 의의 및 결론 (Significance)
이론적 기여: CY 의 행렬 완성 접근법을 'Split-Apply-Combine' 프레임워크 내에서 명확히 위치지었으며, ATT 추정을 위해 'Combine-Apply' 전략의 필요성을 제기했습니다.
실용적 기여: 이론적 모델이 실제 정책 평가 (N 이 작고 T 가 큰 상태, ill-conditioned 데이터) 에 적용될 때 발생할 수 있는 문제점 (과대 추정, 이분산성, 하이퍼파라미터 선택) 을 구체적으로 지적하고 해결 방안을 제시했습니다.
방법론적 통찰: 행렬 완성 기법 자체만으로는 충분하지 않으며, 고정 효과 제거 (Fixed Effects Removal) 와 같은 전처리 단계를 결합하거나, 적절한 진단 도구 (In-time-placebo) 를 사용하여 결과의 신뢰성을 확보해야 함을 강조했습니다.
정책 평가: 공공 정책 평가에서 소수 단위 (주 단위 등) 를 다룰 때, 단순한 회귀 분석을 넘어선 현대적 패널 기법들이 유용하지만, 데이터의 구조적 특성과 편향을 면밀히 고려하여 적용해야 함을 시사합니다.
요약하자면, 이 논문은 CY 의 행렬 완성 기반 패널 데이터 추정법이 유망한 도구임을 인정하면서도, 실제 적용 시 전처리 (고정 효과 제거), 적절한 추정량 선택 (ATT), 그리고 엄격한 진단이 동반되어야만 신뢰할 수 있는 인과 추론이 가능함을 기술적으로 입증했습니다.