Causal analyses using education-health linked data for England: a case study

이 논문은 England 의 교육 및 건강 행정 데이터를 활용한 HOPE 연구를 사례로, 인과적 질문을 명확히 정의하고 대안적 추정 방법을 비교·검토하는 '타겟 시험 모방' 프레임워크를 적용하여 특수교육지원 (SEND) 의 효과를 분석한 방법론적 교훈과 실용적 코드를 제시합니다.

핵심

1. 요리사의 실험: "무엇을, 언제, 어떻게?"

연구자들은 처음에 아주 포괄적인 질문을 던졌습니다. "특수교육을 받으면 아이들의 학교 결석 횟수가 줄어들까?"

하지만 이는 마치 **"음식을 먹으면 배가 불러질까?"**라고 묻는 것과 비슷합니다. 너무 모호합니다.

• 어떤 음식을 먹었나요? (초록색 채소인가, 고기인가?)
• 언제 먹었나요? (아침인가, 저녁인가?)
• 얼마나 먹었나요? (한 입인가, 한 그릇인가?)

연구자들은 **타겟 트라이얼 시뮬레이션 (Target Trial Emulation)**이라는 **'이상적인 요리 레시피'**를 먼저 상상했습니다. 만약 우리가 아이들을 무작위로 두 그룹 (특수교육 받는 그룹 vs 안 받는 그룹) 으로 나누어 실험할 수 있다면 어떨까? 라는 상상을 한 것입니다.

그리고는 그 이상적인 실험을 실제 존재하는 방대한 행정 데이터 (학교 기록, 병원 기록 등) 로 어떻게 **'재현 (시뮬레이션)'**할지 고민했습니다. 그 결과, "모든 아이"가 아니라 **"구순구개열이나 뇌성마비 같은 특정 질환을 가진 아이들"**에게만 집중해야 한다는 것을 깨달았습니다. (왜냐하면 다른 아이들에게는 특수교육이 필요 없거나, 데이터가 너무 복잡해서 정확한 비교가 불가능했기 때문입니다.)

2. 시뮬레이션 게임: "가상의 훈련장"

연구자들은 실제 데이터를 분석하기 전에, **가상의 훈련장 (시뮬레이션 데이터)**을 만들었습니다.

• 비유: 실제 전쟁에 나가기 전에, 가상현실 (VR) 게임을 통해 전략을 연습하는 것과 같습니다.
• 목적: "우리가 쓴 통계 방법 (알고리즘) 이 정말 정확한가?"를 확인하기 위해, 정답을 미리 알고 있는 가상의 아이들 1 만 명을 만들어냈습니다.
• 과정: 이 가상의 아이들에게 특수교육을 '주고' '안 주고' 결과를 비교해보니, 어떤 통계 방법은 정답에 가깝게 나왔고, 어떤 방법은 엉뚱한 답을 냈습니다.
  • 예를 들어, 어떤 방법은 "조금만 조건을 잘못 설정하면 결과가 완전히 뒤집힌다"는 것을 발견했습니다.
  • 반면, **AIPW(증강 역확률 가중치)**라는 방법은 조건이 조금 틀려도 여전히 정확한 답을 내는 **'튼튼한 나침반'**처럼 작동했습니다.

이 훈련을 통해 연구자들은 실제 데이터를 분석할 때 어떤 방법을 써야 할지, 어떤 함정에 빠지지 말아야 할지 미리 배웠습니다.

3. 나침반과 지도: "데이터의 함정을 피하다"

실제 데이터를 분석할 때 가장 큰 적은 **'선택 편향 (Selection Bias)'**입니다.

• 비유: 병원에 가는 사람과 안 가는 사람을 비교할 때, 아픈 사람이 병원에 가니까 "병원이 사람을 더 아프게 만든다"고 오해할 수 있습니다. 특수교육을 받는 아이들은 원래 건강 문제나 학습 문제가 더 심한 경우가 많기 때문에, 단순히 "특수교육을 받은 아이들의 결석률이 높다/낮다"고만 보면 잘못된 결론에 도달할 수 있습니다.
• 해결책: 연구자들은 **가상의 나침반 (통계적 방법)**들을 여러 개 준비했습니다.
  1. g-computation: 복잡한 수식으로 모든 변수를 통제하는 방법. (정교하지만 설정을 잘못하면 실패함)
  2. IPW/AIPW: 데이터의 불균형을 보정해주는 저울 같은 방법. (더 튼튼함)
  3. 2SLS (도구변수): 간접적인 단서를 이용해 인과관계를 찾는 방법. (정확하지만 결과가 다소 불확실함)

이 다양한 나침반들을 서로 비교해보니, 특수교육을 꾸준히 (3 년 이상) 받으면 장기적으로 학교 무단 결석 (Unauthorized Absences) 이 줄어든다는 결론을 내릴 수 있었습니다. 특히, 단기 효과보다 장기 효과가 더 컸다는 점도 발견했습니다.

---

📝 핵심 요약 (한 줄 정리)

"우리는 복잡한 행정 데이터를 이용해 '특수교육'의 효과를 측정하려 했지만, 처음엔 질문이 너무 모호했고 데이터의 함정도 많았습니다. 그래서 가상의 훈련장 (시뮬레이션) 에서 여러 통계 방법 (나침반) 을 연습한 뒤, 가장 튼튼한 방법을 선택해 '특수교육은 장기적으로 아이들의 학교 결석을 줄이는 데 도움이 된다'는 사실을 증명했습니다."

💡 이 연구가 우리에게 주는 교훈

1. 질문을 명확히 하라: "무엇이 좋은가?"라고 묻기보다 "누구에게, 언제, 얼마나?"라고 구체적으로 질문해야 정확한 답이 나온다.
2. 가상 훈련이 중요하다: 실제 결과를 내기 전에 시뮬레이션으로 방법을 검증하는 것이 실패를 막는 지름길이다.
3. 단 하나의 정답은 없다: 여러 가지 통계 방법을 비교해보고 (민감도 분석), 그 결과가 일관될 때만 신뢰할 수 있다.

이 연구는 정책 입안자들이 데이터를 어떻게 올바르게 해석하고, 아이들을 위한 더 나은 정책을 만들 수 있는지에 대한 귀중한 지도를 제공했습니다.

기술 요약

논문 개요

이 논문은 영국 HOPE(Health Outcomes for young People throughout Education) 연구팀이 특수 교육 요구 및 장애 (SEND) 지원이 건강 및 교육 결과에 미치는 영향을 분석하기 위해 행정 데이터를 활용하면서 얻은 교훈을 공유합니다. 연구는 타겟 시험 모방 (Target Trial Emulation, TTE) 프레임워크를 적용하여 인과적 질문을 명확히 하고, 다양한 추정 방법을 비교 검증하며, 시뮬레이션 데이터를 통해 방법론의 민감성을 분석했습니다.

1. 문제 제기 (Problem)

• 배경: 정책 입안자들은 새로운 및 기존 개입의 효과에 대한 증거가 필요하며, 대규모 행정 데이터 (Administrative Data) 는 이를 제공할 잠재력이 있습니다.
• 도전 과제: 그러나 행정 데이터를 인과 추론 (Causal Inference) 에 사용할 때는 데이터 품질뿐만 아니라 조사 대상의 정의, 데이터 추출, 그리고 인과적 질문의 명확화가 필수적입니다.
• 구체적 문제: HOPE 연구의 초기 질문인 "SEND 지원이 건강 및 교육 결과에 미치는 영향은 무엇인가?"는 너무 모호하여 무작위 대조 시험 (RCT) 으로 개념화하기 어려웠습니다. (예: 개입 시기, 관찰 기간, 대상 집단의 불명확성 등)
• 데이터 한계: SEND 지원은 일반 인구 전체보다는 특정 임상적 필요 (예: 구순구개열, 뇌성마비) 가 있는 아동에게 더 관련이 깊으며, 행정 데이터 (ECHILD) 는 추가적인 중증 이상을 가진 아동의 차이를 충분히 보정할 수 있는 정밀한 정보를 제공하지 못했습니다.

2. 방법론 (Methodology)

연구팀은 **인과 로드맵 (Causal Roadmap)**과 타겟 시험 모방 (TTE) 프레임워크를 결합하여 5 단계 접근법을 따랐습니다.

1. 인과적 질문의 구체화:

   • 모호한 초기 질문을 세 가지 구체적인 질문으로 재정의했습니다.
     • Q1 (장기 효과): 1 학년 SEND 지원이 2~6 학년까지의 무단 결석 (UA) 에 미치는 영향.
     • Q2 (단기 효과): 특정 학년의 SEND 지원이 다음 학년의 UA 에 미치는 영향.
     • Q3 (지속적 효과): 1~3 학년의 지속적 SEND 지원이 6 학년까지의 UA 에 미치는 영향.
   • 분석 대상은 추가 중증 이상 없이 SEND 지원이 필요한 구순구개열 (CLP) 및 뇌성마비 (CP) 아동으로 제한했습니다.

2. 시뮬레이션 데이터 생성:

   • 실제 분석 전에 방법론을 검증하기 위해 ECHILD 데이터의 특성을 반영한 **가상 데이터 (N=10,000)**를 생성했습니다.
   • 시간 의존적 교란 변수 (Time-varying confounder, 예: 입원 여부) 와 도구 변수 (Instrumental Variable, 예: 지역) 를 포함한 방향성 비순환 그래프 (DAG) 를 기반으로 데이터를 생성했습니다.

3. 추정 방법론 및 가정:

   • 핵심 가정: 측정되지 않은 교란 변수가 없다는 가정 (No Unmeasured Confounding, NUC).
   • 사용된 방법:
     • g-computation: 결과 모델 (Outcome model) 의 올바른 명세가 필수.
     • Propensity Score (PS) 기반: 역확률 가중치 (IPW) 및 증강 역확률 가중치 (AIPW).
     • 도구 변수 (IV) 기반: 2 단계 최소제곱법 (2SLS).
   • 민감도 분석: 각 방법의 가정 (예: 결과 모델의 상호작용 항 누락, PS 모델 오명세 등) 을 위반했을 때 추정치가 어떻게 변하는지 시뮬레이션 데이터를 통해 검증했습니다.

3. 주요 기여 (Key Contributions)

• 실제 적용 가능한 프레임워크: 행정 데이터를 활용한 인과 분석을 위해 TTE 프레임워크를 어떻게 구체적으로 적용하고 질문을 수정해야 하는지에 대한 실용적인 가이드 제공.
• 시뮬레이션 기반 검증: 실제 데이터 분석 전에 시뮬레이션 데이터를 사용하여 다양한 추정 방법 (g-computation, IPW, AIPW, 2SLS) 의 성능과 가정 위반 시의 영향을 체계적으로 비교 분석.
• 오픈 소스 리소스: R 과 Stata 로 작성된 코드와 시뮬레이션 데이터를 공개하여 다른 연구자들이 유사한 인과 질문에 이 방법론을 적용할 수 있도록 지원.
• 시간 의존적 교란 변수 처리: 지속적 개입 (Sustained intervention) 의 경우, 전통적 회귀 분석이 시간 의존적 교란 변수를 통제함으로써 편향을 초래할 수 있음을 보여주었으며, g-computation 과 IPW 가 이를 해결할 수 있음을 입증.

4. 결과 (Results)

• 질문 1 (장기 효과):
  • g-computation: 결과 모델 (Y model) 에 상호작용 항을 포함하지 않으면 추정치가 실제 값과 크게 벗어났음. 매우 일반적인 모델 명세가 필요함.
  • IPW: 프로펜시티 스코어 (PS) 모델의 정확한 명세가 중요하며, 양의성 (Positivity) 가정 위반을 감지하는 데 유용함.
  • AIPW: 결과 모델과 PS 모델 중 하나만 잘못되어도 견고한 (Robust) 결과를 제공하여 가장 안정적인 방법으로 확인됨.
  • 2SLS (IV): 도구 변수가 개입과 강하게 연관되어 있음에도 불구하고 추정치의 정밀도 (Precision) 가 매우 낮았음.
• 질문 2 (단기 효과):
  • 단기 효과는 시간에 따라 증가하는 경향이 있었으며, 치료군 (ATT) 에서 더 강력하게 나타남.
  • 동적 패널 데이터 모델과 같이 일정한 효과를 가정하는 평균 추정법은 중요한 인과적 과정 (시간에 따른 효과 변화) 을 놓칠 수 있음.
• 질문 3 (지속적 효과):
  • 전통적 회귀 분석 (모든 교란 변수 통제) 은 시간 의존적 교란 변수를 통제함으로써 간접 경로를 차단하거나 콜라이더 편향을 유발하여 편향된 결과를 낳음 (RR 23.5% vs 실제 12.8%).
  • g-computation과 IPW는 시간 의존적 교란 변수를 올바르게 처리하여 실제 값에 가까운 추정치를 제공함. 특히 IPW 는 모델링 가정이 적어 선호됨.

5. 의의 및 결론 (Significance & Conclusion)

• 반복적 질문 구체화: 행정 데이터를 사용할 때 인과적 질문은 한 번에 정의되는 것이 아니라, 사용 가능한 데이터의 특성에 따라 반복적으로 수정되고 구체화되어야 함.
• 가정 검증의 중요성: 측정되지 않은 교란 변수 (NUC) 나 도구 변수와 같은 검증 불가능한 가정을 비판적으로 평가해야 함.
• 다중 방법론 접근: 단일 방법론에 의존하기보다, 다양한 추정 방법 (AIPW, IPW, g-computation 등) 을 비교하고 민감도 분석을 수행하여 결과의 신뢰성을 높여야 함.
• 시뮬레이션의 가치: 실제 데이터 분석 전에 시뮬레이션 데이터를 통해 방법론을 연습하고 가정 위반의 영향을 파악하는 것은 필수적인 과정임.

이 논문은 행정 데이터를 활용한 정책 효과 분석에서 방법론적 엄격성과 투명성의 중요성을 강조하며, 연구자들이 복잡한 인과 관계를 다룰 때 직면하는 실질적인 도전 과제와 해결책을 제시합니다.