Synthetic but Not Realistic: The Evaluation Challenge in Generative Modelling for Structured Electronic Medical Records

기술 요약: 합성 데이터, 통계적으로는 유사하나 임상적으로는 비현실적임

문제 정의
합성 의료 데이터는 데이터 공유와 모델 개발을 용이하게 하기 위해 실제 전자 의료 기록(EMR)을 대체할 수 있는 개인정보 보호 기술로 점점 더 많이 제안되고 있습니다. 그러나 이 합성 데이터에 대한 평가는 여전히 통계적 유사성 지표(예: 주변 분포 매칭)와 다운스트림 예측 성능에 의해 지배되고 있습니다. 저자들은 이러한 표준 지표들이 **임상적 타당성(clinical validity)**을 반영하지 못한다고 주장합니다. 구체적으로, 기존의 평가 관행은 하위 집단 분포, 보정된 위험 추정치, 또는 올바른 인과적 의존 구조와 같이 신뢰할 수 있는 역학적 추론에 필요한 구조적 특성을 보존하는지를 간과하는 경우가 많습니다. 결과적으로, 합성 데이터는 표준 지표 하에서는 "현실적"으로 보일 수 있으나, 유효한 임상적 또는 과학적 결론을 도출하는 데에는 실패할 수 있습니다.

방법론
이러한 불일치를 해결하기 위해, 저자들은 역학에 근거하여 기술적, 예측적, 인과적 연구 질문에 대응하는 세 가지 뚜렷한 차원으로 합성 데이터를 평가하는 다차원 평가 프레임워크를 제안합니다.

1. 기술적 충실도(Descriptive Fidelity): 관찰 가능한 통계적 특성을 재현하는지 평가하며, 여기에는 주변 분포뿐만 아니라, 하위 집단 특유의 왜곡을 탐지하기 위한 층화 요약(stratified summaries)(예: 연령대 및 사회경제적 지위 5분위수)이 포함됩니다.
2. 임상적 유용성(Clinical Utility): 시점-사건 분석(time-to-event analysis)을 사용하는 예측 과업을 지원하는 능력을 평가합니다. 저자들은 다음을 평가하기 위해 **Cox 비례 위험 모델(Cox proportional hazards model)**을 사용합니다:
   • 위험비(Hazard Ratios, HRs): 공변량 효과 크기의 보존 여부.
   • 보정(Calibration): 예측된 사건 확률과 관측된 빈도 사이의 일치도를 $D_{21}$ 거리 지표를 통해 측정하며, 이는 모집단 수준과 층화된 수준 모두에서 수행됩니다.
3. 구조적 타당성(Structural Validity): 인과 발견(causal discovery)을 사용하여 고차 의존 구조의 보존 여부를 평가합니다. Greedy Equivalence Search (GES) 알고리즘을 실측 데이터와 합성 데이터 모두에 적용하여 유향 비순환 그래프(DAG)를 복구합니다. 성능은 Structural Hamming Distance (SHD), 인접성 정밀도/재현율/F1, 그리고 방향성 정밀도/재현율/F1을 사용하여 측정됩니다.

실험 설정
본 프레임워크는 알려진 정답 구조를 가진 수기로 지정된 DAG로부터 생성된 50,000명의 성인 코호트인 PRIME-CVD에 적용되었습니다. 이 데이터셋은 통계적, 임상적, 인과적 특성에 대한 엄격한 검증을 가능하게 합니다. 저자들은 네 가지 대표적인 생성 패러다임을 통일된 표현 방식으로 평가했습니다:

• WGAN-GP: 상관관계 정규화 항이 추가된 그래디언트 페널티 기반의 생성적 적대 신경망.
• WGAN-GP + VAE: 고정된 사전 분포를 변이형 오토인코더(VAE)를 통한 학습된 잠재 분포로 대체한 하이브리드 접근 방식.
• DDPM: 반복적인 디노이징을 사용하는 확산 확률 모델(Denoising Diffusion Probabilistic Models).
• MCM (Masked Conditional Model): 조건부 재구성을 학습하는 마스킹 기반 오토인코딩 방식.

주요 결과
평가 결과, 모든 모델이 모집단 수준에서의 주변 분포는 성공적으로 재현했으나, 하위 집단 구조, 효과 추정치, 그리고 의존 구조를 동시에 보존한 모델은 없었습니다.

• 하위 집단 왜곡: 모든 모델은 사회경제적 지위(IRSD) 5분위수 기준의 조건부 분포에서 모집단 수준보다 더 큰 편차를 보였습니다. 특히, DDPM과 MCM은 연속형 변수에 대해 감소된 분산과 더 날카로운 분포를 나타냈습니다.
• 임상적 유용성:
  • 위험비(HRs): GAN 기반 방법과 MCM이 정답에 가장 가까운 HR을 생성한 반면, DDPM은 여러 공변량에 대해 상당히 큰 HR을 생성했습니다.
  • 보정(Calibration): WGAN-GP가 최상의 모집단 수준 보정($D_{21} = 0.048$)을 달ach했으나, 모든 모델은 사회경제적 지위에 따라 층화했을 때 유의미한 보정 오류를 보였습니다 (예: WGAN-GP의 오차는 분위수별로 0.15에서 0.35 사이였습니다).
• 구조적 타당성:
  • 그래프 복구: 어떤 모델도 복구된 그래프에서 연령(Age)과 IRSD를 외생 노드로 모두 식별해내지 못했습니다.
  • 가짜 관계(Spurious Relationships): 합성 데이터는 일반적으로 정답보다 더 밀집된 그래프를 생성했으며, 이는 가짜 관계가 존재함을 나타냅니다. MCM은 가장 낮은 Structural Hamming Distance(16)와 가장 높은 인접성 및 방향성 F1 점수를 기록한 반면, DDPM은 가장 큰 구조적 편차(32)를 보였습니다.

의의 및 주장
본 논문은 현재의 평가 관행이 합성 의료 데이터의 품질을 과대평가하고 있다고 주장합니다. 저자들은 높은 분포적 충실도가 임상적 유용성이나 구조적 타당성을 보장하지 않는다는 것을 입증했습니다. 구체적으로:

• 강력한 주변 충실도를 가진 모델이라도 보정이 불량하고 관계가 왜곡될 수 있어, 신뢰할 수 없는 추론으로 이어질 수 있습니다.
• 세 가지 평가 스트림(기술적, 예측적, 인과적)은 서로 대체될 수 없습니다. 즉, 한 차원에서 성공한 모델이 다른 차원에서는 실패할 수 있습니다.
• 본 연구 결과는 기존의 "현실성-개인정보 보호 트레이드오프(realism-privacy trade-off)"에 도전하며, 현재의 병목 현상은 개인정보 위험보다는 충실도 문제에 있음을 시사합니다.
• 저자들은 비현실적인 합성 데이터를 결정 모델에 포함하는 것이 결국 실제 환자에게 해를 끼칠 수 있는 편향을 도입할 위험이 있다고 결고합니다. 따라서 저자들은 단순히 통계적 유사성 지표에 의존하기보다, 유효한 임상적 및 과학적 결론을 지원할 수 있는 능력에 기반한 **도메인 지식 기반 평가(domain-informed assessment)**를 옹호합니다.

본 연구는 평가가 정답이 알려진 단일 데이터셋(PRIME-CVD)에서 수행되었기에 실제 세계의 EMR이 가진 모든 복잡성을 포착하지 못할 수 있다는 점에서 그 범위가 제한적임을 인정하고 있습니다. 그러나 본 연구 결과는 평가 표준을 역학에 근거한 프레임워크로 전환해야 한다는 동기를 부여합니다.