기술 요약: 합성 EHR 생성을 통한 재현 가능한 연구의 가속화

1. 문제 정의

고충실도(High-fidelity)의 합성 전자 건강 기록(EHR) 생성은 환자의 프라이버시를 보호하면서 의료 연구를 발전시키는 데 필수적입니다. 그러나 이 분야는 다음과 같은 구조적 장벽으로 인해 재현성 위기에 직면해 있습니다:

• 분절된 인프라: 기존의 생성 모델(예: MedGAN, CorGAN, PromptEHR)은 서로 호환되지 않는 종속성, 하드코딩된 데이터셋 차원, 그리고 직접적인 비교를 방해하는 절차적 설계로 인해 서로 다른 코드베이스에 구현되어 있습니다.
• 평가 프레임워크의 파편화: 통일된 벤치마킹 프레임워크가 존재하지 않습니다. 메트릭(Metrics)이 일관되지 않게 보고되며, 현대적인 표준 도구(예: sdmetrics)는 EHR 데이터의 고차원성과 순차적 특성을 처리하는 데 실패하는 경우가 많습니다.
• 세밀함의 상실: 희소성(Sparsity)을 관리하기 위해 연구자들은 전체 어휘(6,955개 코드)에서 ICD-9 코드를 3자리 범주(1,071개 코드)로 축소하는 경우가 빈번합니다. 이러한 관행은 임상적으로 중요한 롱테일(Long-tail) 정보(예: 복합형 vs 단순형 당뇨병의 구분)를 폐기하고, 희귀 코드에 대한 모델의 낮은 성능을 은폐합니다.
• 아키텍처의 불일치: 동일한 알고리즘의 구현이라도 역량에서 차이가 발생할 수 있습니다(예: 일부 MedGAN의 PyTorch 포팅 버전은 바이너리 행렬만 지원하며, 원본의 카운트 행렬 지원을 누락함).

2. 방법론

저자들은 PyHealth 라이브 library를 기반으로 한 경량화된 엔드 투 엔드(End-to-end) 벤치마킹 프레임워크를 소개합니다. 이 프레임워크는 데이터 주입부터 평가에 이르는 파이프라인을 통합하여, 모든 모델이 동일한 입력을 소비하고 표준화된 형식의 출력을 생성하도록 보장합니다.

2.1. 통합 데이터 표현

프레임워크는 MEDS와 같은 커뮤니티 표준과 일치하는 방문 레벨 롱 포맷 스키마(Subject ID, Visit ID, Code)를 채택합니다. 이 스키마는 다음을 보존합니다:

• 시간적 구조: 방문 경계 및 방문 순서.
• 코드 반복: 방문 내 코드 빈도.
• 세밀함: 3자리 축소된 하위 집합이 아닌 전체 ICD-9 어휘(6,955개 코드).

모든 합성 출력은 생성기의 내부 표현(정적 행렬 또는 동적 시퀀스)에 관계없이 평가 전 이 정규화된 관계형 구조로 변환됩니다.

2.2. 재구현된 베이스라인

저자들은 전체 ICD-9 세밀함을 지원하기 위해 네 가지 강력한 베이스라인을 재구현하고 확장했습니다:

1. MedGAN: 이전 PyTorch 포팅 버전에서 누락되었던 원본의 **카운트 행렬 지원(Count matrix support)**을 복구하여, 진단당 무제한 정수 빈도를 모델링할 수 있게 했습니다.
2. CorGAN: 합성 공간을 6개 층에서 8개 층으로 확장하여, 기존의 3자리 축소 방식 대신 6,955차원의 출력을 네이티브하게 처리할 수 있도록 했습니다.
3. PromptEHR: 인구통계학적 정보에 조건화된 BART 기반 시퀀스-투-시퀀스 모델입니다. 저자들은 실제 환자 기록으로 데이터를 증강하지 않고도 임상적 현실성을 높이기 위해 빈도 유도 생성(Frequency-guided generation)(모델 로짓과 경험적 코드 빈도의 혼합) 및 인구통계 조건부 궤적 초기화를 도입했습니다.
4. HALO: 이미 프로덕션 준비가 되어 있어 최소한의 수정만 필요했던 계층적 자기회귀 모델(방문 레벨 및 코드 레벨 모듈)입니다.
5. GPT-2 베이스라인: 특화된 아키텍처가 반드시 필요한지 테스트하기 위해 구현된 경량 범용 자기회귀 트랜스포머(8개 층, 512 임베딩 차원)입니다.

2.3. 아키텍처 불가지론적 평가 스위트 (Architecture-Agnostic Evaluation Suite)

프레임워크는 엄격하고 모델에 구애받지 않는 평가 스위트를 사용합니다:

• 충실도 (Fidelity/Utility):
  • 통계적 유병률: $R^2$, 피어슨 상관계수, RMSE를 사용하여 주변 분포 정렬을 측정합니다.
  • 판별자 기반 충실도: 실제 데이터와 합성 데이터를 구별하기 위해 이진 분류기(순차 데이터의 경우 LSTM, 평탄화된 데이터의 경우 Random Forest)를 훈련합니다. 판별 점수(Discriminative Score) ($1 - 2|0.5 - \text{Accuracy}|$)는 구별 불가능성을 정량화합니다.
• 프라이버시:
  • 최근접 이웃 적대적 정확도 위험 (NNAAR): 합성 샘플이 홀드아웃(Held-out) 테스트 데이터보다 훈련 데이터에 더 가까운지를 측정하는 시퀀스 인식 집합 거리 메트릭(수정된 해밍 거리)입니다.
  • 멤버십 추론 공격 (MIA): 공격자가 거리 기반 정보를 바탕으로 훈련 멤버와 비멤버를 구별할 수 있는지 테스트합니다.

3. 주요 기여

1. 아키텍처 복구 및 확장: 저자들은 이전 연구에서 사용된 축소된 하위 집합을 넘어, 전체 ICD-9 어휘를 지원하기 위해 상실된 기능(MedGAN 카운트 모드)을 복구하고 아키텍처(CorGAN 레이어)를 확장했습니다.
2. 표준화된 벤치마킹: 일관된 프라이버시 및 유틸리티 메트릭을 사용하여 GAN 기반 생성기와 트랜스포머 기반 생성기를 공정하게 나란히 비교할 수 있는 통합 파이프라인을 제공합니다.
3. 확장 가능한 인프라: PyHealth를 기반으로 구축된 이 프레임워크는 단일 pip install 패키지와 대화형 Colab 워크플로우를 제공하여 엔지니어링 장벽을 낮춥니다.
4. 롱테일 분석: 프레임워크는 희귀 코드에 대한 성능을 명시적으로 평가하여, 축소된 벤치마크가 숨기는 실패 모드를 드러냅니다.

4. 결과

평가는 10,000명의 환자를 대상으로 한 MIMIC-III 데이터에서 수행되었습니다.

• 충실도 vs 유틸리티 트레이드오프:
  • 순차 모델 (HALO, PromptEHR, GPT-2): 우수한 판별 점수(0.5에 가까울수록 높은 구별 불가능성을 의미)를 달랐습니다. 이들은 결합 분포와 시간적 역동성을 성공적으로 포착했습니다.
  • 평탄 모델 (MedGAN, CorGAN): 높은 통계적 유틸리티(주변 유병률에 대한 높은 $R^2$)를 달랐으나, 판별 점수는 낮았습니다. 이들은 복잡한 결합 상관관계를 포착하는 데 실패하여 실제 데이터와 쉽게 구별되었습니다.
• 프라이버시: 모든 모델은 MIA 정확도가 무작위 추측(0.5)에 근접하고 NNAAR 점수가 미미하여 견고한 프라이버시 보호를 보여주었습니다. 이는 훈련 데이터를 기억하지 않았음을 나타냅니다.
• GPT-2 베이스라인 성능: 놀랍게도 경량 GPT-2 베이스라인은 순차 모델 중 가장 높은 판별 점수(0.355)를 기록하며, 특화된 아키텍처보다 높은 현실성을 보여주었으나, HALO에 비해 주변 유병률($R^2$) 측면에서는 약간 뒤처졌습니다.
• 롱테일 성능:
  • 평가 범위가 희귀 코드의 99백분위수까지 확장됨에 따라, HALO와 PromptEHR은 높은 $R^2$를 유지하며 희귀 의존성을 모델링하는 능력을 입증했습니다.
  • CorGAN은 희귀 코드에서 완전히 붕괴되었습니다 ($R^2 \approx 0$).
  • GPT-2는 97.5백분위수까지는 잘 작동했으나 99백분위수에서 급격히 저하되었으며, 이는 특화된 메커니즘 없이 극단적인 롱테일 코드를 생성하는 것의 어려움을 보여줍니다.
  • 프라이버시 위험: 희귀 코드가 포함되면 모든 모델의 MIA 위험이 증가하며, 이는 희귀 코드가 준식별자(Quasi-identifier) 역할을 할 수 있음을 시사합니다.

5. 의의 및 주장

본 논문은 최종적이고 불변하는 벤치마크라기보다 커뮤니티 주도적 재현성을 위한 시작점을 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

• 장벽 완화: 이질적인 베이스라인을 단일 파이프라인으로 통합함으로써, 연구자들이 코드 재구현이나 종속성 충돌 관리에 에너지를 쓰는 대신 과학적 혁신에 집중할 수 있게 합니다.
• 숨겨진 실패 모드 폭로: 축소된 메트릭으로는 성공적으로 보일 수 있는 모델들이 실제로는 EHR 데이터의 결합 분포와 롱테일 현실을 포착하는 데 어떻게 실패하는지 밝혀냅니다.
• 특화 모델에 대한 도전: 범용 GPT-2 베이스라인의 강력한 성능은 고충실도 EHR 합성을 위해 반드시 복잡하고 도메인 특화된 아키텍처가 필요한 것은 아닐 수도 있음을 시사합니다.
• 미래 지향적 구조: 저자들은 이 프레임워크를 ICD-10, 추가적인 양상(검사 결과, 활력 징후), 더 강력한 프라이버시 메트릭을 지원하도록 커뮤니티에 의해 확장될 수 있는 "살아있는 기질(Living substrate)"로 위치시킵니다.

저자들은 기존 베이스라인이 배포 당시 재현 불가능했다거나, 이 프레임워크가 기술적 부채를 영원히 견뎌낼 것이라고 주장하지 않습니다. 대신, 현재의 분절된 저장소 상태가 직접적인 비교를 거의 불가능하게 만들고 있으며, 본 연구가 공정하고 확장 가능하며 재현 가능한 연구를 가능하게 하는 필수적인 토대를 제공한다고 주장합니다.