Metadata-based Methods to Generate Synthetic Health Data: A Scoping Review

당신이 미스터리를 풀려는 탐정이라고 상상해 보십시오. 하지만 경찰이 범죄 현장을 봉쇄했습니다. 실제 데이터에는 실제 사람들의 개인 정보가 포함되어 있어 당신은 실제 증거를 만질 수 없으며, 규칙상 그것을 집으로 가져갈 수도 없습니다. 이것은 바로 건강 데이터를 연구하는 연구자들이 처한 상황과 정확히 일치합니다. 그들은 자신의 컴퓨터 스크립트와 이론을 테스트하기 위해 '전자 건강 기록(EHR)'—환자의 방문, 진단, 처방전 등이 담긴 디지털 파일—을 사용해야 하지만, 개인정보 보호법을 어기면서까지 실제 파일을 사용할 수는 없습니다. 그래서 그들에게는 대역이 필요합니다. 그들에게는 '합성 데이터(synthetic data)'가 필요합니다. 즉, 누구의 것도 아니지만 실제 데이터와 똑같이 보이고 작동하는 가짜 환자 기록입니다.

보통 이러한 가짜 기록을 만들기 위해 과학자들은 실제 데이터를 복잡한 머신러닝 로봇에 복사하여 붙여넣으려고 시도합니다. 하지만 이 로봇은 '블랙박스'입니다. 즉, 비밀리에 작동하며, 만약 실수로 실제 인물의 비밀을 유출한다면 이는 재앙이 됩니다. 게다가, '연합 분석(federated analysis)'이라 불리는 많은 현대적 연구 환경에서는 실제 데이터가 서로 파일을 공유하지 않는 여러 병원에 잠겨 있습니다. 로봇은 데이터를 볼 수 없다면 작동할 수 없습니다. 여기서 다른 접근 방식인 '메타데이터 기반(metadata-based)' 방법이 등장합니다. 개별 환자의 지저도 있고 사적인 세부 사항을 들여다보는 대신, 이 방법들은 '레시피'나 '설계도'를 사용합니다. 이들은 요약 통계(예: "50세 이상의 환자가 50%이다")와 공개된 지식을 활용하여, 실제 환자 파일을 전혀 보지 않고도 처음부터 가짜 환자를 구축합니다.

이 논문은 '스코핑 리뷰(scoping review)'로, 이는 거대한 지도 제작 탐험과 같습니다. 저자들인 위트레흐트(Utrecht) 출신의 연구팀은 이러한 '설계도 전용' 가짜 건강 기록을 구축하기 위한 도구들이 무엇이 있는지 확인하고자 했습니다. 그들은 단순히 도구만을 조사한 것이 아니라, 규칙 책도 살펴보았습니다. 그들은 다음과 같은 질문을 던졌습니다: 가짜 데이터가 정말 좋은지 어떻게 알 수 있는가? 안전을 보장하기 위한 규칙이 있는가? 그리고 가장 중요한 것은, 우리가 실제 데이터에 손을 대기 전에 이 가가 기록을 사용하여 코드를 테스트할 수 있는가?

연구팀은 과학 문헌을 샅샅이 뒤져 23개의 관련 논문을 찾아냈습니다. 그중 12개는 데이터를 만드는 구체적인 방법을 설명했고, 11개는 데이터를 판단하는 방법과 법적 규칙을 다룬 리뷰였습니다. 그들의 발견은 다음과 같습니다.

도구들: 설계도로 건축하기
연구진은 이 '설계도' 데이터를 생성하는 여섯 가지 주요 방법을 발견했습니다.

• Synthea: 이것은 가장 유명한 도구입니다. 마치 비디오 게임의 캐릭터 생성기와 같습니다. 이 도구는 공공 인구 조사 데이터(예: 미국 인구 조사)를 바탕으로 한 인구 집단에서 시작합니다. 그런 다음 환자의 삶을 단계별로 시뮬레이션합니다. 이 도구는 '몬테카를로(Monte Carlo)' 방식(확률에 기반하여 디지털 주사위를 굴리는 세련된 방식)을 사용하여 환자가 중이염에 걸릴지, 몇 살 때 걸릴지, 어떤 약을 처방받을지를 결정합니다. 이 도구는 실제 환자 파일이 전혀 필요 없이, 공공 지식과 사용자 설정을 사용하여 환자의 전체 의료 기록을 구축합니다.
• OSIM: 이 도구는 건강 데이터의 표준 형식인 'OMOP 공통 데이터 모델(OMOP Common Data Model)'의 언어로 말하도록 설계되었습니다. 이 도구는 요약 테이블(예: "당뇨병 환자가 몇 명인가")을 가져와서 해당 표준에 맞는 가짜 데이터셋을 구축합니다.
• SASC: 코로나19(COVID-19) 데이터에 특화된 웹 기반 앱입니다. 요약 테이블을 가져와 실험 결과와 결과값이 포함된 가짜 환자 기록을 생성합니다.
• Davis 등의 방법: 이 방법은 독특하게도 '학습'을 시뮬레이션합니다. 의사들이 시간이 지남에 따라 환자를 치료하는 능력이 향려된다고 가정합니다. 이 도구는 이러한 개선 곡선을 포함하는 가짜 데이터를 구축하며, 이는 새로운 치료법이 실제 세계에서 어떻게 수행되는지 테스트하는 데 매우 유용합니다.
• ODM Generator: 이 도구는 조금 다릅니다. 통계적으로 실제처럼 보이려고 노력하는 대신, 데이터가 임상 시험을 위한 올바른 '문법(syntax)'을 따르는지만 확인합니다. 이는 데이터 구조에 대한 맞춤법 검사기와 같습니다.
• Barr 등의 방법: 대규모 언어 모델(LLM, 예: GPT-4o)을 사용하는 새로운 접근 방식입니다. 연구진은 AI에게 통계 목록(예: "평균 연령은 45세")을 주고 가짜 환자 테이블을 작성하도록 요청했습니다. 이는 매우 새롭고 실험적인 방식입니다.

문제점: 도구는 있지만 규칙 책이 없다
여기서 반전이 있습니다. 저자들은 이러한 도구들을 발견했지만, 이것들이 제대로 작동하는지 확인하는 방법에서 거대한 격차를 발견했습니다.

• '충실도(Fidelity)'의 함정: 이 방법들이 테스트될 때마다, 연구자들은 거의 항상 '충실도'만을 확인했습니다. 즉, "가짜 데이터가 실제 데이터와 닮았는가?"를 물었습니다. 그들은 평균과 차트를 비교했습니다. 하지만 '유용성(utility)'은 거의 확인하지 않았습니다. 유용성은 "이 가짜 데이터가 실제로 내가 더 나은 코드를 작성하거나 문제를 해결하는 데 도움이 되는가?"를 묻는 것입니다.
• 누락된 연결 고리: 이 논문은 그 누구도 이 메타데이터 기반 방법들을 그들의 특정 용도인 연합 분석에서의 코드 개발을 위해 테스트하지 않았다는 점을 명시적으로 언급합니다. 우리는 이 가짜 데이터가 나중에 보안이 철저한 병원 데이터에서 실행될 스크립트를 테스트하기에 "충분히 좋은지" 알지 못합니다.
• 평가의 혼란: 저자들은 합성 데이터를 판단하는 방법에 관한 11개의 다른 리뷰를 살펴보았습니다. 그들은 다양한 정의가 뒤섞인 혼란을 발견했습니다. 어떤 이들은 이를 '충실도'라고 부르고, 어떤 이들은 '유사성(resemblance)'이나 '닮음(similarity)'이라고 부릅니다. 어떤 이들은 '공정성'(가짜 데이터가 소수자에 대해 편향되지 않도록 하는 것)을 포함하는 반면, 어떤 이들은 이를 무시합니다. 단일하게 합의된 규칙 책은 존재하지 않습니다.
• 법적 회색 지대: 리뷰 결과, 법적 및 윤적 측면에 대한 논의가 거의 없다는 것이 밝혀졌습니다. 실제 데이터에 대한 규칙은 존재하지만, 이 '가짜' 데이터에 대한 규칙은 여전히 모호합니다. 저자들은 FDA나 EMA와 같은 주요 규제 기관들이 아직 명확한 지침을 제시하지 않았다고 지적합니다.

결론
이 논문은 우리가 실제 환자를 보지 않고도 가짜 건강 데이터를 구축할 수 있는 흥미로운 방법들로 가득 찬 도구 상자를 가지고 있다고 결론짓습니다. 하지만 우리는 눈을 가린 채 비행하고 있습니다. 우리는 이 도구들을 테스트하는 방법을 표준화하지 못했으며, 보안이 철저한 연합 환경에서 컴퓨터 코드를 테스트하기 위해 이들을 사용하는 구체적인 규칙도 정립하지 못했습니다.

저자들은 향ere 연구가 단순히 "실제처럼 보이는가?"라고 묻는 것을 멈추고, "이것이 직무에 적합한가?"라고 묻기 시작해야 한다고 제안합니다. 그들은 생성 방법과 의도된 용도를 일치시키는 새로운 표준화된 프레임워크를 요구합니다. 그때까지 이 도구들을 사용하여 실제 세계의 건강 연구를 위한 코드를 만드는 것은, 날개가 실제 풍동(wind tunnel)에서 견딜 수 있을지 모르는 상태에서 모형 비행기를 만드는 것과 같습니다. 잠재력은 엄청나지만, 안전 점검 절차는 여전히 작성 중입니다.