Four-Stage Data Quality Framework for Multi-Source Oncology Real-World Data Integration: Validation Using Health Datasets Mapped to the OMOP Common Data Model

당신이 탐정이 되어 미스터리를 해결하고 있다고 상상해 보세요. 하지만 당신의 범죄 현장은 범죄 현장이 아니라 의료 기록의 산더미입니다. 현대 의학, 특히 암을 연구하는 세계에서 연구자들은 더 이상 통제된 실험실 실험에만 의존하지 않습니다. 그들은 "리얼 월드 데이터(Real-World Data)"를 들여다봅니다. 이것은 병원, 클리닉, 약국에서 나오는 무질서하고 일상적인 서류들, 즉 의사들이 쓰는 실제 노트, 출력된 검사 결과, 그리고 처방전 같은 것들을 의미합니다. 이 데이터는 완벽한 시험관 속이 아닌 실제 세상에서 치료가 어떻게 작용하는지를 보여주기 때문에 황금과도 같습니다.

하지만 이 황금은 종종 흙 속에 파묻혀 있습니다. 한 병원은 "심근경색(heart attack)"이라고 적고, 다른 병원은 "심근경경색(myocardial infarction)"이라고 적으며, 세 번째 병원은 그냥 "410.0" 같은 코드를 사용하기도 합니다. 만약 이 기록들을 섞어서 패턴을 찾으려 한다면, 그것은 벽돌, 레고, 그리고 매끄러운 강 돌이 한데 뒤섞인 상태로 집을 지으려는 것과 같습니다. 구조물은 무너지고 맙니다. 이를 해결하기 위해 과학자들은 "공통 데이터 모델(Common Data Model)"을 사용하는데, 이는 모든 정보가 동일한 형태와 라벨을 갖도록 강제하는 보편적인 번역기나 표준 설계도와 같습니다. 하지만 여기에는 함정이 있습니다. 단지 벽돌의 모양이 같다고 해서 그 벽돌이 올바른 것은 아닙니다. "환자가 2020년에 사망함"이라는 기록이 있으면서도 동시에 "환자가 2021년에 의사를 방문함"이라는 노트가 붙어 있을 수 있습니다. 이것은 불가능한 일이지만, 누군가 매우 주의 깊게 확인하지 않는다면 컴퓨터는 이를 알아차리지 못할 수도 있습니다. 여기서 데이터 품질(data quality)이 중요해집니다. 즉, 데이터가 들려주는 이야기가 실제로 사실인지 확인하는 것입니다.

---

4단계 탐정 부대

이 연구에서 연구자 사무엘 마니라즈 셀바라지(Samuel Maniraj Selvaraj)는 두 종류의 암 환자 데이터를 서로 섞을 준비가 되었는지 확인하기 위해 매우 체계적인 4단계 체크리스트를 구축했습니다. 그는 단순히 데이터를 훑어본 것이 아니라, 데이터를 생사가 걸린 결정을 내리기 전에 반드시 완벽해야 하는 고도의 품질 관리가 필요한 제품처럼 취급하며 엄격한 "품질 관리" 터널을 통과시켰습니다.

이 과정을 제약 회사를 위해 거대하고 복잡한 케이크를 굽기 전, 서로 다른 두 가지 재료 배치를 준비하는 과정이라고 생각해 보세요. 당신에게는 배치 A(한 세트의 병원들로부터 온 것)와 배치 B(다른 곳으로부터 온 것)가 있습니다. 이들을 섞기 전에, 재료가 상하지 않았는지, 우리가 생각하는 그 재료가 맞는지, 그리고 과정 중간에 바뀌지 않았는지 확인해야 합니다.

1단계: 레시피 확인 (매핑 파일 검증)
먼저, 팀은 "레시피 카드"를 확인했습니다. 이 카드들은 컴퓨터가 무질서한 병원 코드들을 어떻게 깨끗하고 표준적인 언어(OMOP 공통 데이터 모델이라 불림)로 번역할지 알려줍니다. 여기서 규칙은 간단합니다. 모든 단일 코드가 유효한 번역을 가지고 있는가? 팀은 모든 기록에 대해 철저한 검사를 수행했습니다. 이 연구는 매핑 파일이 진행에 필요한 구조적 규칙을 충족함을 확인했지만, 이러한 검사를 통과한 기록의 구체적인 백분율은 최종 보고서에 공개되지 않았습니다. 핵심 요점은 기초가 진행하기에 충분히 유효하다고 간주되었다는 것이지만, 레시피 카드의 정확한 "점수"는 비공개로 유지되었습니다.

2단계: 조립 라인 확인 (구조적 매핑 검증)
다음으로, 그들은 조립 라인을 지켜보았습니다. 이곳은 실제 데이터가 무질서한 병원 파일에서 깨끗한 표준 데이터베이스로 이동하는 단계입니다. 그들은 기록이 컨베이어 벨트에서 떨어져 나가거나 중복되는 것(예: 환자가 실수로 두 번 나타나는 경우)이 없는지 확인했습니다. 또한 데이터가 올바른 상자에 들어갔는지도 확인했습니다. 예를 들어, "약물" 기록이 "수술" 상자에 들어가서는 안 됩니다. 연구 결과, 데이터는 검증된 모든 도메인에 대해 소스(source)에서 타겟(target)으로 성공적으로 이동하여 "합격(Pass)" 상태를 달방했습니다. 그러나 구조적 변환이 성공적임은 확인되었지만, 데이터 손실의 정확한 비율이나 처리된 총 기록의 양은 공개된 결과에 백분율로 명시되지 않았습니다.

3단계: 의미 확인 (개념적 매핑 검증)
이 단계는 까다롭습니다. 기록이 올바른 상자로 이동했다고 해서 그것이 반드시 의미를 갖는 것은 아닙니다. 라벨에는 "사과"라고 적혀 있지만 실제로는 바나나 사진인 경우가 있다고 상상해 보세요. 컴퓨터는 라벨이 "과일"이라고 되어 있기 때문에 사과라고 생각할 수 있지만, 인간은 그 라벨이 실제로 맞는지 확인해야 합니다. 팀은 의료 용어가 의사들이 의도한 바와 실제로 일치하는지 확인하기 위해 전문가들의 검토를 거쳤습니다. 그들은 데이터가 의미론적으로 충분히 올바르다는 것을 확인했지만, 연구에서는 밑바탕이 되는 "개념적 일치율(Conceptual Concordance Rate)", 즉 기록이 완벽하게 매핑된 정확한 백분율은 공개되지 않았음을 명시했습니다. 전문가들은 승인을 내렸지만, 얼마나 많은 "사과"가 실제로는 "바나나"였는지에 대한 세부 통계는 숨겨져 있습니다.

4단계: 배송 확인 (데이터 동기화 검증)
마지막으로, 그들은 배송 트럭을 확인했습니다. 데이터는 안전한 금고(메인 데이터베이스) 내에서 정돈되고 깨끗해졌지만, 연구자들은 공용 포털(웹사이트)을 통해 이에 접근합니다. 팀은 금고 안에 있는 것과 웹사이트에 있는 것이 정확히 일치하는지 확인했습니다. 금고에는 최신 데이터가 있는데 사용자들이 오래되고 낡은 데이터를 보고 있는 상황이 발생해서는 안 되기 때문입니다. 이 "동기화" 역시 완벽하게 통과되었으며, 사용자에게 제공되는 데이터가 인증된 데이터베이스와 일치함을 확인했습니다.

숨겨진 결함: "완벽"이 완벽하지 않을 때

데이터가 네 단계를 모두 통과하고 "그린 라이트(승인)"를 받았음에도 불구하고, 팀은 거기서 멈추지 않았습니다. 그들은 단순한 컴퓨터 체크로는 놓칠 수 있는 "이 이야기가 말이 되는가?"라는 질문을 던지는 특별한 "개연성(plausibility)" 테스트를 실행했습니다. 여기서 그들은 단순한 컴퓨터 검사라면 놓쳤을 매우 이상하고, 우스꽝스러우며, 우려스러운 결함들을 발견했습니다.

그들은 세 가지 주요 유형의 "시간 여행" 오류를 발견했습니다:

1. 시간 여행을 하는 환자: 일부 기록은 환자가 태어나기도 전에 의료 사건이 발생한 것으로 나타났습니다. 예를 들어, 어떤 환자는 자신의 출생일보다 앞선 날짜에 "질병 발생(Condition Occurrence)" 기록이 있었습니다. 데이터 소스 B에서는 9,213명의 환자가 이 오류를 보였고, 데이터 소스 A에서는 63명이 나타났습니다.
2. 유령 방문: 환자가 이미 사망한 후에 의사를 방문한 기록을 발견했습니다. 데이터 소스 B에서는 354명의 환자가 기록된 사망 날짜 이후에 방문한 기록이 있었습니다. 이는 진단 후 생존 기간을 연구하려는 연구들에게 매우 큰 문제입니다.
3. 마법의 알약: 불가능한 양의 약물 기록을 발견했습니다. 어떤 환자들은 50,000 유닛의 약물을 복용하는 것으로 기록되었는데 이는 물리적으로 불가능합니다. 반면 어떤 이들은 0 또는 심지어 음수(-)의 양을 복용하는 것으로 기록되었습니다.
   • 데이터 소스 A에서는 무려 129,923명의 환자가 0 또는 음수의 약물 기록을 가지고 있었습니다.
   • 데이터 소스 B에서는 6,033명의 환자가 동일한 문제를 겪었으며, 또 다른 1,772명은 "너무 많은 알약" 오류를 보였습니다.

이것이 왜 중요한가

이 논문의 가장 중요한 발견은 데이터가 "좋았다"(실제로 좋았습니다)는 점이 아니라, 제대로 확인하지 않으면 연구를 망칠 수 있는 거대하고 어처구니없는 실수들이 "좋은" 데이터 속에도 숨어 있을 수 있다는 점입니다. 만약 연구자가 이러한 오류를 잡아내지 못한 채 약물의 효능을 연구하려 했다면, "사망 후 방문한 유령 환자"들이 더 오래 생존하는 것처럼 보여 약물이 놀랍도록 효과적이라는 결론을 내리거나, "음수의 알약" 개수가 계산을 망쳐놓아 약물이 쓸모없다는 결론을 내릴 수도 있었을 것입니다.

이 논문은 이러한 오류를 잡아내기 위해 4단계의 엄격한 규칙 기반 시스템이 필요하다는 것을 증명합니다. 단순히 "데이터가 깨끗하다"라고 말하는 것만으로는 부족합니다. 레시피를 확인하고, 조립 과정을 보고, 의미를 파악하며, 배송을 확인해야 합니다. 그리고 그 이후에도 "시간 여행" 결함을 찾아내야 합니다.

저자는 이 4단계 프레임워크가 암 데이터를 사용하기 위해 인증할 수 있는 신뢰할 수 있고 반복 가능한 방법이라고 결론짓습니다. 이는 "불가능한" 이야기들이 과학자들을 속이기 전에 잡아내는 안전망 역할을 합니다. 비록 이 연구가 정확한 오류 백분율을 계산하지는 않았지만(전체 환자 수와 특정 커버리지 비율이 공유되지 않았기 때문), "유령 방문"과 "음수의 알약"의 엄청난 숫자는 이러한 심층적인 점검이 절대적으로 필요함을 보여줍니다. 이 점검이 없다면, 우리가 암과 싸우기 위해 의존하는 리얼 월드 증거는 시간 여행을 하는 환자와 마법의 약물 위에 세워진 기초 위에 놓이게 될 것입니다.