TRAUMA: A Machine Learning–Based Record Linkage Method for Health Databases

당신에게 아주 거대하고 엉망진창인 두 개의 건강 기록 도서관이 있다고 상상해 보세요. 한 도서관은 사망한 사람들의 이야기를 담고 있고, 다른 하나는 병원 방문 기록을, 세 번째는 의사들이 보고한 사고나 질병에 대한 기록을 보관하고 있습니다. 문제는 무엇일까요? 이름의 철자가 서로 다르고, 날짜는 누락되어 있으며, 어떤 항목들은 그냥 이해하기조차 어렵다는 점입니다. 만약 한 사람의 생애와 건강에 대한 전체 이야기를 알고 싶다면, 당신은 이 서로 다른 도서관에서 일치하는 페이지들을 찾아내어 하나로 붙여야 합니다. 이것을 "레코드 링크(record linkage)"라고 부릅니다.

오랫동안 사서들(이 경우에는 데이터 과학자들)은 이 매칭 작업을 수행하기 위해 엄격한 규칙 책을 사용했습니다. 그들은 이름과 생년월일을 확인하고, 그것들이 충분히 비슷하게 일치하면 "네, 이들은 동일 인물입니다!"라고 말했습니다. 만약 매칭이 모호하다면, 그들은 작업을 멈추고 사람에게 직접 검토해 달라고 요청해야 했습니다. 이는 느리고 비용이 많이 들며, 때로는 사람이 피곤함을 느껴 매칭을 놓치는 경우도 발생했습니다.

여기, 브라질에서 시작된 새로운 프로젝트인 TRAUMA가 등장했습니다. 이 프로젝트는 컴퓨터에게 **머신러닝(Machine Learning)**을 사용하여 궁극의 사서가 되는 법을 가르치기로 결정했습니다. 단순히 경직된 규칙 책을 따르는 대신, 컴퓨터는 수백만 개의 "매칭된" 기록과 "매칭되지 않은" 기록의 사례를 학습하며 인간이 놓칠 수 있는 미세한 패턴을 배우도록 훈련되었습니다.

위대한 맞대결: TRAUMA vs. 구세대 방식

연구진들은 이 새로운 AI 사서를 브라질에서 이미 널리 사용되며 신뢰받고 있는 매우 유명한 도구인 CIDACS-RL과 대결시켰습니다. CIDACS-RL을 수년간 이 일을 해오며 규칙을 완벽하게 숙지하고 있는 베테랑 사서라고 생각하십시오. TRAUMA는 도서관의 모든 책을 읽고 경험을 통해 배운, 아주 똑똑한 신입 사서입니다.

그들은 이 새로운 AI 사서를 테스트하기 위해 2018년 7월부터 2025년 6월까지의 기록을 포함하는 에스피리투 산투(Espírito Santo) 주의 방대한 데이터셋을 활용했습니다. 그들은 확인해야 할 400만 개 이상의 잠재적 기록 쌍으로부터 시작했습니다.

결과:
LightGBM이라는 알고리즘을 기반으로 하는 이 새로운 AI 사서는 놀라운 성과를 보여주었습니다. 훈련 테스트에서 이 AI는 0.99996이라는 점수(ROC-AUC)를 기록했습니다. 이를 설명하자면, 완벽한 점수가 1.0일 때 이 AI는 거의 결점이 없는 수준이었습니다. 이 AI는 실제 매칭된 사례를 99.731% 정확하게 식별해 냈으며(민감도), 매칭되지 않는다고 판단한 사람들이 실제로 매칭되지 않는다는 점에 대해 **99.895%**의 확신(특이도)을 가졌습니다.

한 번도 본 적 없는 완전히 새로운 데이터셋으로 테스트했을 때도, 이 AI는 평정심을 유지하며 0.99988의 ROC-AUC 점수를 기록했고, **99.252%**의 F1-score(정확도와 완전성의 균형)를 유지했습니다.

"잃어버린 연결 고리"의 미스터리

여기서 흥가로운 지점이 나타납니다. 연구진은 단순히 점수만을 본 것이 아니라, 각 도구가 실제로 무엇을 찾아냈는지 살펴보았습니다.

기존의 베테랑 도구인 CIDACS-RL은 매우 신중하게 행동합니다. 실수를 거의 하지 않지만(높은 정밀도), 때로는 너무 안전한 길만 택합니다. 이 도구는 특정 "블로킹(blocking)" 전략(예를 들어, 저자의 이름 첫 글자로 책을 분류한 뒤 검사하는 방식)을 사용하기 때문에, 실제로는 매칭될 수 있는 쌍들을 아예 검사조차 하지 못하고 놓치는 경우가 있습니다. 이는 마치 'A' 섹션에 있는 책들만 확인하고, 실제로는 같은 책임에도 실수로 'B' 섹션에 꽂혀 있는 책을 지나쳐 버리는 사서와 같습니다.

연구 결과, CIDACS-RL은 "골드 스탠다드(완벽한 참조 목록)"에 존재하는 상당수의 실제 매칭을 놓친 것으로 나타났습니다. 구체적으로, 골드 스탠다드가 매칭이라고 지목한 쌍들 중 상당수가 비교 단계에 진입조차 하지 못했기 때문에 CIDACS-RL이 찾아내지 못했습니다.

반면, TRAUMA 모델은 이러한 "잃어버린" 매칭을 찾는 데 더 뛰어났습니다. 이 모델은 높은 정밀도를 유지하면서도 더 많은 실제 연결 고리를 회복해 냈습니다. 단순히 추측한 것이 아니라, 이름이 약간 이상하게 표기되거나 생년월일이 하루 정도 차이가 나더라도, 어머니의 성함이나 특정 유사도 점수 같은 다른 단서들의 조합이 여전히 동일 인물을 가리키고 있다는 것을 학습한 것입니다.

AI의 사고 방식

AI가 왜 그렇게 뛰어났는지 이해하기 위해, 연구진은 컴퓨터의 뇌 내부를 들여다보는 특수 도구인 SHAP을 사용했습니다. 그들은 AI가 다음 두 가지 요소에 크게 의존한다는 것을 발견했습니다:

1. 생년월일: 날짜가 얼마나 근접한지.
2. 이름 유사도: Jaro–Winkler 및 Levenshtein이라는 수학적 기법(한 이름을 다른 이름으로 바꾸기 위해 몇 개의 글자를 변경해야 하는지를 측정하는 방식)을 사용하여 이름이 얼마나 닮았는지.

흥미롭게도, AI는 희귀한 이름일수록 매칭하기가 더 쉽다는 것을 배웠습니다. 만약 당신의 이름이 "Xylophone"처럼 독특하다면, "이건 확실히 당신이군요!"라고 말하기 쉽습니다. 하지만 이름이 "John Smith"라면, AI는 확신을 갖기 위해 더 많은 단서와 더 열심히 노력해야 합니다.

결론

본 논문은 기존 방식(CIDACS-RL)이 여전히 매우 강력하고 신뢰할 수 있지만, 새로운 TRAUMA 방식이 놓칠 수 있는 진짜 매칭들을 찾아내는 데 더 효과적이라고 시사합니다. 이는 지도 학습 기반의 머신러닝을 사용하는 것이 건강 데이터베이스의 연결 품질을 높이고, 수천 개의 모호한 기록을 사람이 수동으로 검토해야 하는 필요성을 줄일 수 있음을 보여줍니다.

하지만 저자들은 이것이 **방법론적 타당성 검증 연구(methodological validation study)**라는 점을 유념해야 한다고 주의를 기울였습니다. 그들은 이 방법이 테스트한 데이터(에스피리투 산투의 데이터)에서 매우 잘 작동함을 보여주었지만, 이것이 전 세계의 모든 데이터베이스에 적용되는 마법의 해결책이라고 주장하는 것은 아닙니다. 그들은 향후 연구를 통해, 데이터 오류나 정보 누락의 유형이 다른 다른 지역에서도 이 방법이 동일하게 잘 작동하는지 확인해야 한다고 제안했습니다.

요약하자면, AI 사서는 단순히 규칙을 따르는 것에 그치지 않고 규칙의 '정신'을 배웠습니다. 덕분에 베테랑 도구보다 더 많은 실제 연결 고리를 찾아내면서도 오류율을 믿기 힘들 정도로 낮게 유지할 수 있었습니다. 이는 퍼즐의 조각을 잃어버리지 않으면서 우리의 건강 기록 속 점들을 연결하는 데 있어 유망한 진전입니다.