Concordance of Automated ACMG Variant Classification withExpert-Curated Assertions: A Systematic Evaluation Using theClinGen Evidence Repository

당신의 DNA를 인간을 만드는 데 필요한 거대하고 오래된 지침서라고 상상해 보세요. 이 지침서는 네 개의 글자(A, C, G, T)로 쓰여 있으며 수십억 개의 문자로 이루어져 있습니다. 대부분의 시간 동안 이 매뉴얼은 완벽하게 작동합니다. 하지만 가끔 단 하나의 글자가 바뀌거나, 삭제되거나, 추가되기도 합니다. 즉, 코드에 "오타"가 발생하는 것입니다. 임상 유전학의 세계에서 이러한 오타를 **변이(variants)**라고 부릅니다. 어떤 변이는 각주에 있는 오타처럼 이야기의 흐름을 바꾸지 않는 무해한 것이지만, 어떤 변이는 "정지(stop)"를 "진행(go)"으로 바꾸어 신체의 기계 장치가 통제 불능 상태로 달리게 만들어 질병을 일으키는 위험한 것과 같습니다.

의사와 과학자들의 큰 과제는 이러한 오타를 찾아내는 것이 아니라, 어떤 것이 위험하고 어떤 것이 그저 무해한 소음인지 파악하는 것입니다. 이를 위해 그들은 의료 전문가들이 만든 엄격한 규칙집을 사용합니다. 이 규칙집은 거대한 점수 산정 시스템처럼 작동합니다. 만약 오타가 특정 유전자를 완전히 망가뜨리는 것과 같은 "나쁜" 특징을 가지고 있다면, 그것은 "병원성(Pathogenic, 위험함)" 점수를 받습니다. 반대로 건강한 사람들에게서 흔히 발견되는 것과 같은 "좋은" 특징을 가지고 있다면, 그것은 "양성(Benign, 안전함)" 점수를 받습니다. 목표는 이 수백만 개의 오타를 병원성, 아마도 병원성, 불확실, 아마도 양성, 양성의 다섯 가지 범주로 분류하는 것입니다. 이를 정확하게 수행하는 것은 생사와 직결된 문제이지만, 이를 수작업으로 하는 것은 느리고 비용이 많이 들며 인간 간의 의견 불일치가 발생하기 쉽습니다. 그래서 과학자들은 이 분류를 자동으로 수행하는 컴퓨터 프로그램을 구축해 왔습니다. 그렇다면 이 로봇들은 정말 얼마나 뛰어날까요?

---

로봇 판사 대 인간 패널

이 논문은 VarTriage라고 불리는 새로운 컴퓨터 프로그램을 궁극의 테스트에 투입합니다. 저자들은 이 자동화된 로봇이 "골드 스탠다드(Gold Standard, 표준 모델)"인 인간 전문가 팀과 일치하는 결정을 내릴 수 있는지 확인하고자 했습니다. 이 전문가 팀은 **ClinGen 증거 저장소(ClinGen Evidence Repository)**를 큐레이팅하며 수년간 경력을 쌓아온 이들입니다. ClinGen 저장소를 특정 유전자 오타가 위험한지 안전한지를 높은 확신을 가지고 이미 결정해 놓은 유전적 오타의 "명예의 전당"이라고 생각하면 됩니다.

연구진은 이 전문가들이 승인한 15,334개의 변이를 VarTriage에 입력했습니다. 그런 다음 로봇의 답변을 인간 전문가의 답변과 비교하여 얼마나 자주 일치하는지 확인했습니다.

주요 결과:

• 로봇은 "나쁜" 오타를 찾아내는 데 탁월한 탐정입니다: 위험한 변이를 포착하는 데 있어 VarTriage는 상당히 인상적이었습니다. 이 로봇은 진정으로 병원성인 변이의 **68.9%**를 정확하게 식별했습니다. 더 중요한 것은, 로봇이 특정 변이를 위험하다고 말했을 때, 그 판단이 맞을 확률이 **80.5%**였다는 점입니다.
• "이진법적" 초능력: 만약 중간 단계인 "불확실" 구간을 무시하고, 단순히 "이것이 나쁜가 아니면 좋은가?"라고 묻는다면, 로봇과 인간은 거의 완벽하게 일치했습니다. 그들의 일치도(코헨의 카파 계수)는 0.98로, 이는 사실상 완벽한 악수와 같습니다. 즉, 로봇은 "나쁜 것"과 "좋은 것"의 더미를 분리해 내는 데 매우 뛰어나지만, 그것이 정확히 얼마나 나쁜지 혹은 좋은지에 대해서는 가끔 확신하지 못할 수 있다는 것을 의미합니다.
• "불확실" 더미의 문제: 로봇의 주요 약점은 너무 많은 변이를 "불확실(VUS)" 더미에 던져버리는 경향이 있다는 것이었습니다. 인간은 "이것은 확실히 안전하다"라고 말할 수 있을 만큼의 추가적인 단서를 가지고 있을 수 있지만, 그러한 구체적인 단서가 부족한 로봇은 조심스럽게 행동하며 "모르겠다"라고 말합니다. 이로 인해 "안전한" 변이를 찾아내는 성공률이 훨씬 낮아졌습니다(인간 전문가의 **80.2%**에 비해 단 16.9%).

무엇이 로봇의 두뇌를 움직이는가?

연구는 로봇이 왜 그런 선택을 내렸는지 알아보기 위해 깊이 파고들었습니다. 연구진은 로봇의 정확도를 높이는 데 가장 큰 동력이 된 두 가지 핵심 엔진을 발견했습니다.

1. "2점" 규칙: 연구진은 로봇의 정확도를 높인 가장 큰 요인이 "베이지안 완화 결합 규칙(Bayesian relaxed combining rule)"이라는 특정 수학적 기법임을 발견했습니다. 예를 들어, 각각이 "중간 정도로 의심스러운" 두 가지 증거가 있다고 가정해 봅시다. 기존의 규칙은 유죄를 확정하기 위해 "매우 강력한" 증거가 필요하다고 말했습니다. 하지만 새로운 규칙은 "두 개의 중간 정도 되는 증거만 있어도 충분히 확신할 수 있다"라고 말합니다. 이 규칙을 사용하는 것만으로도 나쁜 변이를 찾아내는 로heten의 능력이 36.9 퍼센트 포인트 상승했습니다.
2. REVEL 점수: 로봇이 사용한 가장 강력한 단일 단서는 REVEL이라고 불리는 예측 점수였습니다. 이는 단백질의 형태와 화학적 성질을 살펴서 변화가 나쁜지 예측하는 정교한 계산기입니다. 연구진이 REVEL 점수를 껐을 때, 나쁜 변이를 찾는 로봇의 능력은 36.9 퍼센트 포인트 급락했습니다. 결과적으로 REVEL은 로봇의 가장 중요한 초능력이었습니다.

로봇이 놓친 것들

논문은 로봇이 할 수 없었던 것들을 명시적으로 지적합니다. 로봇이 "안전한" 변이를 식별하는 데 어려움을 겪은 이유는 인간이 가진 특정 유형의 증거에 접근할 수 없기 때문입니다.

• 실험실 테스트: 인간은 유전자가 제대로 작동하고 있음을 증명하는 실제 실험 결과(기능 분석)를 볼 수 있습니다. 로봇은 이를 볼 수 없습니다.
• 가계도: 인간은 변이가 질병을 유발하는지 보기 위해 가계도를 통해 변이가 가족 내에서 어떻게 나타나는지 확인할 수 있습니다. 로봇은 이를 할 수 없습니다.
• 신뢰할 수 있는 출처: 인간은 "우리는 이 변이가 안전하다는 것을 알고 있다"라고 명시된 신뢰할 수 있는 의료 데이터베이스를 읽을 수 있습니다. 로봇은 순환 논리(로봇이 단순히 데이터베이스에 있는 내용을 반복하는 것)를 피하기 위해 이 정보를 무시하도록 프로그래밍되었습니다.

이러한 "비계산적" 단서들을 사용할 수 없었기 때문에, 로봇은 무언가를 "양성"이라고 부르는 데 훨씬 덜 확신을 가졌습니다.

결론

논문은 우리가 아직 인간 전문가 패널을 로봇으로 대체할 수는 없지만, 매우 유용한 조수를 만들 수는 있다고 결론짓습니다. 28개의 가능한 규칙 중 단 10개의 규칙만을 사용하는 VarTriage는 매우 신뢰할 수 있는 필터 역할을 할 수 있습니다. 이 로봇은 명백히 위험하거나 명백히 안전한 변수를 "모호한" 더미에서 빠르게 걸러내어, 인간 전문가들이 오직 까다로운 사례에만 집중할 수 있도록 도와줄 수 있습니다.

저자들은 다음 단계의 도약이 로봇을 수학적으로 더 똑똑하게 만드는 것이 아니라, 현재 로봇을 어둡게 만들고 있는 더 많은 유형의 데이터, 즉 실험실 테스트 결과와 가족력 단서에 접근할 수 있게 해주는 데서 올 것이라고 제안합니다. 그때까지 로봇은 "나쁜 것 대 좋은 것"의 결정에는 환상적인 파트너가 될 수 있지만, "안전한 것"에 대해 확신을 갖기 위해서는 여전히 인간의 도움이 필요합니다.