Clinical validation of large-scale functional assays: insights from 2,120 gene-truthset-assay evaluations

당신이 새로운 유전 변이가 인체 내에서 '악당'(병원성)인지 아니면 '영웅'(양성)인지를 결정하려는 판사라고 상상해 보십시오. 이 결정을 내리기 위해 당신은 특별한 도구인 **기능적 분석(functional assay)**을 사용합니다. 이 분석법은 단백질이 압박 속에서 얼마나 잘 작동하는지를 측정하는 일종의 고도의 스트레스 테스트라고 생각하면 됩니다. 만약 단백질이 테스트를 통과하지 못한다면, 그것은 악당일 가능성이 높고, 통과한다면 영웅일 가능성이 높습니다.

하지만 여기 함정이 있습니다. 이 스트레스 테스트가 새로운 용의자들을 심판하기 전에, 먼저 이미 알려진 용의자들을 대상으로 이 테스트가 제대로 작동하는지 증명해야 합니다. 이를 위해 당신은 '트루스셋(Truthset, 진실 집합)'이 필요합니다. 이는 모두가 확실히 악당이거나 확실히 영웅이라고 이미 동의한 변이들의 그룹입니다. 당신은 이 트루스셋에 스트레스 테스트를 실시하여 기계가 이들을 올바르게 식별하는지 확인합니다. 만약 그렇다면, 당신은 미래의 미확인 변이들을 자신 있게 분류하는 데 사용할 수 있는 '증거 점수(Evidence Points, EPs)'를 얻게 됩니다.

이 논문은 저자들이 이 트루스셋을 구축하는 2,120가지의 서로 다른 방법을 시도하며, 그 결과로 '증거 점수'가 얼마나 변하는지를 살펴본 거대하고 혼란스러운 실험과도 같습니다. 그들은 네 가지 유명한 암 유전자인 VHL, BRCA1, BRCA2, RAD51C를 조사했습니다.

거대한 트루스셋 셔플 (The Great Truthset Shuffle)

저자들은 트루스셋을 만드는 규칙들이 현재 엉망진창이라는 사실을 발견했습니다. 서로 다른 전문가 그룹들은 무엇을 '알려진' 악당이나 영웅으로 간주할지에 대해 서로 다른 생각을 가지고 있습니다. 어떤 이들은 "가장 유명하고 이중으로 확인된 악당들만 사용하라!"(높은 엄격성)고 말합니다. 다른 이들은 "단 한 명의 목격자라도 있는 악당이라면 충분하다!"(낮은 엄격성)고 말합니다.

이 혼란이 결과에 어떤 영향을 미치는지 알아보기 위해, 저자들은 "만약 ~라면?"이라는 게임을 수행했습니다. 그들은 다음과 같은 방식으로 트루스셋을 구축했습니다:

• 서로 다른 변이 유형: 단순히 '오타가 난' 글자들(미스센스 변이)만 사용할 것인지, 아니면 '고장 난' 유전자(절단 변이, truncating variants)만 사용할 것인지, 혹은 이들을 섞어서 사용할 것인지 결정했습니다.
• 서로 다른 신뢰 수준: 가장 유명한 분류(3성급)만을 사용할 것인지, 아니면 모호한 것들(1성급 또는 전문가들 사이에 의견이 갈리는 '소프트 컨플릭트')까지 포함할 것인지 결정했습니다.
• 서로 다른 표현형: VHL 유전자의 경우, "악당이 Type 1 암을 일으키는가, Type 2 암을 일으키는가, 아니면 그냥 아무 암이나 일으키는가?"를 물었습니다.
• "프록시(Proxy)" 기법: 공공 데이터베이스(ClinVar)에는 알려진 '양성' 미스센스 변이가 충분하지 않기 때문에, 저자들은 방대한 양의 "프록시-클리니컬(Proxy-Clinical)" 양성 변이 리스트를 만들었습니다. 이들은 엄격한 컴퓨터 규칙을 사용하여 체계적으로 양성으로 분류된 변이들로, 마치 빈 자리가 많은 테이블에 정성껏 검증된 손님들을 채워 넣는 것과 같습니다.

충격적인 결과

결과는 매우 격렬했습니다. 어떤 트루스셋을 선택하느냐에 따라, 단일 분석법에 부여할 수 있는 증거 점수가 크게 요동쳤습니다.

• 범위: 병원성(악당성)의 경우 점수는 0.0(증거 없음)에서 5.6(강한 증거)까지였으며, 양성(영웅성)의 경우 -1.5에서 -6.4까지였습니다.
• "모든 변이(All-Variants)"의 함정: 우리가 실제로 분류하고자 하는 미스센스 변이들로만 구성된 트루스셋을 사용했을 때, 증거 점수는 고장 난 유전자(PTV)와 무해한 동의 변이(synonymous variants)를 섞었을 때보다 보통 더 낮았습니다.
  • 왜일까요? 그것은 기계가 미스센스 악당을 찾아내는 능력이 부족해서가 아니었습니다. 단순히 데이터베이스에 미스센스 악당과 영웅이 너무 적었기 때문입니다. 이는 마치 500개의 코인 대신 단 5개의 코인만 가지고 금속 탐지기를 테스트하는 것과 같습니다. 샘플 크기가 너무 작기 때문에 신뢰 점수가 떨어지는 것입니다.
• "프록시(Proxy)"의 파워업: 체계적으로 생성된 "프록시-클리니컬" 양성 변이들을 트루스셋에 추가했을 때, 병원성에 대한 증거 점수는 개선되었습니다. 기계가 몇 가지 실수를 더 하더라도(낮은 일치도), 엄청난 테스트 케이스의 수(통계적 검정력)가 그 오류를 상쇄할 만큼 강력했기 때문입니다. 이는 마치 거대한 군대를 투입하는 것과 같습니다. 비록 몇 명의 레이블이 잘못 지정되더라도, 방대한 데이터의 양이 전체적인 신호를 더 강하게 만들어 줍니다.

이 논문이 "아니오"라고 말하는 것들

저자들은 항상 작고 초순수한(ultra-pure) 트루스셋을 사용하는 것이 더 좋다는 생각에 대해 명시적으로 반대합니다.

• 그들은 너무 엄격하게 굴면(완벽하게 합의된 3성급 변이들만 사용하면) 트루스셋이 너무 작아져서 증거 점수를 잃게 된다는 것을 보여주었습니다.
• 또한, 미스센스 변이를 구체적으로 판단하려는 목적이라면, 서로 다른 유형의 변이(예: PTV와 미스센스)를 섞은 트루스셋을 사용하는 것에 대해서도 경고합니다. 만약 기계가 고장 난 유전자(PTV)는 잘 찾아내지만 미스센스 변이는 잘 못 찾는다면, 이들을 섞어 놓는 것은 기계의 약점을 가릴 수 있습니다. "모든 변이(All-Variants)" 트루스셋은 당신이 알고자 하는 특정 성능을 희석할 수 있습니다.
• 또한 순환 논리의 함정을 지적합니다. 만약 당신이 테스트 중인 분석법의 결과가 이미 포함된 데이터를 사용하여 트루스셋을 만든다면, 그것은 속임수입니다. 논문은 최신 데이터(분석법의 영향을 받았을 수 있는 데이터)를 사용하는 것보다, 분석법이 발표되기 전의 오래된 ClinVar 데이터를 사용하는 것이 더 정직한 그림을 보여준다고 언급합니다.

핵심 요약 (The Bottom Line)

이 논문은 문제를 해결했다고 주장하는 것이 아닙니다. 대신, 명확한 규칙의 부재가 큰 장애물임을 시사합니다. 저자들은 다음과 같은 방법으로 더 많은 증거 점수(더 높은 신뢰도)를 얻을 수 있다고 제안합니다:

1. 체계적으로 생성된 "프록시" 양성 변이들로 트루스셋을 **보강(Augmenting)**한다.
2. 샘플 크기를 키우기 위해, 정확도를 크게 해치지 않는 선에서 트루스셋의 엄격성을 **완화(Relaxing)**한다.

결론적으로, 우리는 혼란을 멈추기 위한 명시적이고 규정적인 가이드라인이 시급히 필요합니다. 그렇지 않다면, 유전 검사로부터 얻는 "증거 점수"는 당신이 2,120가지 가능성 중 어떤 트루스셋을 골랐느냐에 따라 달라질 뿐입니다. 이는 과학에서 우리가 얻는 답은 종종 우리가 던지는 질문, 그리고 테스트 그룹을 구축하기 위해 사용하는 규칙에 달려 있다는 사실을 상기시켜 줍니다.