기술 요약: 유전체학 응용을 위한 불확실성 인지 딥러닝

문제 정의

딥러닝은 기능적 요소 식별 및 변이 효과 예측과 같은 유전체학 응용 분야의 표준이 되었습니다. 그러나 이러한 영역에서 **불확실성 정량화(Uncertainty Quantification, UQ)**의 신뢰성은 아직 충분히 탐구되지 않았습니다. 유전체 데이터는 실험적 노이즈, 잘못된 레이블, 분포 외(out-of-distribution, OOD) 샘플, 심각한 클래스 불균형 등 UQ에 대한 독특한 과제를 제시합니다. 또한, 신뢰할 수 있는 정답(ground truth)을 확보하기 어려운 경우가 많아, 예측 정확도와 독립적으로 불확실성 점수를 평가하는 것이 어렵습니다. 기존의 컴퓨터 비전 벤치마크는 유전체학에 잘 전이되지 않으며, 현재의 방법들은 생물학적 맥락에서 희소한 레이블 데이터에 의존하는 경향이 있습니다. 유전체 특유의 데이터 조건 전반에 걸친 UQ 방법론의 체계적인 비교가 부족한 실정입니다.

방법론

저자들은 세 가지 일반적인 UK 방법론인 딥 앙상블(Deep Ensembles, ENS), 베이지안 신경망(Bayesian Neural Networks, BNN), 그리고 **몬테카를로 드롭아웃(Monte Carlo Dropout, MC-dropout)**을 평가하기 위한 경험적 프레임워크를 제시합니다. 본 연구는 두 가지 구별되는 유전체 모달리티에 집중합니다:

1. 서열-활성 모델(Sequence-to-Activity Models): 서열 데이터로부터 단백질 결합(DNA 상의 전사 인자 및 RNA 상의 RNA 결합 단백질)을 예측합니다.
2. 단일 세포 발현 분석(Single-Cell Expression Analysis): 단일 세포 유전자 발현 데이터로부터 세포 유형을 예측합니다.

실험 설계

특정 불확실성의 원인을 제어하기 위해 저자들은 시뮬레이션 및 실제 데이터셋을 모두 활용했습니다:

• 시뮬레이션 TF 데이터: SimDNA를 사용하여 150-뉴클레오타이드 서열로 생성되었습니다. 시나리오에는 깨끗한 균형 데이터, 미싱된 서열 모티프가 포함된 데이터, 그리고 30%의 레이블 노이즈(JUN과 MEF2A 사이의 레이블 교체)가 포함된 데이터가 포함되었습니다.
• 실제 RBP 데이터: 세 가지 RBP(MBNL1, PUM2, QKI)에 대한 PAR-CLIP 실험(HEK293 세포주)에서 유도되었습니다. 설정에는 균형 및 불균형 데이터, 그리고 단일 레이블 대 다중 레이블 분류가 포함되었습니다. OOD 테스트는 재학습 없이 인간 데이터로 학습된 모델을 코로나바이러스 게놈에 적용하여 수행되었습니다.
• 단일 세포 데이터: 네 가지 세포 유형을 포함하는 GSE194122 데이터셋의 일부입니다. 저자들은 클래스 고갈에 대한 민감도를 테스트하기 위해 균형 및 불균형 버전을 생성했습니다.

평가 지표

본 연구는 예측 정확도에만 의존하는 것을 피하는데, 이는 종종 UQ 방법의 성능과 혼동될 수 있기 때문입니다. 대신 다음을 채택합니다:

• 일치도 분석(Agreement Analysis): 가장 불확실성이 높은 상위 100개 샘플의 중첩을 측정하고, 서로 다른 방법의 불확실성 점수 간의 켄달 타우(Kendall's tau) 순위 상관관계를 계산합니다.
• 분포 변화(Distributional Shifts): 킴모그로브-스미르노프(Kolmogorov–Smirnov, KS) 검정을 사용하여 특정 불확실성 원인(예: 불균형, 노이즈)이 도입되었을 때 불확실성 점수의 분포가 유의미하게 변화하는지 결정합니다.
• 방향성(Directionality): 결정적으로, 저자들은 단순히 불확실성 분포가 변화하는지 여부뿐만 아니라, 어느 방향으로 변화하는지(예: 모델이 과소 대표된 클래스에 대해 더 불확별해지는가?)를 평가합니다.

주요 기여 및 결과

1. 유전체 맥락에서의 베이지안 신경망(BNN)의 우수성

본 연구는 BNNs가 유전체학에서 흔히 발생하는 시나리오, 특히 클래스 불균형 및 분포 외(OOD) 데이터에서 불확실성을 포착하는 데 가장 신뢰할 수 있는 방법임을 발견했습니다.

• 클래스 불균형: 불균형 데이터셋에서 학습될 때, BNN은 일관되게 고갈된(소수) 클래스에 대해 불확실성 점수를 높였습니다. 반면, 딥 앙상블은 소수 클래스에 대해 오히려 더 확신하는(낮은 불확실성) 경향을 보였고, MC-dropout은 고갈된 클래스에 대해 때때로 더 확신하는 등 불안정한 모습을 보였습니다.
• 분포 외(OOD) 데이터: 인간 데이터로 학습된 모델을 코로나바이러스 게놈에 테스트했을 때, BNN은 바이러스 윈도우의 36%를 비정상적으로 불확실함(인간 점수의 상위 9% 초과)으로 분류했습니다. 딥 앙상블은 27%를 분류한 반면, MC-dropout은 단 7%만을 분류하여 이 맥락에서 OOD 탐지에 효과적이지 못함을 보여주었습니다.

2. MC-Dropout의 한계

MC-dropout은 유전체 환경에서 상당한 한계를 드러냈습니다:

• 퇴행적 점수(Degenerate Scores): 많은 테스트 샘플(일부 설정에서 최대 68%)에 대해 MC-dropout은 소프트맥스 포화(softmax saturation)로 인해 정확히 0인 불확실성 점수를 생성하여, 순위 정보를 제공하지 못했습니다.
• 낮은 일치도: MC-dropout은 특히 복잡하거나 불균형한 설정에서 BNN 또는 ENS와 비교했을 때 불확실한 샘플의 순위 지정에 있어 거의 또는 전혀 일치하지 않는 모습을 보였습니다.

3. 방법론 간의 일치도

BNN과 딥 앙상블은 MC-dropout보다 서로 더 높은 일치도를 보였습니다. 그러나 저자들은 각 방법이 서로 다른 사후 분포 근사(posterior approximations)에 의존하므로, 방법 간의 일치도가 반드시 정답(ground truth)의 대리 지표가 될 수는 없다고 언급했습니다.

4. 불확실성 점수의 실용적 유용성

27개의 RBP를 포함하는 실제 응용 사례에서, 낮은 불확실성 임계값(점수 < 0.1)을 기준으로 예측을 필터링했을 때 27개 클래스 중 20개 클래스의 평균 정밀도(Average Precision, AP)가 향상되었습니다. 본 연구는 불확실성 점수가 클래스 크기를 효과적으로 추적함을 입증했습니다. 즉, 훈련 세트가 작을수록 중앙값 불확실성 점수가 높아졌으며, 이를 통해 다운스트림 분석에서 고품질의 예측을 선택할 수 있었습니다.

의의 및 주장

본 논문은 유전체학을 특징짓는 특정 데이터셋 조건(불균형, 노이즈, OOD, 다중 레이블)에 걸쳐 UQ 방법들을 체계적으로 비교한 첫 번째 연구라고 주장합니다. 주요 의의는 방법 선택을 위한 가이드라인을 수립하는 데 있습니다:

• 불균형 또는 OOD 데이터의 경우: 높은 계산 비용과 학습 복잡성에도 불구하고, BNN을 권장합니다. BNN은 이러한 불확실성(과소 대표되거나 새로운 데이터에 대한 불확실성 증가)을 유용한 방향으로 일관되게 반영하는 유일한 방법이기 때문입니다.
• MC-Dropout의 경우: 클래스 불균형이나 OOD 탐지가 중요한 유전체 응용 분야에서, 제로 분산 예측을 생성하고 데이터 희소성을 추적하지 못하는 경향이 있으므로 사용을 주의할 것을 권고합니다.

본 연구는 BNN이 더 많은 튜닝과 계산 자원을 필요로 하지만, 레이블이 희소하고 노이즈가 많은 생물학적 환경에서 신뢰할 수 있는 불확실성 추정치를 제공함으로써 중요한 다운스트림 의사결정을 위한 우월한 선택이 된다는 점을 강조합니다. 저자들은 본 프레임워크가 정답 레이블 없이도 UQ를 평가할 수 있는 새로운 접근 방식을 제공하며, 이는 실제 생물학 연구에서 불확실성 인지 딥러닝의 도입에 필수적이라고 결론짓습니다.