Deciphering the Language of Nature: A transformer-based language model for deleterious mutations in proteins

기술 요약: MutFormer – 유해한 미스센스 돌연변이를 위한 트랜스포머 기반 모델

문제 정의
비동의 단일 염기 변이(nsSNV)를 해석하는 것은 유전체학에서 여전히 중요한 과제이다. 전엑솜 및 전게놈 시퀀싱은 수백만 개의 변이를 생성하지만, 질병을 유발하는 미스센스 돌연변이와 양성 배경 변이를 구별하는 것은 어렵다. 진화적 보존성이나 여러 알고리즘을 결합한 앙상블 방법을 사용하는 기존의 계산 도구들은 65~80%의 정확도만을 달着하며 빈번하게 상충되는 예측을 내놓는다. 또한, 현재의 많은 딥러닝 접근 방식은 합성곱 신경망(CNN)에 의존하는데, 이는 단거리 의존성 모델링에는 뛰어나지만 단백질 기능에 필수적인 장거리 문맥을 모델링하는 데는 어려움을 겪는다. 저자들은 트랜스포머 모델이 자연어 처리(NLP)에서의 성공과 유사하게, 셀프 어텐션(self-attention) 메커니즘을 활용하여 서열 내 문맥 의존적 관계를 포착함으로써 단백질 서열을 모델링하는 데 더 효과적인 접근 방식을 제공할 것이라고 가설을 세웠다.

방법론
저자들은 단백질 서열 분석을 위해 BERT(Bidirectional Encoder Representations from Transformers)를 변형하여 특화시킨 트랜스포머 기반 아키텍처인 MutFormer를 소개한다.

• 아키텍처: MutFormer는 세 가지 주요 구성 요소를 통합한다:

  1. 임베딩(Embeddings): 위치, 라벨(참조 잔기 대 돌연변이 잔기 구분), 그리고 토큰(아미노산) 임베딩을 포함한다.
  2. 합성곱 계층(Convolutional Layers): 고정된 어휘(WordPiece)를 사용하는 표준 BERT와 달리, MutFormer는 임베딩과 트랜스포머 본체 사이에 합성곱 계층을 사용하여 학습 과정에서 아미노산 패턴의 동적 "어휘"를 학습하며, 이를 통해 고정된 사전 없이 단거리 의존성과 비선형 패턴을 포착할 수 있다. 저자들은 두 가지 구현 방식을 테스트했다: 합성곱이 트랜스포머 앞에 오는 클래식한 방식과, 스킵 연결(skip connections)을 사용하여 원시 임베딩과 합성곱 출력을 모두 트랜스포머에 전달하는 **통합 방식(integrated approach)**이다.
  3. 트랜스포머 본체(Transformer Body): 잔기 간의 장거리 의존성을 모델링하기 위해 양방향 셀프 어텐션 계층을 활용한다.

• 사전 학습 전략:

  • 데이터: 128,670개의 인간 참조 단백질 서열과 gnomAD에서 추출한 인구 빈도가 1% 이상인 비동의 SNV를 포함하는 서열로 사전 학습되어, 모델이 양성 변이의 "구문(syntax)"을 학습하도록 한다.
  • 목표: 모델이 손상된 아미노산 잔기를 예측하는 마스크 언어 모델링(masked language modeling) 과업을 수행한다. 표준 BERT에서 사용되는 "다음 문장 예측(Next Sentence Prediction)" 목표는 단백질 서열이 논리적인 "문단"을 형성하지 않기 때문에 제거되었다.
  • 어휘 처리: 서열에 특수 토큰 "B"(시작)와 "J"(종료)를 추가하였다. 1024개 잔기보다 긴 서열은 분할되었으며, 과적합을 방 prevent하기 위해 동적 마스킹(dynamic masking)이 적용되었다.

• 유해성 예측을 위한 미세 조정(Fine-tuning):

  • 데이터: HGMD(병원성 변이)와 gnomAD(사전 학습 데이터에서 제외된 양성 변이)를 결합한 데이터셋을 사용하여 미세 조정하였다.
  • 방법: 세 가지 미세 조정 전략을 평가하였다:
    1. 잔기별 분류(Per-residue classification): 각 아미노산을 양성/유해로 분류한다.
    2. 단일 서열 분류(Single sequence classification): 전체 돌연변이 서열을 분류한다.
    3. 쌍 서열 분류(Paired sequence classification): 참조 서열과 돌연변이 서열을 함께 입력하여 비교한다(문장 유사도 작업에서 영감을 받음).
  • 외부 통합: 최종 모델은 외부 예측 점수(dbNSFP로부터)를 추가적인 입력 스트림으로 포함하여, 서열 기반 출력과 결합함으로써 서열 분석과 기성 지표 간의 균형을 맞춘다.

주요 기여

1. 새로운 아키텍처: MutFormer는 고정된 어휘에 의 Relying 하는 대신 합성곱 계층을 통해 동적 어휘를 학습하도록 BERT를 단백질 서열에 맞게 수정한, 유해성 예측을 위해 트랜스포머 아키텍처를 적용한 최초의 도구 중 하나이다.
2. 하이브리드 의존성 모델링: 셀프 어텐션(장거리)과 합성곱(단거리)을 결합함으로써, 기존의 CNN 전용 또는 RNN 기반 접근 방식의 한계를 해결한다.
3. 포괄적인 평가: MutFormer를 다양한 비-유전자 특이적 및 유전자 특이적 데이터셋에 대해 광범위한 기존 도구들(예: SIFT, PolyPhen-2, CADD, REVEL)과 엄격하게 비교하였다.
4. 리소스 가용성: 저자들은 인간 게놈의 모든 미스센스 돌연변이에 대한 유해성 점수를 사전 계산하여, ANNOVAR와 같은 표준 주석 파이프라인에 통합될 수 있도록 제공한다.

결과

• 사전 학습 성능: 합성곱을 포함한 MutFormer 모델은 MutBERT(합성곱이 없는 BERT)보다 사전 학습 과업에서 유의미하게 우수한 성능을 보였으며, 더 적은 파라미터를 가지고도 MutBERT8L보다 54.5% 높은 정확도를 달성했다.
• 미세 조정 성능: 쌍 서열 분류 방법이 가장 좋은 결과를 냈다. 통합 합성곱(integrated convolution) 모델(스킵 연결 사용)은 클래식한 MutFormer 아키텍처보다 뛰어난 성능을 보였으며, 단 8개의 트랜스포머 계층만으로 더 큰 모델(MutFormer12L)을 능가했다.
• 벤치마킹: 비-유전자 특이적 데이터셋(학습 데이터와 유사함)에서 MutFormer는 기존 방법들을 압도했다. 유전자 특이적 데이터셋(학습 데이터와 유사성이 낮음)에서는 성능이 하락했으나, 최첨단 도구들과 경쟁할 만한 수준을 유지했다.
• 상보성: MutFormer는 진화 기반 모델인 EVE와 낮은 순위 상관관계(Spearman ~0.32–0.33)를 보였는데, 이는 MutFormer가 단순히 진화적 보존성에만 의존하지 않는 독특한 정보를 포착하고 있음을 나타낸다.
• ProteinGym 평가: MutFormer는 ProteinGym 데이터베이스의 심층 돌연변이 스캐닝(DMS) 데이터에 대해 평가되었으며, 표준 임상 변이를 넘어 단백질 서열을 해석하는 능력을 입증했다.

의의 및 주장
저자들은 MutFormer가 표준 도구들이 탐구하지 못한 서열 특징을 성공적으로 모델링하며, 기존의 계산적 예측 및 경험적 기능 점수와 상보적인 접근 방식을 제공한다고 주장한다. 저자들은 단백질 서열을 하나의 "언어"로 취급하고 자기 적응형 머신러닝을 활용함으로써 MutFormer가 변이 이해를 개선한다고 본다. 이 논문은 MutFormer가 독립적인 솔루션이 아니라, 기존 방법들과 결합하여 합의에 도달함으로써 임상 변이 우선순위 지정에 도움을 줄 수 있는 도구임을 겸허히 제안한다. 저자들은 실험적 검증의 확대 필요성, 더 큰 모델을 통한 추가 최적화 가능성, 그리고 향-세대 모델을 위한 3D 구조 및 임상 표현형과 같은 추가적인 특징 통합의 필요성 등 한계점을 인정한다.