Protein language models learn the underlying accessibility of mutations alongside protein fitness landscapes

기술 요약: 단백질 언어 모델은 단백질 적응도 지형과 더불어 근저에 있는 돌연변이 접근성을 학습한다

문제 제칭
ESM-2 및 ESM-C와 같은 단백질 언어 모델(PLM)은 아미노산 치환을 유사 확률(pseudo-probabilities)로 점수화함으로써 단백질 적응도 지형(fitness landscapes)을 매핑하는 데 점점 더 많이 사용되고 있다. 이러한 점수들은 자연 선택에 의해 부과된 구조적 및 기능적 제약의 대리 지표로 해석된다. 그러나 결정적인 혼란 요인이 존재한다: PLM은 자연적인 아미노산 서열을 바탕으로 학습되는데, 이 서열들은 단백질의 적응도와 뉴클레오타이드 돌연변이 과정의 근저에 깔린 편향(biases)의 산물이다.

진화적 궤적은 오직 적응도에 의해서만 결정되는 것이 아니라, 돌연변이의 접근성(accessibility)에 의해서도 강력하게 제약받는다. 특정 아미노산 치환은 다음과 같은 이유로 다른 치환보다 수십 배 더 발생하기 쉽다:

1. 방향성 돌연변이 편향 (예: 인플루엔자에서 나타나는 호스트 주도의 A->G 및 T->C 편향).
2. 코돈 구조: 하나의 뉴클레오타이드 변화를 요구하는 치환은 두 개 또는 세 개의 변화를 요구하는 것보다 훨씬 더 접근하기 쉽다.
3. 동의 코돈 사용(Synonymous codon usage): 뉴클레오타이드 수준에서의 직접적인 선택은 코돈 사용을 왜곡할 수 있다.

본 논문은 PLM이 이러한 돌연변이 제약을 암묵적으로 학습하며, 이를 단백질 적응도와 혼동하고 있다고 주장한다. 이러한 혼동은 진화 예측(어떤 변이가 출현할지 예측하는 것)과 합성 설계(순수한 적응도 효과를 분리하는 것) 모두에서 PLM의 유용성을 제한한다.

방법론
저자들은 인플루엔자 A H3N2 K 계통의 급격한 분화(J.2 조상 대비 9개의 HA 돌연변이로 정의됨)를 스트레스 테스트로 활용하였다. 저자들은 다음을 포함하는 비교 프레임워크를 채택하였다:

• 모델: 베이스 PLM (ESM-2 650M, ESM-C 600M) 및 미세 조정된 버전 (인플루엔자용 HA-80, SARS-CoV-2용 미세 조정된 ESM-C).
• 돌연변이 접근성 지표: Pauly 등(2017)의 H3N2 및 De Maio 등(2021)의 SARS-CoV-2로부터 도출된 경험적 뉴클레오타이드 돌연변이 확률. 이는 코돈 간의 돌연변이율을 기반으로 특정 아미노산 전이 확률을 계산하는 데 사용되었다.
• 정보 압축 분석: 경험적 64×64 코돈 돌연변이 행렬을 20×20 아미노산 행렬로 압축하여, 아미노산 서열만으로 이론적으로 회복 가능한 돌연변이 정보가 얼마나 되는지 정량화하는 파이프라인을 설계하였다.
• 파라미터 스윕 ($\alpha$): 적응도와 접근성을 분리하기 위해, 저자들은 점수 함수에 가중치 파라미터 $\alpha$를 도입하였다: $Score = PLM_{prob} \times Mutation_{prob}^\alpha$.
  • $\alpha = 0$: 원시(Raw) PLM 확률.
  • $\alpha = 1$: PLM 확률과 돌연변이 접근성을 명시적으로 결합.
  • $\alpha < 0$: 적응도를 고립시키기 위해 접근성이 높은 돌연변이의 가중치를 낮춤.
• 평가 과업:
  1. 이진 예측(Binary Prediction): 어떤 아미노산 치환이 순환 계통에서 관찰되는지 예측.
  2. 빈도 예측(Frequency Prediction): 관찰된 변이의 빈도(상위 5% 대립유전자 빈도) 예측.
  3. 심층 돌연변이 스캐닝(DMS): PLM 점수와 인플루엔자 및 SARS-CoV-2의 실험적 적응도 데이터(세포 진입, pH 안정성, 혈청 회피, 선호도 비율) 간의 상관관계 분석.
  4. 코돈 순열(Codon Permutation): PLM이 동일한 아미노산 변화를 시작 코돈의 돌연변이 거리(1nt vs 2nt vs 3nt)에 따라 구분하는지 테스트.

주요 결과

1. 돌연변이 편향의 암묵적 학습: 베이스 및 미세 조정된 PLM 모두 돌연변이 접근성을 암묵적으로 학습한다. 원시 확률은 돌연변이 공급량과 약한 상관관계를 보였으나, 로그 스케일 상관관계는 강했다 ($r \approx 0.63$ for HA-80). 특정 바이러스 서열에 대한 미세 조정은 이러한 편향을 증폭시켜, 모델이 명시적인 코돈 입력 없이도 특정 코돈 사용 패턴과 뉴클레오타이드 돌연변이 행렬을 학습할 수 있게 한다.
2. 진화 예측에 미치는 영향:
   • 출현 예측: 돌연변이 접근성을 명시적으로 포함하면($\alpha > 0$), 어떤 아미노산 치환이 관찰될지에 대한 이진 예측 성능이 크게 향상되었다 (HA-80의 경우 AUROC가 0.928에서 0.950으로 증가). 이는 돌연변이 공급이 어떤 변이가 출현할지를 결정하는 주요 동력임을 확인해 준다.
   • 빈도 예측: 반대로, 이미 순환 중인 변이의 빈도를 예측할 때는 돌연변이 접근성을 추가하면 성능이 저하된다. 이는 일단 변이가 돌연변이 장벽을 극복하고 나면, 선택(selection)이 역학을 지배하며 돌연변이 신호가 혼란 변수가 됨을 시사한다.
3. 적응도 예측(DMS)에 미치는 영향:
   • DMS 데이터의 경우, PLM 점수와 실험적 적응도 사이의 최적의 상관관계는 돌연변이 접근성을 낮게 설정했을 때($\alpha < 0$) 달성되었다.
   • 미세 조정된 모델은 접근성에 의해 점수가 역가중치(inversely weighted) 처리되었을 때 가장 강력한 개선을 보였으며, 이는 미세 조정된 모델에 내재된 돌연변이 편향 학습이 근저의 단백질 적응도 신호를 능동적으로 가리고 있음을 나타낸다.
4. 코돈 거리 민감도: PLM은 요구되는 뉴클레오타이드 돌연변이 수(1nt vs 2nt vs 3nt)에 따라 아미노산 변화를 구분한다. 미세 조정된 모델은 생화학적 변화가 동일하더라도 "쉬운"(1nt) 코돈으로부터 기원하는 치환을 선호하는 뚜렷한 경향을 보이며, 이는 모델이 코돈 공간의 위상(topology)을 학습했음을 확인시켜 준다.

의의 및 주장
본 논문은 현재의 PLM 유사 확률이 단백질의 구조적 적응도와 역사적인 돌연변이 공급 편향이 혼합된 복합 지표라고 주장한다. 저자들은 다음과 같이 논한다:

• 미세 조정은 편향을 악화시킨다: 미세 조정은 일반적인 예측력을 향상시키지만, 유기체 특유의 돌연별 편향을 모델에 깊게 심어놓아 순수한 적응도 효과를 고립시키는 데 방해가 될 수 있다.
• 디커플링(Decoupling)이 필요하다: 실제 병원체 예측 및 합성 설계를 최적화하기 위해서는, 연구자들이 이 두 독립적인 진화 과정을 명시적으로 분리해야 한다.
  • 출현 예측을 위해: 모델은 예측된 적응도와 명시적인 돌연변이 접근성을 결합해야 한다.
  • 합성 설계 또는 적응도 매핑을 위해: 모델은 순수한 구조적 적응도 제약을 고립시키기 위해 돌연변이 접근성의 가중치를 낮추어야 한다.
• 현재 모델의 한계: 본 연구는 아미노산 서열만으로 훈련된 PLM이 복잡한 뉴클레오타이드 수준의 제약을 추론할 수 있음을 보여주지만, 이는 단독으로 적응도를 이해하고자 할 때 혼란 요인으로 작용한다.

저자들은 결론적으로, 돌연변이 공급을 구조적 선택으로부터 분리하는 것이 진화적 궤적을 매핑하는 더 명확한 프레임워크를 제공한다고 밝히며, 바이러스 진화는 확률적이며 현재의 모델이 이러한 별개의 힘들을 고려하지 않고는 모든 궤적을 완전히 예측할 수 없음을 인정한다.