Viral Proteins Reveal Geometry of Protein Language Models

기술 요약: 바이러스 단백질을 통해 밝혀진 단백질 언어 모델의 기하학적 구조

문제 제기
단백질 언어 모델(pLM)은 세포 생물체에 편중된 매우 불균형한 데이터셋으로 학습되며, 이는 이로 인해 저대표성 생물군을 어떻게 표현하는지에 대한 의문을 제기한다. 바이러스 단백질은 진화적으로 구별되며 서로 다른 제약 조건(예: 숙주 의존성, 높은 돌연변이율)에 의해 형성되지만, 표준 사전 학습 데이터에서는 비중이 낮다. pLM은 표준 벤치마크에서 우수한 성능을 보이지만, 바이러스의 돌연변이 효과 예측에는 어려움을 겪는다. 본 연구가 다루는 핵심 질문은 다음과 같다: (1) 임베딩 공간에서 바이러스 단백질의 분리가 주로 낮은 "네이티브성(nativeness)"(즉, 사전 학습 분포에 의해 덜 잘 모델링됨)에 의해 설명되는가? (2) 이러한 네이티브성 격차를 넘어, 임베딩이 재구성 난이도나 얕은 서열 특징에 포착되지 않는 특정 바이러스 정보를 유지하고 있는가?

연구 방법론
저자들은 3개 차수의 파라미터 규모를 아우르는 세 가지 단백질 모델 제품군(ESM2, ESMC, ESM3)을 통해 바이러스 단백질 표현을 분석한다.

• 데이터셋: 본 연구는 10개 그룹(세포형 6종: 박테리아, 고균, 식물, 균류, 곤충, 인간 비바이러스성 / 바이러스형 4종: 박테리오파지, 인간, 식물, 무척추동물)으로 구성된 다중 그룹 생물학적 데이터셋을 활용한다. 대조군으로는 위치가 섞인(position-shuffled) 세포/바이러스 서열과 i.i.d. 균등 무작위 서열을 포함한다. 특정 인간 바이러스/세포 분류 데이터셋(바이러스 5,203개 vs. 세포 5,197개 서열)은 다운스트림 평가에 사용된다.
• 네이티브성 지표: 마스크된 재구성 퍼플렉시티(Masked-reconstruction perplexity, PPL)를 모델 상대적 네이티브성 척도로 사용한다. 낮은 PPL은 해당 서열이 사전 학습 분포에 의해 더 잘 모델링됨을 의미한다.
• 기하학적 분석: 평균 풀링된(mean-pooled) 서열 임베딩에 주성분 분석(PCA)을 적용하여 지배적인 분산 축을 식별한다. 제1 주성분(PC1)과 PPL 사이의 정렬도를 측정한다.
• 스케일링 분석: 모델 규모에 따라 "네이티브와 유사한" PPL 임계값 아래로 떨어지는 바이러스 서열의 비율을 추적하여, 스케일링이 서로 다른 바이러스 가문에 미치는 영향을 평가한다.
• 분류 평가: 바이러스 신호가 재구성 난이도 너머에서도 유지되는지 확인하기 위해, 세 가지 분류기를 홀드아웃 테스트 세트에서 비교한다:
  1. 평균 풀링된 임베딩으로 학습된 선형 프로브(로지스틱 회귀).
  2. 부정된(negated) PPL만을 기반으로 한 제로샷 분류기.
  3. 서열 길이, 아미노산 조성, 디펩타이드 조성을 기반으로 한 얕은 베이스라인.

주요 기여 및 결과

1. 지배적인 네이티브성 축:
   본 연구는 pLM 표현 공간에서 큰 부분의 분산을 설명하는 지배적인 "네이티브성 축"(PC1)을 식별한다(예: ESMC-600M에서 73.1%). 이 축은 마스크된 재구성 퍼플렉시티와 강력하게 정렬된다($\rho \approx +0.96$). 이 축은 잘 모델링된 세포 단백질(낮은 PPL)부터 바이러스 단백질(중간 P의 PPL), 그리고 생물학적으로 무의미한 셔플/무작위 서열(높은 PPL)까지 순서를 매긴다. 이러한 기하학적 구조는 ESM 제품군 전반에서 일관되게 나타나며, 자기회귀(Progen2) 및 확산(EvoDiff) 모델로도 확장된다. 이는 불균형한 생물학적 데이터로 학습된 마스크된 서열 모델의 일반적인 특성임을 시사한다.

2. 이질적인 스케일링 효과:
   모델 규모가 커지면 네이티브성 축이 수축하지만, 그 효과는 바이러스 가문에 따라 불균등하다. "네이티브와 유사한" 바이러스 단백질의 평균 비율은 규모가 커짐에 따라 증가하지만, 특정 가문은 다르게 반응한다. 예를 들어, Papillomaviridae와 Retroviridae는 모델이 커짐에 따라 네이티브 영역으로 크게 이동하는 반면, Orthomyxoviridae와 Orthoherpesviridae는 가장 큰 규모(예: 6B 파라미터)에서도 지속적으로 치우쳐져 있다. 논문은 이러한 이질성이 세포 상동성(cellular homologs)의 존재와 관련이 있을 수 있다고 제안한다. 즉, 진핵생물 역전사 트랜스포존과 도메인을 공유하는 Retroviridae는 세포 중심의 사전 확률(prior)과 더 잘 호환된다.

3. 네이티브성을 넘어서는 잔여 바이러스 신호:
   결정적으로, 본 연구는 바이러스 정체성이 재구성 난이도로 포착되는 것 이상으로 임베딩 내에 선형적으로 인코딩되어 있음을 입증한다. 임베딩으로 학습된 선형 프로브는 모든 규모에서 거의 천장 성능(AUC $\in [0.97, 1.00]$)을 달려, PPL 기반 제로샷 분류기 및 얕은 서열 베이스라인을 크게 능가한다.

• 규모에 따른 발산: 모델이 커짐에 따라 PPL 기반 변별력은 종종 약화되거나 비단조적(non-monotonic)으로 변한다(매우 큰 모델인 ESM2-15B에서 감소). 이는 일부 바이러스 단백질이 재구성하기 쉬워져(낮은 PPL), PPL만으로는 분리할 수 있는 여지가 줄어들기 때문이다. 그러나 선형 임베딩 프로브는 높은 성능을 유지하며, 이는 임베딩이 단순히 재구성 난이도의 부산물이 아니라 바이러스 특유의 구조적 또는 기능적 신호를 보존하고 있음을 나타낸다.
• 강건성: 이러한 분리 가능성은 음성 클래스가 동일한 숙주(인간)의 단백질로 제한되거나, '가문 제외(leave-one-family-out)' 교차 검증을 수행할 때도 유지된다. 이는 신호가 특정 가문의 모티프를 암기하거나 광범위한 분류학적 차이에 의한 것이 아님을 확인해 준다.

의의 및 주장
본 논문은 pLM 표현이 사전 학습된 확률에 대한 일반적인 "네이티브성" 개념에 의해 구조화되어 있으며, 이로 인해 바이러스 단백질이 치우쳐져 있지만 구조화된 중간 영역에 놓이게 된다고 주장한다. 그러나 이러한 치우침이 정보의 손실을 의미하지는 않는다. 오히려 임베딩은 선형적으로 접근 가능한 뚜렷한 바이러스 신호를 보유하고 있다.

저자들은 "네이티브성"(낮은 PPL)이 진단 도구로 사용될 수 있다고 제안한다. 네이티브성이 낮은 가문은 제로샷 예측 시 더 주의가 필요할 수 있다. 또한, 임베딩이 상동성 기반 방법론을 넘어 세포와 바이러스를 구분할 수 있다는 점은 생물 보안 스크리닝, 특히 표준 상동성 필터가 놓칠 수 있는 설계되었거나 고도로 분화된 변이체를 탐지하는 데 유용할 수 있음을 시사한다. 본 연구는 역량 배포보다는 더 안전한 생물학적 모델 평가에 대한 기여로서 이 작업을 위치시키며, 파운데이션 모델이 저대표성 생물 그룹을 어떻게 표현하는지에 대한 이해의 필요성을 강조한다.