기술 요약: ProtSent (단백질 문장 변환기)

문제 정의

ESM-2 와 같은 단백질 언어 모델 (pLM) 은 각 잔기 표현을 생성하여 진화 및 구조 정보를 효과적으로 포착합니다. 그러나 표준 평균 풀링 시퀀스 임베딩은 전체 단백질 간의 기능적, 진화적, 또는 구조적 유사성을 명시적으로 반영하도록 훈련되지 않았습니다. 결과적으로 임베딩 공간의 기하학적 구조는 생물학적으로 관련된 단백질들이 공간적으로 근접함을 보장하지 않습니다. 이러한 한계는 단순한 최근접 이웃 조회를 하류 작업에 활용하는 것을 방해하며, 일반적으로 고정된 임베딩 위에 작업별 분류기 (프로브) 를 훈련해야 합니다. 저자들은 자연어 처리 (NLP) 에서 BERT 스타일 모델이 유사한 한계에 직면했으나, 의미적으로 유사한 문장이 이웃이 되도록 임베딩 공간을 재구성하기 위해 대비 학습을 사용한 Sentence-BERT 의 도입으로 극복한 사례를 예로 듭니다.

방법론

저자들은 pLM 백본을 범용 임베딩 모델로 적응시키기 위해 설계된 대비 미세 조정 프레임워크인 ProtSent(Protein Sentence Transformers) 를 제안합니다.

아키텍처 및 훈련

• 백본: 이 프레임워크는 SentenceTransformers 프레임워크에 래핑된 ESM-2(35M 및 150M 파라미터 변형 모두) 를 활용합니다. 모든 Transformer 계층은 엔드투엔드로 미세 조정됩니다.
• 임베딩 생성: 시퀀스 수준 임베딩은 패딩이 아닌 잔기 토큰에 대해 평균 풀링하여 얻습니다.
• 손실 함수: 주요 목표는 양적 쌍 간의 코사인 유사도를 최적화하면서 배치 내 다른 양적 쌍을 음으로 간주하는 MultipleNegativesRankingLoss(MNRL) 입니다. 이산적 쌍이 아닌 연속적인 적합도 점수를 제공하는 심층 돌연변이 스캐닝 (DMS) 데이터의 경우, 저자들은 연속 점수의 순서를 보존하는 순위 기반 목표인 CoSENTLoss 를 사용합니다.
• 데이터 소스: ProtSent 는 다양한 생물학적 신호의 균등한 표현을 보장하기 위해 라운드 로빈 방식으로 샘플링된 5 가지 이질적 단백질 쌍 데이터셋으로 훈련됩니다:
  1. Pfam 패밀리: 진화 및 기능적 동源性을 나타내는 3290 만 개의 도메인.
  2. Pfam 하드 네거티브: 정교한 구분을 강제하기 위해 구조적으로 유도된 "하드" 네거티브 (높은 시퀀스 유사성을 가지지만 해로운 효과를 가진 돌연변이) 가 있는 180 만 개의 앵커.
  3. AlphaFold DB(AFDB) 구조 쌍: Foldseek 구조 클러스터로 그룹화된 1 억 3390 만 개의 시퀀스로 대규모 구조 감독을 제공합니다.
  4. STRING-DB: 기능적 연관성을 포착하는 3650 만 개의 단백질 - 단백질 상호작용 쌍 (중간 신뢰도).
  5. 심층 돌연변이 스캐닝 (DMS): ProteinGym 및 임상 데이터에서 유래한 220 만 개의 쌍으로, CoSENTLoss 를 통해 보조 회귀 신호로 사용됩니다.
• 평가 프로토콜: 저자들은 고정 임베딩 프로토콜을 사용하여 성능을 평가합니다. 미세 조정된 모델이 시퀀스를 인코딩하면, 결과 임베딩에 대해 간단한 k-최근접 이웃 (KNN) 프로브 (k=3, 유클리드 거리) 를 훈련합니다. 이 접근 방식은 학습된 분류기의 용량이 아닌 임베딩 공간 기하학의 고유한 품질을 측정합니다.

주요 기여

1. 프레임워크 도입: 5 가지 서로 다른 단백질 쌍 데이터셋을 라운드 로빈 샘플링과 결합하여 범용 임베딩을 생성하는 대비 미세 조정 프레임워크인 ProtSent 의 도입.
2. 성능 향상: 임베딩 이웃 품질에 의존하는 작업, 특히 작업별 감독 없이 원격 동源性 탐지 및 구조 검색에서 대비 미세 조정이 상당한 개선을 가져온다는 증명.
3. 확장성: 35M 및 150M 파라미터의 두 가지 모델 규모 전반에 걸쳐 일관된 개선이 이루어졌으며 기능, 구조, 엔지니어링, 돌연변이 등 다양한 생물학적 작업에 걸쳐 적용됨을 검증.
4. 어블레이션 분석: 각 훈련 데이터 소스 및 샘플링 전략의 기여도를 체계적으로 분리하여, Pfam 패밀리가 지배적인 신호를 제공하지만 하드 네거티브는 일부 작업에 대해 지나치게 공격적인 기울기를 유발할 수 있음을 규명.
5. 자원 공개: 모델, 코드, 훈련 데이터 및 훈련 레시피의 공개.

결과

저자들은 ProtSent 를 23 개의 하류 작업 (이진 분류, 다중 클래스 분류, 회귀) 과 구조 검색 벤치마크 (SCOPe-40) 에서 평가했습니다.

• KNN 프로브 성능:
  • ESM-2 150M: 23 개 작업 중 15 개가 개선되었습니다. 주목할 만한 개선 사항은 원격 동源性 탐지에서 +105%, 변이 효과 예측 (GB1) 에서 +17%, SCOPe-40 구조 검색에서 Recall@1 +19.9% 입니다.
  • ESM-2 35M: 23 개 작업 중 16 개가 개선되었습니다. 주목할 만한 개선 사항은 원격 동源性에서 +40.5%, SCOPe-40 에서 Recall@1 +15.5% 입니다.
  • 작업별 세부 사항: 이진 분류 작업 (예: PPI 예측, 용해도) 은 광범위한 개선을 보였습니다. 회귀 작업은 혼합된 결과를 보였는데, 형광 및 베타 - 락타마제 적합도는 개선되었으나 일부 안정성 작업은 저하되어, 대비 목표가 단일 단백질의 돌연변이 이웃 내에서 순차적 관계를 항상 보존하는 것은 아님을 시사합니다.
• 구조 검색 (SCOPe-40): ProtSent 는 모든 임계값에서 Recall@K 에서 일관된 두 자리 수 개선을 달성하여, 임베딩 공간이 구조적으로 유사한 단백질을 더 가깝게 배치하도록 성공적으로 재구성되었음을 나타냅니다.
• 퓨샷 학습: 저데이터 환경 (N=50 에서 N=1000) 에서 ProtSent 는 특히 구조적 또는 기능적 그룹화가 필요한 작업 (예: N=100 에서 원격 동源性 +244.5%) 에서 베이스라인 대비 상당한 상대적 개선을 보였습니다.
• 어블레이션 통찰:
  • Pfam 패밀리를 제거하면 가장 큰 성능 저하가 발생하여 진화적 동源性이 주요 신호임을 확인시켰습니다.
  • 하드 네거티브를 제거한 것은 작업 간 평균 델타를 놀랍게도 개선시켜, 배치 내 네거티브만으로도 충분할 수 있으며 하드 네거티브가 특정 작업의 임베딩 공간을 교란시킬 수 있음을 시사합니다.
  • AlphaFold DB 쌍을 제거하면 구조 및 효소 분류 작업에서 성능이 크게 저하되어 구조 감독의 가치를 강조했습니다.
  • 라운드 로빈 샘플링은 견고함이 입증되어 비례 샘플링이 유사한 결과를 산출했습니다.

중요성 및 주장

이 논문은 ProtSent 가 작업별 감독 없이 대비 미세 조정을 통해 단백질 기능과 구조를 더 잘 포착하도록 단백질 임베딩 공간을 성공적으로 재구성했다고 주장합니다. 저자들은 ProtSent 를 "범용 사용을 위한 파운데이션 모델"로 위치시키며, 대비 훈련이 이웃 구조를 성공적으로 재구성한다면 단순한 이웃 - 정체성 프로브가 개선의 가장 민감한 탐지기여야 한다고 주장합니다.

이 연구는 규모 (5 개 소스의 7 천만 개 이상의 단백질 쌍으로 훈련) 와 폭 (단일 유사성 축이 아닌 23 개의 다양한 작업 평가) 으로 인해 ProtTucker, PLMSearch 와 같은 이전 노력과 구별됩니다. 저자들은 훈련 데이터가 5 개 소스가 포착한 관계 유형으로 제한되며 매칭된 벤치마크에서 전문 검색 시스템과 직접 비교하지 않았음을 인정합니다. 결론적으로 대비 미세 조정은 검색, 클러스터링, 퓨샷 전이를 위해 사전 훈련된 pLM 을 적응시키는 광범위하게 적용 가능한 전략이라고 결론지었습니다.