기술 요약: LC-SEPLM

문제 정의

ESM2와 같은 단백질 언어 모델(pLM)은 마스크드 언어 모델링(MLM)을 통해 문맥적 의존성을 모델링함으로써 아미노산 서열로부터 전이 가능한 표현을 학습하는 데 성공하며 성과를 입증해 왔습니다. 그러나 이러한 모델들은 주로 서열 문맥에 기반한 잔기(residue) 정체성을 학습할 뿐, 명시적인 3차원 구조적 관계를 학습하지는 못한다는 한계가 있습니다. 결정적인 제약 사항은 표준 MLM 목적 함수가 모델로 하여금 장거리 잔기 접촉(long-range residue contacts)—즉, 1차 서열상에서는 멀리 떨어져 있으나 접힘(folding) 후에는 공간적으로 인접한 잔기 쌍—을 식별하도록 명시적으로 강제하지 않는다는 점입니다. 서열 데이터 내의 진화적 제약은 구조 정보를 간접적으로 인코딩하지만, 마스킹된 잔기를 예측하는 것만으로는 모델이 특정 공간적 인접 잔기 쌍을 식별하도록 강제할 수 없습니다.

구조 정보를 통합하려는 기존 방식들은 대개 다운스트림 추론 과정에서 구조적 좌표, 예측된 구조, 또는 구조 유래 토큰(예: 3Di 상태)을 입력값으로 요구합니다. 이러한 의존성은 구조 데이터만 사용 가능한 시나리오에서의 적용성을 제한합니다. 본 연구가 다루는 핵심 과제는 구조적 입력 없이도 서열 전용 모델을 적응(adaptation)시키는 과정에서 어떻게 직접적인 구조적 감독(structural supervision)을 도입할 것인가 하는 점입니다.

방법론

저자들은 사전 학습된 ESM2 모델을 저차원 적응(LoRA) 및 장거리 잔기 쌍 접촉 감독을 사용하여 적응시키는 프레임워크인 LC-SEPLM(Long-range Contact-supervised ESM Protein Language Model)을 소개합니다.

핵심 아키텍처 및 적응:

• 기본 모델: 이 접근 방식은 ESM2-t30-150M-UR50D를 적응시킵니다.
• LoRA 통합: LoRA 모듈을 마지막 8개 트랜스포머 레이어(Tail-8)의 어텐션 투영 행렬($q\_proj$ 및 $v\_proj$)에 삽입합니다. 원래의 ESM2 가중치는 동결된 상태로 유지되며, 저차원 행렬($A$ 및 $B$)만이 학습됩니다.
• 접촉 감독 브랜치: 장거리 접촉을 예측하기 위한 학습 전용 브랜치를 추가합니다. 이 브랜치는 Swiss-Prot 단백질에서 추출한 AlphaFold 예측 구조를 사용하여 정답(ground-truth) 레이블을 생성합니다.
  • 레이블 정의: 양성 접촉은 서열 간격 $|i-j| \ge 12$ 이고 C$\alpha$-to-C$\alpha$ 거리가 $d_{ij} \le 8$ Å 인 잔기 쌍 $(i, j)$로 정의됩니다.
  • 쌍-쿼리(Pair-Query) 메커니즘: 각 샘플링된 잔기 쌍에 대해, 모델은 쌍 특화 쿼리를 구성합니다. 이 쿼리는 잔기 상태, 절대 차이, 요소별 곱(element-wise product), 그리고 정규화된 서열 거리를 결방(concatenate)합니다.
  • 교차 어텐션(Cross-Attention): 쌍 특화 쿼리는 교차 어텐션을 통해 전체 잔기 서열을 참조합니다. 이를 통해 접촉 예측이 단순히 국소적 특징에 의존하는 대신, 특정 잔기 쌍과 관련된 전역적 서열 문맥을 통합할 수 있게 합니다.
  • 손실 함수: 총 손실은 접촉 예측을 위한 이진 교차 엔트로피 손실($L_{contact}$)과 보조 마스크드 언어 모델링 손실($L_{MLM}$)을 결합하며, 이때 $\lambda_{MLM} = 0.6$으로 가중치를 부여합니다.

추론:
결정적으로, 적응 단계가 끝나면 접촉 감독 브랜치(쌍-쿼리, 교차 어텐션, 접촉 헤드 포함)는 제거됩니다. 다운스트림 추론은 적응된 ESM2 인코더와 아미노산 서열만을 독점적으로 사용하여 평균 풀링(mean pooling)을 통해 640차원의 단백질 임베딩을 생성합니다. 추론 시에는 구조적 좌표, 접촉 맵, 또는 구조 유래 토큰이 필요하지 않습니다.

학습 데이터:
모델은 500,000개의 AlphaFold 예측 Swiss-Prot 단백질로 학습되었습니다. 서열은 512개 잔기로 절단되었으며, 계산 복잡성을 관리하기 위해 후보 쌍들은 약 2:1의 음성 대 양성 비율로 샘플링되었습니다.

주요 기여

1. 새로운 적응 전략: LC-SEPLM은 서열 전용 추론 파이프라인을 유지하면서 장거리 접촉 감독을 통해 서열 전용 pLM에 구조적 지식을 주입하는 방법을 제안합니다.
2. 쌍 특화 전역 문맥(Pair-Specific Global Context): 전체 서열에 대한 교차 어텐션을 사용하는 쌍-쿼리 메커니즘의 도입은 모델이 쌍별 관계를 독립적인 위치 상태로 압축하는 방식과 달리, 특정 잔기 쌍과 관련된 전역적 구조 문맥을 학습할 수 있게 합니다.
3. 제한된 구조적 감독: 본 연구는 구조적 감독이 다운스트림 적용 시 구조적 입력의 필요성 없이 학습 단계에 효과적으로 국한될 수 있음을 보여줍니다.

결과

저자들은 동결된 적응 인코더를 8개의 단백질 수준 작업과 2개의 잔기 수준 진단 도구로 평가하였으며, 이를 기본 ESM2 및 구조 정보가 포함된 ESM-S 모델과 비교하였습니다.

단백질 수준 작업 성능:

• 보편적 개선: LC-SEPLM은 8개 모든 단백질 수준 작업에서 기본 ESM2 모델 대비 성능을 향상시켰습니다.
• 원격 상동성(Remote Homology): 가장 유의미한 이득은 원격 상동성 인식(Pfam-clan)에서 관찰되었으며, 여기서 macro-F1 점수가 0.6122에서 0.6769로 증가(+0.0647)했습니다.
• 기타 작업: 유전자 온톨로지 분자 기능(GO-MF), Pfam 패밀리 분류, 세포 내 위치(subcellular localization)에서도 완만하지만 일관된 이득이 관찰되었습니다.
• 독립 벤치마크: 공식 ESM-S 벤치마크에서 LC-SEPLM은 효소 번호(EC) 예측 작업에서 ESM-S (150M)를 능가하였으며(F1-max 이득 최대 0.1771), 다만 특정 폴드 분류 및 GO-MF 분할에서는 ESM-S보다 낮은 성능을 보여, 그 이점이 모든 구조적 작업에 보편적으로 적용되는 것은 아님을 나타냈습니다.

국소 진단 성능:

• 개선 없음: 이 방법은 ProteinGym 변이 효과 예측(Spearman 상관계수 감소)이나 UniProt 번역 후 변형(PTM) 사이트 예측에서 성능을 개선하지 못했습니다.
• 해석: 이는 장거리 접촉 감독이 국소적인 잔기 수준의 신호보다 전역적인 단백질 표현(폴드 수준)을 강화하는 데 더 효과적임을 시사합니다.

체크포인트 선택:
저자들은 접촉 예측 정확도를 극대화하는 체크포인트(Epoch 12)와 최적의 다운스트림 전이 성능을 보이는 체크포인트(Epoch 10)가 서로 다르다는 점을 언급하며, 모델 선택을 위한 다운스트림 검증의 필요성을 강조했습니다.

의의 및 주장

본 논문은 LC-SEPLM을 서열 표현을 구조 정보로 풍부하게 만드는 실용적이지만 경계가 명확한(bounded) 전략으로 규정합니다.

• 이점의 범위: 저자들은 이 방법이 원격 상동성 인식 및 효소 기능 예측과 같이 전역적 구조 문맥에 의존하는 다운스트림 작업에 가장 효과적이라고 주장합니다.
• 한계점: 본 연구는 이 접근 방식이 모든 예측 작업에서 보편적으로 개선을 가져오는 것은 아님을 명시적으로 인정합니다. 즉, 국소적 생화학적 효과(예: 변이 효과 또는 PTM 사이트)가 지배적인 작업에는 덜 설득력이 있습니다.
• 트레이드오프: 구조 감독을 위해 AlphaFold 예측 구조를 사용하는 것은 확장성 측면에서는 강점이지만, 구조 소스로부터의 예측 편향을 전이할 수 있는 잠재적 한계점이 될 수 있습니다.
• 결론: LC-SE플름은 잔기 쌍 접촉 감독이 서열 전용 모델에 구조적 제약을 도입하는 실행 가능한 경로임을 입증하며, 이는 다운스트림 애플리케이션이 학습된 표현의 전역적 특성과 일치할 때 유효합니다. 이 방법은 구조 인식 추론의 복잡성을 피하면서도 진화 및 기능적 분류와 관련된 단백질 접힘의 핵심 측면을 포착합니다.