기술 요약: 단백질 동족체 검색을 위한 PROTOCOL 프로토콜

문제 제기

단백질 동족체 검색은 기능 주석, 구조 예측, 진화 분석의 기초입니다. 그러나 "원격 동족체(remote homologs)" 간의 관계를 탐지하는 것은 여전히 중요한 과제입니다. 서열 유사성의 "황혼 지대(twilight zone)"에서 전역 정렬 방법 (예: BLAST, HMMER) 은 직접적인 서열 수준의 유사성이 약할 때 민감도를 잃는 경우가 많습니다. 이는 보존된 모티프, 도메인, 또는 구조적 제약이 공통 조상을 나타내더라도 발생합니다.

단백질 언어 모델 (PLM) 은 구조 및 진화 신호를 인코딩하는 문맥 인식 잔기 임베딩을 제공하지만, 표준 검색 파이프라인은 일반적으로 이러한 임베딩을 단일 단백질 수준 벡터로 풀링합니다. 이 접근법은 효율적이지만, 원격 동족체 식별에 결정적일 수 있는 특정 보존 잔기나 작은 구조적 모티프와 같은 국소 증거를 희석시킬 위험이 있습니다. 본 연구가 다루는 핵심 질문은 단백질을 잔기 임베딩의 집합으로 표현하고 레이트 상호작용 (late interaction) 을 통해 비교하는 것이 풀링된 벡터 표현에 비해 동족체 검색 성능을 향상시키는지 여부입니다.

방법론

저자들은 "ColBERT"에서 영감을 받은 PROTOCOL("proteins"와 "ColBERT"의 합성어) 을 소개했습니다. 이는 텍스트 토큰을 단백질 서열에 적용한 ColBERT 패러다임 (Khattab & Zaharia, 2020) 을 기반으로 한 레이트 상호작용 검색 모델입니다.

아키텍처 및 인코딩

• 인코더: PROTOCOL 은 단백질 서열 $x = (x_1, \dots, x_T)$에 대한 문맥적 잔기 임베딩 ($h_t$) 을 생성하기 위해 ESM-2 35M 백본을 활용합니다.
• 프로젝션: 선형 프로젝션 $W$를 followed by L2 정규화가 이러한 임베딩을 저차원 공간 ($D=128$) 으로 변환합니다.
• 학습 전략: 학습 가능한 발자국을 적절히 유지하기 위해 임베딩 레이어와 하위 트랜스포머 블록은 고정됩니다. 오직 마지막 세 개의 트랜스포머 레이어, 스택 후 LayerNorm, 그리고 프로젝션 행렬 $W$만 미세 조정됩니다.
• 표현: 각 단백질은 단일 풀링된 벡터가 아닌, 가변 길이 L2 정규화 잔기 임베딩 집합 $E = \{e_1, \dots, e_T\}$로 표현됩니다.

점수 산정 메커니즘 (MaxSim)

PROTOCOL 은 점수 산정을 위해 MaxSim 연산자를 사용합니다. 두 단백질 벡터 간의 전역 코사인 유사도를 계산하는 대신, 잔기 수준에서 유사도를 계산합니다:
$$\text{MaxSim}(E_q, E_d) = \sum_{i=1}^{T_q} \max_{j \in [T_d]} \langle e^q_i, e^d_j \rangle$$
이를 통해 쿼리 단백질의 각 잔기는 후보 단백질의 어떤 잔기와도 가장 강력한 매칭에 기여할 수 있습니다. 이는 세밀한 매칭 능력을 유지하면서도 후보 표현을 사전에 계산하고 독립적으로 인덱싱할 수 있게 합니다.

학습 목적 함수

모델은 대칭적인 InfoNCE 대비 목적 함수를 사용하여 학습됩니다. 학습 쌍은 앵커 단백질과 동일한 진화 그룹 (SCOPe 의 경우 슈퍼패밀리, Pfam 의 경우 클랜) 에서 샘플링된 양 (+) 단백질로 구성됩니다. 손실 함수는 동족체 간의 거리를 최소화하고 배치 내 비동족체와의 거리를 최대화하여, 실제 동족체에 대해 높은 레이트 상호작용 점수를 보상하도록 임베딩 공간을 형성합니다.

주요 기여

1. 단백질에 대한 레이트 상호작용의 적용: 이 논문은 텍스트 토큰을 아미노산 잔기로, 문서를 후보 단백질로 대체하여 ColBERT 검색 패러다임을 단백질 서열에 성공적으로 적용했습니다.
2. 잔기 수준의 보존: 임베딩을 풀링하는 이전 PLM 기반 검색 방법과 달리, PROTOCOL 은 점수 레이어 전체에서 토큰 수준 (잔기 수준) 구조를 유지하며, 이것이 국소 진화 증거를 보존한다는 가설을 제시합니다.
3. 포괄적인 베이스라인 비교: 이 연구는 서열 구성 (MinHash), 정렬 민감도 (MMseqs2), PLM 규모 (ESM-2 650M), 대비 미세 조정, 그리고 풀링된 벡터 대비 레이트 상호작용의 특정 기여를 포함하여 검색 성능에 기여하는 특정 요인들을 분리하여 분석했습니다.

실험 결과

저자들은 SCOPe 슈퍼패밀리 및 Pfam 클랜 검색 두 가지 벤치마크에서 PROTOCOL 을 평가했습니다. 사용된 평가 지표는 상위-$k$에서 가능한 관련 단백질의 최대 개수로 정규화된 캡된 Recall@k (cR@k) 입니다.

성능 하이라이트

• 베이스라인 대비 우위: SCOPe 및 Pfam 벤치마크 모두에서 학습된 PROTOCOL 모델은 서열 구성 방법 (MinHash), 정렬 기반 도구 (MMseqs2), 풀링된 PLM 접근법 (ESM-2 650M 평균 풀링) 을 포함한 모든 베이스라인을 능가했습니다.
• 레이트 상호작용의 영향: 가장 중요한 비교는 동일한 백본과 대비 학습을 사용했지만 잔기를 단일 벡터로 풀링한 Uni-vector ESM-2 35M에 대한 것이었습니다. PROTOCOL 은 이 제거 실험 (ablation) 을 일관되게 능가했습니다 (예: SCOPe 에서 cR@1 기준 +6.87 점, cR@10 기준 +21.07 점). 이는 성능 향상이 미세 조정 자체보다는 잔기 수준 점수 산정 메커니즘에서 비롯됨을 입증했습니다.
• 심층 검색 이득: 성능 격차는 더 깊은 검색 컷오프 (cR@10, cR@100) 에서 확대되었습니다. 이는 여러 원격 동족체를 식별하는 데 단일 전역 표현 이상의 증거가 필요함을 시사합니다.
• 구조적 상관관계: 잔기 수준 유사성 행렬의 분석은 2 차 구조 경계 (예: $\beta$-스트랜드 대 코일) 와 일치하는 블록 대각선 구조를 드러냈습니다. 이는 학습된 임베딩이 구조적 조직을 암시적으로 인코딩하여 유사성을 생물학적으로 의미 있는 도메인과 정렬하고 있음을 나타냅니다.

중요성 및 주장

이 논문은 레이트 상호작용이 원격 동족체 검색을 위한 효과적인 검색 레이어라고 주장합니다. 그 결과는 단백질을 잔기 임베딩의 집합으로 표현하고 MaxSim 을 통해 비교하는 것이 고전적 방법들이 실패하는 "황혼 지대"에서 검색 민감도를 향상시킨다는 가설을 지지합니다.

저자들은 이 개선이 단순히 더 큰 모델을 사용하거나 대비 미세 조정을 한 결과만이 아니라, 국소 잔기 수준 증거를 보존하고 비교함으로써 비롯된 것임을 강조합니다. furthermore, 학습된 모델이 고정된 변형보다 상당한 성능 향상을 보인 것은 약한 동족체 감독이 모델의 2 차 구조 이해를 정교하게 하여, 임베딩을 순수한 서열적 기준이 아닌 구조적으로 의미 있는 라인에 따라 조직화함을 시사합니다.

이 연구는 PROTOCOL 이 이 접근법의 유효성을 입증하지만, 수배에서 수십 배 더 큰 단백질 데이터베이스에 대해 효율적인 레이트 상호작용 검색을 확장하는 방법을 조사하기 위한 향후 연구가 필요하다고 결론지었습니다.