기술 요약: TRIPROREP 및 REPSP

문제 제기

현재 단백질 표현 학습은 평가 벤치마크와 모델의 의도된 유용성 사이의 심각한 불일치에 직면해 있습니다. 많은 벤치마크 (예: 효소 분류 및 유전자 온톨로지 예측) 가 광범위한 생물학적 유용성을 측정하지만, 단백질 인터페이스 예측, 복합체 조립, 또는 구조 예측 모델의 감독과 같은 3 차원 추론 작업에 필요한 구체적인 기하학적 정보를 표현이 노출하는지 직접적으로 테스트하지는 않습니다. 결과적으로, 시퀀스 전용 모델은 이러한 전통적인 벤치마크에서 명시적으로 구조 인식 모델을 종종 능가하며, 구조적 감독이 구조 예측 작업에 대한 표현을 진정으로 개선하는지 불분명하게 만듭니다. 시퀀스 전용 프리트레이닝 (예: SaProt, ESM3, ProstT5) 을 넘어선 분야가 발전함에 따라, 프리트레이닝된 표현이 하류 구조 생성 및 예측을 위한 효과적인 기하학적 신호로 작용할 수 있는지 확인해야 합니다.

방법론

1. TRIPROREP: 삼중 뷰 구조 인식 표현 모델

저자들은 단백질의 정렬된 세 가지 잔기 수준 뷰를 공동으로 모델링하는 프리트레이닝 방법인 TRIPROREP를 제안합니다:

• 아미노산 정체성: 표준 시퀀스 토큰.
• 백본 기하학: 이산화된 국소 백본 하부 구조.
• 전원자 기하학: 잔기 내 전원자 배열을 인코딩하는 새로운 뷰로, 백본으로 정의된 국소 프레임 내의 사이드체인 로타머 기하학 및 무거운 원자 위치를 포함합니다.

토큰화:

• 백본 및 전원자 기하학은 VQ-VAE 토크나이저를 사용하여 이산화됩니다.
• 전원자 토크나이저는 N, C$\alpha$, C 원자로 정의된 SE(3)-불변 국소 프레임으로 표현된 무거운 원자 좌표와 이면각을 기반으로 훈련됩니다. 이는 백본 전용 토큰화에서 종종 생략되는 원자 수준의 세부 사항 (예: 사이드체인 패킹) 을 포착합니다.

프리트레이닝 목적:
이 모델은 ELECTRA 에서 영감을 받아 세 가지 뷰 토큰 시퀀스에 맞게 조정된 교정적 프리트레이닝 전략을 사용합니다:

• 경량의 생성기가 마스킹된 토큰을 그럴듯하지만 잠재적으로 일관성이 없는 대안으로 대체하여 (크로스뷰 증강) 세 가지 정렬된 토큰 시퀀스를 손상시킵니다.
• 더 큰 판별기 (표현 모델) 는 모든 세 가지 뷰에 대해 모든 위치에서 원래 토큰을 복원하도록 훈련됩니다.
• 이 목적은 시퀀스 정체성, 백본 기하학, 그리고 전원자 기하학 사이의 일관성을 학습하도록 모델을 강제하며, 그럴듯하지만 잘못된 크로스뷰 증강을 실제 단백질 구조와 구별하게 합니다.

2. REPSP: 구조 예측 평가를 위한 벤치마크

평가 격차를 해소하기 위해 저자들은 구조 예측 설정에서 표현의 유용성을 테스트하도록 특별히 설계된 REPSP(Structure Prediction 을 위한 표현 평가) 벤치마크를 소개합니다. 이는 AlphaFold 단백질 구조 데이터베이스 (AFDB) 의 180 만 개 동종 이량체 복합체를 활용합니다. REPSP 는 세 가지 작업을 통해 표현을 평가합니다:

1. 동종 이량체 공동 접힘: 유연 도킹 모델이 고정된 모노머 표현을 사용하여 동종 이량체 복합체의 구조를 예측합니다.
2. 잔기 단위 결합 특성 예측: MLP 가 고정된 모노머 표현을 프로빙하여 동종 이량체에서 파생된 결합 부위, 용매 접근 표면적 변화 ($\Delta$SASA), Levy 계층, 결합 유형과 같은 잔기 수준 특성을 예측합니다.
3. 표현 정렬 구조 예측 (증류): 프리트레이닝된 표현은 모노머 구조 예측 모델 (SimpleFold) 의 훈련을 안내하기 위해 밀집 정렬 목표 (코사인 유사도를 통해) 로 작용합니다.

주요 기여

1. TRIPROREP 모델: 생성기 손상 토큰 복구 목적을 사용하여 아미노산 정체성, 백본 기하학, 그리고 전원자 잔기 기하학(사이드체인 로타머 포함) 을 공동으로 인코딩하는 최초의 구조 인식 표현 모델.
2. REPSP 벤치마크: 단백질 표현이 구조 예측 모델링을 위한 유용한 기하학적 신호를 제공하는지 평가하도록 명시적으로 설계된 최초의 벤치마크로, 복합체 공동 접힘, 잔기 단위 인터페이스 예측, 그리고 증류 목표를 포함합니다.
3. 실증적 검증: 네 가지 모델 규모 (35M 에서 28 억 파라미터) 에 걸친 포괄적인 평가를 통해 구조 인식 표현이 전통적인 기능 벤치마크에서 경쟁력 있는 성능을 유지하면서 구조 예측 작업에서 시퀀스 전용 베이스라인을 능가함을 입증했습니다.

결과

REPSP 성능

• 동종 이량체 공동 접힘: TRIPROREP 는 모든 파라미터 규모에서 시퀀스 전용 (ESM2) 및 이전 구조 인식 모델 (SaProt, S-PLM, MIF-ST, ESM3, ProstT5) 보다 일관되게 우수한 성능을 보입니다. 특히 650M TRIPROREP 모델은 모든 인터페이스 및 전체 품질 지표에서 3B ESM2 모델을 능가합니다. 이러한 이득은 인터페이스 수준 지표 (DockQ, iRMSD) 에서 가장 두드러지는데, 이는 복합체 수준 기하학을 추론하는 능력이 우수함을 나타냅니다.
• 잔기 단위 결합 예측: TRIPROREP 는 모든 규모에서 프로빙 작업 (결합 부위, $\Delta$SASA, Levy 계층, 결합 유형) 에서 가장 강력한 성능을 달성합니다. 이러한 이득의 일관성은 결합 관련 신호가 하류 파인튜닝 동안 학습되는 것이 아니라 표현에 직접 인코딩되어 있음을 시사합니다.
• 증류: 모노머 구조 예측기 훈련을 위한 정렬 목표로 사용될 때, TRIPROREP 는 다른 표현 모델에 비해 가장 효과적인 감독 신호를 제공하여 가장 높은 TM-score, GDT-TS, LDDT 점수를 산출합니다.

전통적 벤치마크 성능

효소 분류 (EC) 및 유전자 온톨로지 (GO) 벤치마크에서 TRIPROREP 는 3B ESM2 모델을 포함한 가장 강력한 베이스라인과 경쟁력 있는 성능을 유지합니다. 이는 전원자 기하학적 감독을 통합하는 것이 모델의 광범위한 생물학적 표현 품질을 저하시키지 않음을 나타냅니다.

실세계 일반화

2023 년 6 월 1 일 이후 RCSB 에 제출된 (프리트레이닝 중 보지 못한) 구조에 대한 평가는, 모델이 예측된 AFDB 구조로 프리트레이닝되었음에도 불구하고, TRIPROREP 의 베이스라인 대비 상대적 성능 이득이 실세계 동종 이량체 예측에서 유지됨을 확인시켜 줍니다.

중요성 및 주장

이 논문은 TRIPROREP가 시퀀스 전용 또는 백본 전용 접근법보다 구조 예측 모델링을 위한 우수한 기하학적 신호를 제공하며, 특히 전원자 기하학을 통합한 구조 인식 표현이 이를 입증한다고 주장합니다. REPSP의 도입은 3D 추론을 목표로 하는 표현을 평가하기 위해 표준 기능 벤치마크만으로는 부족함을 강조합니다.

저자들은 그들의 작업이 AlphaFold3 와 같은 새로운 구조 예측 모델을 제안하는 것이 아니라, 프리트레이닝된 표현이 다음을 위해 작용할 수 있음을 확립했다고 강조합니다:

1. 유연한 단백질 - 단백질 도킹을 위한 효과적인 조건부 신호.
2. 생성적 구조 예측기 훈련을 위한 밀집 증류 목표.

이 결과는 표현 학습과 구조 예측 간의 "불일치"가 전원자 기하학을 명시적으로 모델링하고 기하학적 추론을 직접 요구하는 작업에서 표현을 평가함으로써 해결될 수 있음을 시사합니다. 논문은 한계를 인정하며, 실제 PDB 복합체에 대한 초기 경향은 긍정적이지만 실험적으로 해결된 구조에 대한 더 넓은 검증은 향후 과제로 남아 있음을 명시합니다.