기술 요약: 단백질 표현 학습을 위한 구조 인식 마스킹

문제 정의

마스킹 언어 모델링 (MLM) 은 단백질 언어 모델 (PLM) 학습을 위한 표준 목적 함수입니다. 기존 관행은 시퀀스 전반에 걸쳐 무작위로 약 15% 의 잔기를 마스킹하며, 모든 위치를 동등하게 정보량이 있다고 간주합니다. 자연어 처리 (NLP) 에서는 효과적이지만, 이 전략은 단백질의 생리물리적 현실과 부합하지 않습니다. 단백질에서는 기능적 및 구조적 의존성이 3 차원 (3D) 기하학에서 비롯되며, 시퀀스 공간에서 멀리 떨어진 잔기들이 종종 활성 부위, 결합 인터페이스, 알로스테릭 네트워크와 같은 중요한 비연속적 상호작용을 형성합니다. 표준 무작위 마스킹은 이러한 장거리 비국소적 결합을 명시적으로 학습하도록 모델을 유도하지 못해, 특히 고차 돌연변이 상호작용이 관련된 적합도 예측과 같은 하류 작업에 대한 표현의 질을 제한할 수 있습니다.

방법론: 버킷 마스킹 (Bucket Masking)

저자들은 추가적인 모델 파라미터나 추론 시 구조 데이터가 필요하지 않도록, 구조적 귀납적 편향을 MLM 손상 과정에 직접 주입하도록 설계된 구조 인식 마스킹 전략인 버킷 마스킹을 제안합니다.

핵심 메커니즘

버킷 마스킹은 잔기를 선형 시퀀스 위치에 기반하여가 아닌 3D 공간에서의 공간적 근접성에 따라 그룹화하여 작동합니다. 이 과정은 세 가지 주요 단계를 포함합니다:

1. 접촉 지도 구성: 해결된 야생형 (WT) 단백질 구조에서 출발하여, 특정 거리 임계값 ($\tau = 7$ Å) 이내의 잔기를 나타내는 간선으로 구성된 접촉 그래프를 생성합니다. 이는 구조적 이웃의 지도를 만듭니다.
2. MSA 투영: 훈련 중 (해결된 구조가 존재하지 않을 수 있는) 상동 서열에 이 전략을 적용하기 위해, 저자들은 다중 서열 정렬 (MSA) 내 상동 서열의 좌표 공간으로 WT 접촉 그래프를 투영하는 경량 알고리즘을 개발했습니다. 이 매핑은 핵심 구조적 관계가 상동체 간에 보존된다고 가정하여, WT 에서 유도된 구조적 "버킷"이 서열별 구조 예측 없이도 마스킹을 안내할 수 있도록 합니다.
3. 마스킹 알고리즘: 훈련 중 총 마스킹 예산은 샘플링된 비율 $r$로 결정됩니다. 이 예산은 다음과 같이 분할됩니다:
   • 구조 마스킹 ($N_{struct}$): 접촉 그래프에서 "시드"로 잔기가 선택됩니다. 이들의 구조적 이웃이 반복적으로 누적되어 3D 공간에서 상호작용하는 영역에 해당하는 시퀀스 공간의 연속된 구간을 형성합니다.
   • 무작위 마스킹 ($N_{rand}$): 나머지 마스킹 토큰은 전체 시퀀스 커버리지와 탐색을 보장하기 위해 균일하게 무작위로 선택됩니다.
   • 구조 마스킹과 무작위 마스킹 간의 비율은 탐색률 $\lambda$(실험에서 0.2 로 설정됨) 로 제어됩니다.

손상된 토큰은 표준 80-10-10 BERT 손상 규칙 (80% 마스킹, 10% 무작위 토큰, 10% 변경 없음) 을 사용하여 처리됩니다.

주요 기여

1. 버킷 마스킹 제안: 잔기 접촉 그래프를 활용하여 구조적으로 결합된 영역을 우선적으로 마스킹하는 새로운 마스킹 전략으로, 단백질 기능에 중요한 장거리 상호작용을 모델링하도록 학습 목적을 전환합니다.
2. 확장 가능한 투영: 모든 훈련 인스턴스에 대한 구조 예측이 필요 없이 WT 에서 유도된 구조적 마스킹을 대규모 상동 서열 군집에 적용할 수 있게 하는 경량 MSA 투영 알고리즘.
3. 실증적 검증: 17 개 단백질과 네 가지 다른 외삽 작업에 대한 체계적 평가를 통해 표준 무작위 마스킹 및 구간 기반 절제 실험보다 일관된 개선을 입증했습니다.
4. 귀납적 편향 분석: 성능 향상이 마스킹된 구간의 크기가 아닌 마스킹의 위치(구조적 근접성) 에서 비롯됨을 확립한 통제된 절제 실험으로, 마스킹을 위치적 귀납적 편향으로 규정합니다.

결과

저자들은 WT 중심 MSA 의 상동체에서 ESM-2(650M) 를 미세 조정하고 하류 단백질 적합도 예측 작업에서 테스트함으로써 버킷 마스킹을 평가했습니다.

• 성능 향상: 버킷 마스킹은 네 가지 외삽 작업 전반에 걸쳐 표준 무작위 마스킹보다 일관되게 우수한 성과를 거두었습니다.
  • 영역 외삽: 고차 돌연변이 상호작용 예측에서 **13.9%**의 평균 향상 (Spearman $\rho$ +0.069 증가) 을 달성했습니다.
  • 위치 외삽: 보지 못한 시퀀스 위치로 돌연변이 효과를 일반화하는 데 **11.3%**의 평균 향상 (+0.031) 을 달성했습니다.
  • 돌연변이 및 이웃 외삽: modest 하지만 일관된 개선 (+3.9% 및 +0.6% 각각) 을 보였습니다.
• 사전 학습 사전 지식 회복: 사전 학습 사전 지식에 의해 지배되는 작업 (돌연변이 및 위치 외삽) 에서 다른 마스킹 전략들은 성능을 저하시켰으나, 버킷 마스킹은 기준선 ESM-2 성능을 회복하거나 초과하여 구조적 제약을 추가하면서도 기초 생화학 특성을 보존함을 시사합니다.
• 절제 실험 결과: 버킷 마스킹과 동일한 구간 크기를 사용하지만 무작위 배치를 적용하는 "기하학 일치 구간" 마스킹과의 비교는 마스킹의 위치가 개선의 주된 동인임을 확인했습니다. 버킷 마스킹은 많은 장거리 구조적 접촉을 가진 단백질과 중간~장거리 시퀀스 거리 영역에서 특히 우수했습니다.

중요성 및 주장

본 논문은 버킷 마스킹이 MLM 의 손상 과정을 구조적 귀납적 편향을 부과하기 위한 의도적인 설계 결정으로 재정의한다고 주장합니다. 모델을 비국소적 구조적 맥락에 기반하여 잔기를 재구성하도록 강제함으로써, 생성된 임베딩은 단백질 기능을 조절하는 장거리 의존성을 더 잘 포착합니다.

저자들은 이 접근 방식이 다음과 같다고 주장합니다:

• 모델 아키텍처를 수정하지 않고 기능적 외삽을 위한 표현의 질을 향상시킵니다.
• 추론 시 구조 데이터가 필요 없어 기존 시퀀스 전용 PLM 파이프라인과 호환됩니다.
• 마스킹 목적 함수를 작업별 사전 지식으로 취급해야 하며, 학습된 표현을 단백질 접힘의 물리적 제약과 더 밀접하게 정렬해야 함을 시사합니다.

이 연구는 이 방법이 상동체 간 구조적 관계가 보존된다는 가정 (대부분의 경우에 유효하지만 상당한 결손이 있거나 MSA 가 얕은 서열에서는 저하될 수 있음) 에 의존하지만, 구조 인식 자기지도 학습을 통해 단백질 표현 학습을 강화하는 견고하고 확장 가능한 경로를 제공한다고 결론지었습니다.