EvoStruct: Bridging Evolutionary and Structural Priors for Antibody CDR Design via Protein Language Model Adaptation

기술 요약: EvoStruct

문제: GNN 기반 CDR 설계에서의 어휘 붕괴
항체 상보성 결정 영역 (CDR) 설계를 위한 최신 최첨단 방법들은 대부분 등변성 그래프 신경망 (GNN) 에 크게 의존합니다. 이러한 방법들은 높은 서열 복구율을 달성하지만, "어휘 붕괴 (vocabulary collapse)"라고 불리는 치명적인 실패 모드를 겪습니다. 이 현상에서 제한된 구조 데이터 (약 3,000 개의 항체 - 항원 복합체) 로 훈련된 모델들은 아미노산의 전체 분포를 학습하지 못합니다. 대신, 그들은 티로신과 글리신과 같은 좁은 부분의 잔기들을 과도하게 예측하는 반면, 트립토판, 시스테인, 메티오닌과 같이 기능적으로 중요하지만 드문 잔기들은 무시합니다.

이 붕괴는 GNN 인코더들이 수백만 개의 단백질 서열을 포함하는 데이터베이스에 인코딩된 풍부한 진화적 치환 패턴을 버리고, 희소한 구조 훈련 세트에서 de novo로 아미노산 치환 패턴을 학습하려 시도하기 때문에 발생합니다. 결과적으로 이러한 모델들은 다음과 같은 특징을 보입니다:

1. 감소된 다양성: 유효 어휘 ($V_{eff}$) 가 원래의 약 15.5 에서 3.0~5.5 로 감소합니다.
2. 부족한 결합 쌍 학습: 모델들은 파라토프 (항체) 와 에피토프 (항원) 아미노산 쌍 사이의 특정 상관관계를 포착하지 못합니다.
3. 접촉 위치의 취약성: 서열 복구율은 비접촉 위치에 비해 항원 접촉 위치에서 현저히 낮아, 항원 특이적 결합 물리학을 학습하지 못했음을 나타냅니다.

방법론: 진화적 및 구조적 사전 지식의 연결
이러한 문제들을 해결하기 위해 저자들은 EvoStruct를 제안합니다. 이는 고정된 단백질 언어 모델 (PLM) 을 크로스 어텐션 어댑터를 통해 3D 구조적 맥락과 연결하는 프레임워크입니다. 아키텍처는 두 개의 병렬 경로를 기반으로 작동합니다:

1. 진화적 경로 (PLM 백본): 모델은 항체 중쇄를 위한 임베딩을 생성하기 위해 고정된 ESM-2(6.5 억 파라미터) 를 활용합니다. 추론 중 CDR 위치를 마스킹함으로써, ESM-2 는 2.5 억 개 이상의 서열로 훈련된 결과에서 도출된 고품질의 진화적 사전 지식과 보정된 아미노산 어휘를 제공합니다.
2. 구조적 경로 (GNN 인코더): 관계 인식형 E(3)-등변성 GNN 이 전체 3D 항체 - 항원 복합체 그래프를 인코딩합니다. 이는 공간 기하학, 잔기 상호작용, 그리고 에피토프 근접성을 포착합니다. 메모리를 관리하기 위해 GNN 은 CDR 에 가장 가까운 $K_{ag}$개의 잔기로 항원 맥락을 자릅니다.
3. 미니 구조적 어댑터: 이것이 핵심 혁신입니다. 이는 크로스 어텐션을 수행하는데:
   • 쿼리 ($Q$): ESM-2 CDR 임베딩 (진화적 사전 지식) 에서 유도됩니다.
   • 키 ($K$) 와 값 ($V$): GNN 으로 인코딩된 구조적 맥락 (CDR + 잘라낸 항원 잔기) 에서 유도됩니다.
   • 어댑터는 이들을 공유 공간으로 투영하여 진화적 표현이 "내가 어떤 구조적 환경에 있는가?"를 질문하고 GNN 의 구조적 답변을 받도록 합니다. 출력은 다시 ESM-2 임베딩 공간으로 투영됩니다.
4. 서열 헤드: 최종 예측은 PLM 의 임베딩 공간 내에서 완전히 작동하는 서열 헤드를 통해 이루어지며, ESM-2 의 어휘 보정을 유지합니다.

훈련 전략
EvoStruct 는 구조적 작업에 적응하면서도 진화적 사전 지식의 파괴적 망각을 방지하기 위해 특정 훈련 체계를 사용합니다:

• 점진적 언프리즈 (Progressive Unfreezing): Howard & Ruder (2018) 에 따라, ESM-2 백본은 처음에 고정된 채 어댑터와 GNN 이 훈련됩니다. 이후 단계들은 최상위 트랜스포머 레이어들을 점진적으로 언프리즈하고, 마지막으로 모든 파라미터를 미세 조정합니다.
• R-Drop 일관성 정규화: 드롭아웃 변이에 대한 견고성을 보장하기 위해, 모델은 서로 다른 드롭아웃 마스크를 사용하여 두 번의 순전파를 수행하고 결과적인 서열 손실 간의 불일치를 패널티로 부과합니다.
• 멀티태스크 손실: 목적 함수는 서열 교차 엔트로피, 좌표 손실 (Huber), 페어링 대비 손실 (InfoNCE), 도킹 손실, 그리고 섀도우 파라토프 손실 (쌍별 거리 감독) 을 결합합니다.

주요 기여

1. 정량적 진단: 이 논문은 유효 어휘 ($V_{eff}$) 와 결합 쌍 상관관계 지표를 사용하여 CDR 설계에서의 어휘 붕괴를 체계적으로 분석하며, GNN 방법들이 원래 아미노산 다양성의 20~35% 만 복구함을 밝힙니다.
2. 새로운 적응: PLM-구조 연결 패러다임을 CDR 설계에 특화하여 적용하며, 이 도메인에서 고유한 다양성 - 정확성 트레이드오프를 해결하기 위해 점진적 언프리즈와 R-Drop 정규화를 도입합니다.
3. 실증적 검증: 이 연구는 PLM 어휘 보정이 CDR 설계로 성공적으로 이전될 수 있음을 보여주며, 높은 정확도가 일반적으로 낮은 다양성의 대가를 치르는 전통적인 트레이드오프를 깨뜨립니다.

결과
11 개의 베이스라인 (GNN, 확산 모델, 자기회귀 방법 포함) 에 대한 CHIMERA-BENCH 벤치마크 평가에서 EvoStruct 는 다음과 같은 성과를 거두었습니다:

• 최고의 서열 복구: 0.43 아미노산 복구율 (AAR) 로, 최상위 GNN 베이스라인 (0.37) 대비 16% 의 상대적 개선을 달성했습니다.
• 최저의 퍼플렉시티: 1.88 로 (RAAD 대비 43% 감소), 더 자신 있고 보정된 예측을 나타냅니다.
• 복원된 다양성: 12.4 의 유효 어휘 ($V_{eff}$) 를 달성하여 원래 다양성의 80% 를 복구했으며, GNN 베이스라인의 4.7~5.3 과 비교됩니다. 이는 2.3 배 더 큰 아미노산 다양성을 생성한 것입니다.
• 개선된 결합 상관관계: 파라토프 - 에피토프 쌍 상관관계 ($r=0.73$) 와 인터페이스 풍부화 상관관계 ($r=0.81$) 에서 최고치를 달성하여, 항원 정보가 서열 헤드로 성공적으로 라우팅되었음을 시사합니다.
• 구조적 품질: 1.84 Å 의 RMSD 를 가진 CDR 백본을 생성하여 최상위 GNN 방법들과 비교 가능한 수준을 보였습니다.

의의와 한계
이 논문은 EvoStruct 가 진화적 사전 지식을 활용하지 못하는 GNN 의 체계적 실패를 해결하며, 고정된 PLM 을 구조적 인코더와 연결하는 것이 항체 설계에 효과적인 전략임을 입증한다고 주장합니다. 이는 ESM-2 와 같은 모델의 어휘 보정이 CDR 설계로 이전 가능하여, 모델이 동시에 높은 정확도와 높은 다양성을 달성할 수 있음을 확립합니다.

그러나 저자들은 결합 지표에 대해 겸손합니다. EvoStruct 는 서열 품질에서 앞서지만, 최고 결합 인터페이스 지표 (예: $fnat$ 및 DockQ) 를 달성하지는 못합니다. 특히, 항원에 조건을 두지 않는 RefineGNN 이 약간 더 높은 결합 점수를 기록했습니다. 저자들은 이를 크로스 어텐션 어댑터가 인터페이스 예측을 위해 항원 구조 정보를 완전히 활용하지 못했기 때문으로 돌리며, 접촉 위치 복구가 모든 방법들에게 여전히 과제임을 지적합니다. 그들은 향후 연구가 항원 특이적 결합 예측을 더 개선하기 위해 더 풍부한 어댑터 아키텍처와 대안적인 목적 함수를 탐구해야 한다고 제안합니다.