Towards A Generative Protein Evolution Machine with DPLM-Evo

"Towards A Generative Protein Evolution Machine with DPLM-Evo" 논문에 대한 상세한 기술적 요약입니다.

1. 문제 제기

기존의 이산 확산 단백질 언어 모델 (DPLMs) 은 단백질 서열을 이해하고 생성하는 데 유망한 성과를 보여왔습니다. 그러나 이들은 생물학적 현실과 근본적으로 불일치하는 문제를 안고 있습니다:

• 마스킹 vs. 진화: 현재 DPLMs 는 **마스킹 확산 (masked diffusion)**에 의존합니다. 여기서 전방 과정은 토큰을 마스킹 토큰으로 대체하고, 생성은 이러한 마스크를 반복적으로 복구하는 과정을 포함합니다. 이는 단백질이 마스크의 공백에서 탄생하는 것이 아니라 **누적된 편집 (치환, 삽입, 삭제)**을 통해 진화한다는 생물학적 직관과 상반됩니다.
• 고정 길이 제한: 마스킹 확산은 고정 길이의 서열에서 작동합니다. 이는 유연한 영역 (루프) 재구성, 링커 길이 조절, 기능적 모티프 생성에 필수적인 **삽입 및 삭제 (Indels)**를 위한 내재적 메커니즘이 부족합니다.
• 비효율적인 학습: 표준 확산 모델은 종종 무작위 노이즈를 사용하여 오염을 일으키는데, 이는 생리학적 제약과 진화적 의존성을 무시하여 돌연변이 패턴 학습의 비효율성을 초래합니다.

결과적으로 기존 모델들은 다중 서열 정렬 (MSA) 에 의존하지 않고는 가변 길이 생성, 기존 단백질의 현실적인 사후 편집, 그리고 (특히 Indels 에 대한) 돌연변이 효과의 정확한 예측에 어려움을 겪습니다.

2. 방법론: DPLM-Evo

저자들은 치환, 삽입, 삭제 연산을 명시적으로 모델링하는 진화적 이산 확산 프레임워크인 DPLM-Evo를 제안합니다.

A. 잠재 정렬 공간 분리

고정 차원 계산 프레임워크 내에서 가변 길이 서열을 처리하기 위해 DPLM-Evo 는 두 가지 공간을 분리합니다:

1. 관측 공간 ($X$): 가변 길이의 단백질 서열 $x$.
2. 잠재 정렬 공간 ($Z$): 원래 잔기들과 교차 배치된 **갭 토큰 ($\phi$)**을 포함하는 업샘플링된 길이 공간 (예: $2 \times L$).

• 메커니즘: 전방 확산 과정은 잠재 공간 $Z$ 위에서 정의됩니다. Indels 는 잔기와 갭 토큰 간의 전이 ($\text{Residue} \leftrightarrow \phi$) 로 표현됩니다.
• 축소: 결정론적 함수 $\Gamma^{-1}$은 갭 토큰을 제거하여 잠재 서열을 관측 서열로 매핑합니다. 이를 통해 모델은 확장된 잠재 캔버스에서 길이 변경 연산 (삽입/삭제) 을 수행하면서도 축소된 관측 서열에서 효율적으로 작동할 수 있습니다.

B. 진화적 노이즈 커널

전방 노이즈 과정은 무작위 오염이 아닌 생물학적 진화를 모방하도록 설계되었습니다:

• 맥락화된 진화적 노이즈 커널: 균일한 무작위 치환 대신, 모델은 데이터 의존적 커널을 사용합니다. 목표 위치의 경우, 모델은 보조적으로 부분적으로 마스킹된 맥락을 샘플링하고, 예측을 위해 모델을 쿼리한 후 이 분포를 사용하여 토큰을 오염시킵니다. 이는 국소 서열 맥락과 진화적 제약을 존중하는 생물학적으로 타당한 돌연변이를 생성합니다.
• 워밍업 전략: 학습 초기에는 모델이 신뢰할 수 없으므로, 단순한 데이터 독립적 커널 (마스킹) 을 사용합니다. 학습이 완료되면 모델은 맥락화된 커널로 전환합니다.
• 전이 행렬 ($Q_{noise}$): 치환, 삽입, 삭제의 비율을 명시적으로 매개변수화하여 진화 궤적을 제어할 수 있게 합니다.

C. 아키텍처 및 학습

• 3-헤드 예측: 노이즈 제거 (denoising) 동안 모델은 관측 서열의 각 토큰에 대해 세 가지 양을 예측합니다:
  1. 치환 헤드: 아미노산 분포를 예측합니다.
  2. 삭제 헤드: 토큰이 제거되어야 하는지 ( $\phi$ 로 전이) 예측하는 이진 분류기입니다.
  3. 삽입 헤드: 오른쪽에 새로운 잔기가 삽입되어야 하는지 예측하는 이진 분류기입니다.
• 손실 함수: 학습 목표는 클래스 불균형 (치환은 빈번하고, Indels 는 희귀함) 을 해결하기 위해 세 가지 구성 요소 (치환, 삭제, 삽입) 로 분해되며 특정 가중치가 부여됩니다. 삭제와 삽입은 모드 붕괴를 방지하기 위해 이진 교차 엔트로피 (BCE) 작업으로 처리됩니다.

D. 샘플링 (생성)

역 과정은 반복적인 노이즈 제거 루프를 포함합니다:

1. 삭제: 높은 삭제 확률을 가진 토큰이 제거됩니다.
2. 삽입: 높은 삽입 확률을 가진 위치에서 마스킹 토큰이 삽입됩니다.
3. 치환: 모든 노이즈 토큰이 치환 헤드를 기반으로 업데이트됩니다.
4. 재노이즈: 다양성을 유지하고 국소 최적해를 피하기 위해 선택된 저신뢰도 토큰들이 맥락화된 커널을 사용하여 재노이즈됩니다.

3. 주요 기여

1. 진화적 이산 확산: "마스크 복구" 패러다임을 넘어 통합된 이산 확산 과정 내에서 치환, 삽입, 삭제를 명시적으로 모델링한 최초의 프레임워크입니다.
2. 길이 적응형 모델링: 잠재 정렬 공간을 관측 공간에서 분리함으로써, 계산 오버헤드를 거의 증가시키지 않으면서 가변 길이 생성 및 편집을 가능하게 합니다.
3. 생물학적 정보 기반 노이즈: 진화적으로 타당한 돌연변이를 생성하는 맥락화된 진화적 노이즈 커널을 도입하여 학습 효율성을 크게 향상시키고 모델이 진화적 의존성을 포착하는 능력을 개선했습니다.
4. 통합 이해 및 생성: 이 프레임워크는 생성 모델링과 진화 생물학 간의 간극을 메워 고품질 서열 생성과 정밀한 돌연변이 효과 예측을 모두 가능하게 합니다.

4. 실험 결과

A. 변이 효과 예측 (이해)

• ProteinGym 치환 벤치마크: DPLM-Evo 는 단일 서열 모델 중 최고 수준 (SOTA) 성능을 달성하여 ESM-2, ESM-1v 및 원래 DPLM 을 능가합니다. 심지어 단일 서열 설정에서도 구조를 사용하는 ESM-IF1 을 능가합니다.
• ProteinGym Indel 벤치마크: DPLM-Evo 는 스피어만 상관관계 0.495를 달성하여 다른 단일 서열 베이스라인 (예: 0.464 의 ProGen2 M) 을 크게 능가하고 MSA 기반 방법에 근접합니다. 이는 명시적 Indel 모델링의 유효성을 입증합니다.
• Ablation: 맥락화된 커널을 균일 노이즈로 대체하면 성능이 크게 저하됩니다 (스피어만 0.42 $\to$ 0.295). 이는 생물학적 기반 노이즈의 중요성을 입증합니다.

B. 무조건부 생성

• 접힘 가능성 (Foldability): 생성된 서열은 높은 pLDDT 점수 (83.6) 를 달성하여 DPLM (84.0) 및 DiMA (83.3) 와 유사합니다.
• 다양성: DPLM-Evo 는 마스킹 확산 모델보다 높은 서열 엔트로피와 낮은 반복 비율을 보여주어 모드 붕괴를 효과적으로 완화합니다.
• 길이 제어: 모델은 초기 시드 근처에 집중된 길이의 서열을 생성하여 보수적이고 통제된 Indel 사용을 보여줍니다.

C. 조건부 생성 및 최적화

• 모티프 발판 (Motif Scaffolding): 제로샷 및 파인튜닝 설정에서 DPLM-Evo 는 동적 길이 조정을 활용하여 EvoDiff 및 DPLM-Mask 에 비해 기능적 모티프 발판 성공률이 더 높습니다.
• 지시 진화 (GFP): 녹색 형광 단백질 (GFP) 을 최적화할 때, Indel 지원을 갖춘 DPLM-Evo 는 7 회 반복에서 pTM 점수 0.857에 도달하여 치환 전용 모델보다 65% 빠르고 ESM-2 (0.737) 를 능가했습니다. 이는 크로모포어 구조를 유지하면서 전역 안정성을 개선하는 데 성공했습니다.
• in-silico 계족 확장: 모델은 구조적 유사성 (낮은 RMSD) 을 유지하면서 서열 동일성이 낮 (<50%) 은 다양한 서열을 단일 시드에서 생성하여 자연스러운 계족 확장을 효과적으로 시뮬레이션합니다.

5. 의의

DPLM-Evo 는 확산 모델의 수학적 프레임워크를 단백질 진화의 생물학적 현실과 정렬함으로써 단백질 생성 모델링의 패러다임 전환을 의미합니다.

• 실용적 영향: 이는 가변 길이 단백질 설계를 가능하게 하여 엔지니어들이 이전에 고정 길이 모델로는 어려웠던 루프와 링커를 자연스럽게 삽입하거나 삭제할 수 있게 합니다.
• 과학적 통찰: 맥락화된 커널의 성공은 단백질 진화가 매우 맥락 의존적임을 보여주며, 모델이 효과적이기 위해서는 이러한 의존성을 학습해야 함을 시사합니다.
• 효율성: 계산적으로 비용이 많이 드는 MSA 없이 돌연변이 예측에서 SOTA 성능을 달성하여 신속한 단백질 공학 및 신약 개발을 위한 강력한 도구가 됩니다.

요약하자면, DPLM-Evo 는 정적 서열 복구 도구에서 동적인 진화 시뮬레이터로 이산 확산을 변형시켜, 진화적 제약을 이해하고 명시적 편집 궤적을 통해 새로운 기능성 단백질을 생성할 수 있게 합니다.