기술 요약: 펩타이드 서열 설계를 위한 최소 작용량 이산 슈뢰딩거 브릿지 매칭 (MadSBM)

문제 정의

펩타이드 서열에 대한 생성 모델링은 이산적이고 매우 제약이 많은 공간 내에서 작동하며, 이 공간의 많은 중간 상태는 화학적으로 불가능하거나 불안정할 수 있다. 기존의 이산 확산(discrete diffusion) 및 흐름 기반(flow-based) 방법들은 일반적으로 고정된 오염 과정을 역전시키거나 규정된 확률 경로를 따르는 데 의존한다. 이러한 접근 방식은 생성 궤적을 저확률 영역으로 강제하여, 고품질의 서열로 수렴하기 위해 많은 수의 샘플링 단계를 요구하게 된다. 또한, 생물학적 서열은 국소적 섭동(perturbation)에 민감하다. 수작업으로 설계된 확률 경로는 기능적 펩타이드의 매니폴드(manifold)와 일치하지 않을 수 있으며, 이는 무조건적(unconditional) 생성 및 유도(guided) 생성을 모두 복잡하게 만든다. 슈뢰딩거 브릿지 정식화는 작용량 함수(action functional)를 최소화하는 확률 경로를 정의함으로써 원칙적인 대안을 제시하지만, 고전적인 솔버들은 큰 어휘 집합을 가진 고차원 이산 서열 공간에서 실행 불가능한 반복적 전방-후방 투영(forward-backward projections)에 의존한다.

방법론

저자들은 **최소 작용량 이산 슈뢰딩거 브릿지 매칭(Minimal-Action Discrete Schrödinger Bridge Matching, MadSBM)**을 소개한다. 이는 아미노산 편집 그래프 상의 제어된 연속 시간 마르코프 연쇄(CTMC)로 펩타이드 서열의 진화를 모델링하는 속도 기반(rate-based) 생성 프레임워크이다.

핵심 정식화

1. 참조 프로세스 ($P_0$): 단순한 균등 무작위 보행 대신, MadSBM은 생물학적으로 정보가 풍부한 참조 프로세스를 정의한다. 참조 생성기 $R_0$는 사전 학습된 단백질 언어 모델(ESM-2-650M)의 로짓(logits)을 활용하여 토큰 타당성에 대한 국소적 척도를 제공한다. 이를 통해 참조 역학이 펩타이드 생물물리학에 근거하도록 보장한다.
2. 제어 프로세스 ($P_u$): 생성은 지수 틸팅(exponential tilt)을 통해 참조 프로세스를 데이터 분포로 유도하는 것으로 정식화된다. 제어된 생성기 $R_u$는 다음과 같이 정의된다:
   $$R_u(x, x') = R_0(x, x') \exp(u(x, x'))$$
   여기서 $u$는 로그 포텐셜(log-potential) 역할을 하는 학습 가능한 제어 필드이다.
3. 목적 함수: 목표는 엔드포인트 제약 조건(마스크된 사전 분포 $\mu_0$를 데이터 분포 $\mu_1$에 매칭)을 준수하면서, 제어된 경로 측도와 참조 측도 사이의 상대 엔트로피(KL 발산)를 최소화하는 제어 필드 $u$를 찾는 것이다. 이는 **최소 작용량 수송 경로(minimal-action transport path)**를 찾는 것에 해당한다.

학습 및 훈련

• 시뮬레이션 프리 학습 (Simulation-Free Learning): 실행 불가능한 전방-후방 솔버를 피하기 위해, 저자들은 다루기 쉬운 훈련 목적 함수를 도출한다. 그들은 오염된 토큰에 대한 교차 엔트로피 손실을 최소화하는 것이 모델의 전이 커널과 최적의 전방 전이(forward transitions) 사이의 KL 발산을 최소화하는 것과 동일함을 보여준다.
• 아키텍처: 제어 필드 $u_\theta$는 5천만 개의 파라미터를 가진 디퓨전 트랜스포머(Diffusion Transformer, DiT)로 매개변수화된다. 이는 동결된 ESM-2 모델로부터 시간 조건부 임베딩을 입력받는다.
• 보간 (Interpolation): 중간 상태는 토큰을 확률 $1-t$로 마스킹하고 대상 토큰을 확률 $t$로 드러냄으로써 구축되며, 이는 브릿지 주변 분포(bridge marginals)를 근사하는 전방 섭동 커널을 생성한다.

샘플링 및 가이던스

• 샘플링: 생성 절차는 $t=1$에서 $t=0$까지의 역방향 적분을 포함한다. 각 단계에서 모델은 학습된 전이율에 의해 제어되는 푸아송 점프 프로세스(Poisson jump processes)에 따라 토큰이 업데이트되는 CTMC를 시뮬레이션한다.
• 목적 함수 가이던스 (Objective-Guided Sampling): 논문은 슈뢰딩거 브릿지 모델에 **이산 분류기 가이던스(discrete classifier guidance)**를 적용하는 새로운 응용법을 도입한다. 특정 기능적 목적(예: 결합 친화도)을 최적화하기 위해, 샘플링 절차는 각 단계에서 여러 후보 서열을 추출하고, 외부 분류기(결합 친화도 예측기)를 사용하여 점수를 매긴 뒤, 이 점수를 바탕으로 다음 토큰을 선택한다. 이는 슈뢰딩거 브릿지 기반 생성 모델에 이러한 가이던스를 적용한 첫 사례이다.

주요 기여

1. 정식화: 저자들은 펩타이드 서열 생성을 이산 슈뢰딩거 브릿지 문제로 구성하였으며, 설계를 노이즈가 있는 사전 분포와 데이터 분포 사이의 최소 작용량 확률 수송 문제로 프레임화하였다.
2. 알고리즘: 복잡한 브릿지 문제를 단순한 교차 엔트로피 목적 함수로 줄여, 명시적인 전방-후방 솔버 없이도 최소 작용량 수송과 일관성을 유지하는 시뮬레이션 프리 학습 규칙을 제안한다.
3. 모델 성능: MadSBM은 이산 확산 베이스라인보다 샘ming 효율성과 안정성이 향상된 제어 가능한 속도 기반 모델로 제시된다. 이는 낮은 샘플링 예산 하에서도 목적 가이던드 설계를 지원한다.
4. 가이던스의 참신함: 본 연구는 이산 분류기 가이던스를 슈뢰딩거 브릿지 기반 생성 모델에 적용한 최초의 사례를 입증하며, 치료용 펩타이드의 설계 공간을 확장한다.

결과

• 무조건적 생성 (Unconditional Generation): MadSBM은 다양한 샘플링 예산($N=32, 64, 128$)에서 최첨단 이산 확산 모델인 EvoFlow에 비해 더 낮은(더 좋은) 의사 퍼플렉시티(pseudo-perplexity, PPL)를 생성한다. 특히, MadSBM은 낮은 샘플링 단계($N=32$)에서도 경쟁력 있는 구조적 안정성(pLDDT)을 유지하면서 더 높은 생물학적 정렬도를 달야내며 베이스라인을 능가한다.
• 확률 경로: 생성 중 음의 로그 가능도(NLL) 분석 결과, MadSBM은 확산 모델의 제한된 궤적에 비해 더 높은 분산을 가진 더 넓은 범위의 확률 수송 경로를 탐색함을 보여준다. 이를 통해 MadSBM은 생성 과정의 초기 단계에서 서열 매니폴드의 고확률 영역에 도달할 수 있다.
• 절제 연구 (Ablation Studies): 생물학적 정보가 풍부한 참조(ESM-2) 또는 시간 게이팅 메커즘을 제거하면 성능이 저하되며, 이는 원칙적이고 시간 제어된 참조 프로세스의 필요성을 입증한다.
• 결합 친화도 최적화: 네 가지 질병 관련 단백질을 대상으로 한 실험에서, MadSBM 생성 펩타이드(무조건적 및 가이던스 모두)는 기존의 알려진 결합체들보다 우수한 결합 친화도와 도킹 점수를 보여주었다. 가이던스 샘플링 접근 방식은 이러한 지표를 더욱 개선하여, 알려진 결합체가 없는 타겟에 대해서도 후보 물질을 성공적으로 설계하였다.

의의 및 주장

본 논문은 MadSBM이 펩타이드 생성을 속도 기반 확률 수송 문제로 재정의하며, 정보가 풍부한 생물학적 참조와 결합될 때 이산 공간에서 낮은 작용량의 슈뢰딩거 브릿지 역학을 직접 학습할 수 있음을 입증한다고 주장한다.

저자들은 자신들의 방법이 샘플링 전반에 걸쳐 고확률 펩타이드 근방에 가깝게 유지되는 확률 경로를 생성하여, 이산 확산 및 흐름 기반 베이스라인보다 실질적으로 낮은 샘플링 예산에서도 개선된 퍼플렉시티와 경쟁력 있는 구조적 신뢰도를 제공한다고 단언한다. 또한, 종점 분포뿐만 아니라 전체 확률 궤적을 노출함으로써 생성 과정을 더 해석 가능하고 감사 가능하게 만든다는 점을 강조한다.

저자들은 즉각적인 임상 적용에 대해서는 신중한 입장을 취하며, 생성된 펩타이드를 실험적으로 검증하고 화학적으로 인지된 참조 프로세스를 정교화하는 후속 연구가 필요하다고 언급한다. 현재의 초점은 짧은 펩타이드 서열에 맞춰져 있으며, 실험적 배치 전에는 다운스트림 검증 및 안전성 인지 필터링이 필수적임을 강조한다. 저자들의 지식 범위 내에서, 이는 슈뢰딩거 브릿지 기반 생성 모델에 이산 분류기 가이던스를 적용한 첫 번째 사례이다.