기술 요약: 일반화된 포아송 흐름(Generalized Poisson Flow)을 통한 가변 길이 생성적 단백질 설계

문제 정의

단백로 설계, 특히 확산(diffusion) 및 흐름 매칭(flow matching)에 기반한 현재의 생성 모델들은 고정된 차원의 상태 공간 내에서 작동한다. 이러한 제약은 단백질의 길이를 샘플링 전에 미리 지정해야 함을 의미한다. 모티프 스캐폴딩(motif scaffolding)과 같이 최적의 길이를 사전에 알 수 없고, 결과 구조의 설계 가능성(designability)과 밀접하게 결합되어 있는 많은 단백질 설계 작업에서 이는 문제가 된다. 고정된 길이의 범위를 미리 지정하여 샘플링하는 것과 같은 기존 방식은 추론 비용을 증가시키며, 선택된 길이가 조건부 제약 조건과 호환되지 않을 경우 실행 가능한 설계를 발견하지 못할 수 있다. 또한, 기존의 가변 길이 생성 모델들은 연속형(좌표), 이산형(서열), 리만 기하학적(방향) 및 혼합 모달리티를 동시에 처리할 수 있는 통합된 확률적 프레임워크가 부족한 경우가 많다.

방법론: 일반화된 포아송 흐름 (GPFlow)

저자들은 비균질 일반화 포아송 과정(inhomogeneous generalized Poisson process)을 통해 단백질의 길이와 콘텐츠의 진화를 모델링하는 가변 길이 생성 프레임워크인 GPFlow를 소개한다.

1. 이론적 기초

GPFlow는 상태 $Y_t = (X_t, S_t)$로 구성된 확률 경로 $\{p_t\}_{t \in [0,1]}$를 구축한다. 여기서 $X_t \in \mathbb{N}$은 길이 성분이고, $S_t$는 콘텐츠 성분(연속형, 이산형 또는 리만 기하학적 데이터가 될 수 있음)이다.

• 길이 진화: 길이 $X_t$는 속도 함수(rate function) $\lambda_t$에 의해 정의된 일반화된 포아송 과정을 통해 진화한다. 이 과정은 $X_0=0$에서 시작하여 목표 길이 $X_1=L$까지 성장한다.
• 한계 정리(Marginalization): 저자들은 보조 삽입 시간(auxiliary insertion times)을 분석적으로 한계화함으로써, 확률 과정의 음의 로그 가능도(NLL)로부터 다루기 쉬운 목적 함수를 유도한다. 결정적으로, 이 방식은 시뮬레이션이 필요 없는(simulation-free) 학습 목적 함수를 제공한다.
• 멀티모달 확장: 이 프레임워크는 기존 구성 요소를 정교화하는 "길이 내(within-length)" 생성기($B_t$)와 길이를 결합한다(예: 좌표 업데이트 또는 아미노산 유형 변경). 이론적 보증을 통해, 결합 분포에 대한 한계 생성기는 현재 상태에 대한 클린 타겟(clean target)의 사후 기대값(posterior expectations)을 통해 유도될 수 있음을 보여준다.

2. 학습 목적 함수

학습 목적 함수는 세 가지 항의 합(식 8)으로 구성된다:

1. 속도 손실 ($L_{GP}$): 포아송 NLL로부터 유도되며, 삽입 속도 $\lambda_t$를 학습한다. 이는 시뮬레이션이 필요 없으며, 종점 $X_1$, 샘플링된 시간 $t$, 그리고 중간 상태 $X_t$만을 필요로 한다.
2. 재구성 손실 ($L_{rec}$): 새로운 삽입에 대한 샘플링 분포 $\rho_t$를 학습하는 가중치 항이다.
3. 흐름 매칭 손실 ($L_{FM}$): 길이 내 역학(연속/리만 데이터의 벡터장 또는 이산 데이터의 전이율)을 학습하는 가중치 항이다.

3. 이론적 보증

본 논문은 결합 멀티모달 분포를 복구하기 위한 모집단 수준의 보증을 확립한다. 또한, 데이터와 생성된 분포 사이의 **KL 발산에 대한 생성기 기반 상한(generator-based upper bound)**을 도출한다. 이 상한은 GPFlow 목적 함수의 가산적 손실(additive losses)이 특정 KL 발산 항을 최소화하는 것과 대응함을 보여주며, 이는 학습 역학과 분포 복구 사이의 원칙적인 연결을 제공한다.

주요 기여

1. 통합된 가변 차원 확률 흐름: GPFlow는 동일한 구조 내에서 연속형, 이산형, 리만 기하학적 및 혼합 모달리티를 수용할 수 있는 단일화된 가변 길이 모델링 방식을 제공한다.
2. 시뮬레이션이 필요 없는 가능도 학습: 저자들은 보조 삽입 시간을 분석적으로 한계화하여, 시뮬레이션 없이도 추출 가능한 속도 목적 함수를 유도함으로써 학습 과정에서의 시뮬레이션을 제거했다.
3. 이론적 상한: 본 연구는 결합 분포의 모집단 수준 복구를 증명하고, 생성기 기반의 KL 발산 상한을 설정함으로써, 기존 작업의 경험적 선택들과 비교하여 가변 길이 생성 역학에 대한 더 깊은 이론적 이해를 제공한다.
4. 포괄적인 경험적 검증: 프레임워크는 다섯 가지 다양한 단백질 설계 시나리오에 걸쳐 구현되었으며, 목표 길이를 지정하지 않고도 우수한 성능을 입증했다.

실험 결과

저자들은 유클리드, 범주형 및 리만 모달리티를 아우르는 다섯 가지 작업에 대해 GPFlow를 평가하였다.

1. 무조건적 구조 설계 (Unconditional Structure Design)

• 설정: PDB 및 AFDB 데이터셋에서 Proteina(CA-only 흐름 기반 모델)와 비교하였다.
• 결과: GPFlow는 대응하는 Proteina 베이스 모델(예: PDB에서 96.1% vs. 77.6%)보다 구조적 **설계 가능성(designability)**을 3.9%~18.5% 향상시켰다. 또한 경험적 길이 분포를 완벽하게 복구하였고(평균 길이 153.7 vs. 150), 다양성을 유지하면서도 더 높은 구조적 신규성(기존 구조에 대한 낮은 TM-score)을 달로했다.

2. 무조건적 서열 설계 (Unconditional Sequence Design)

• 설정: 41M개의 UniRef50 서열로 학습된 642M 파라미터 모델을 사용하여 DPLM, EvoDiff, ESM3, SCISOR와 비교하였다.
• 결과: GPFlow는 평균 pLDDT(구조적 접힘 가능성) 측면에서 UniRef50 통계치에 가장 근접한 결과를 얻었다(DPLM의 14.40 대비 GPFlow는 차이가 3.17에 불과함). 또한 베이스라인보다 더 높은 다양성과 더 나은 2차 구조 구성을 유지하였다. 고정 길이 모델과 달리, GPFlow는 외부 길이 조건 없이 학습된 데이터와 일치하는 창발적 길이 사전 확률(emergent length prior)을 학습했다.

3. 모티프 스캐폴딩 (조건부) (Motif Scaffolding - Conditional)

• 설정: RFDiffusion 벤치마크의 16개 작업에 대한 구조 기반 모티프 스캐폴딩.
• 결과: GPFlow는 16개 작업 중 10개에서 1위를 차지했다. Proteina 및 기타 베이스라인 모델과 비교했을 때 훨씬 더 많은 고유 성공 사례(예: 작업 1YCR1에서 413 vs. 249)를 생성했다. 가변 길이 접근 방식 덕분에 모델은 고정 길이 모델에서 사용되는 사전 정의된 컨티그 템플릿(contig templates)보다 더 넓은 범위의 길이에서 성공적인 스캐폴드를 생성할 수 있었다.

4. 펩타이드 구조-서열 공동 설계 (Peptide Structure-Sequence Co-Design)

• 설정: 수용체(receptor)가 주어졌을 때 펩타이드 구조와 서열을 공동 생성하며, RFdiffusion+MPNN, ProteinGenerator, PepFlow와 비교하였다.
• 결과: GPFlow는 설계 가능성(Designability) 및 **다양성(Diversity)**을 포함한 8개 지표 중 4개에서 최고의 성능을 보였다. 특히, GPFlow는 네이티브 길이 오라클(native-length oracle)에 의존하는 대신 학습된 속도 함수로부터 펩타이드 길이를 샘플링하는 유일한 모델로, 네이티브 길이를 알 수 없는 de novo 설계에서 결정적인 이점을 가진다.

의의 및 주장

본 논문은 GPFlow가 단백질 설계에서 사전에 지정된 길이를 요구하는 제한적인 요구 사항을 제거함으로써 중요한 진전을 이루었다고 주장한다. 연속형, 이산형 및 리만 기하학적 모달리티를 하나의 일반화된 포아송 흐름 프레임워크 아래 통합함으로써, GPFlow는 유연성(알 수 없는 최적 길이에 적응)과 성능(설계 가능성 및 분포 적합성 측면에서 고정 길이 베이스라인을 능가함)을 모두 제공한다.

저자들은 이 접근 방식이 단순한 공학적 적응이 아니라 엄격한 확률 과정 이론에 근거하고 있음을 강조한다. 시뮬레이션이 필요 없는 NLL의 유도와 KL 발산 상한의 확립은, 가변 길이 모델링에서 흔히 사용되는 경험적 휴리스틱에 대한 원칙적인 대안을 제공한다. 결과적으로, 동적 길이 모델링은 길이를 별도의 하이퍼파라미터로 취급하는 대신, 길이와 구조/서열의 결합 분포를 더 잘 포착함으로써 고정 길이 시스템의 품질을 본질적으로 개선할 수 있음을 시사한다.

한계점: 저자들은 특히 서로 다른 모달리티가 상호작용하는 멀티모달 설정에서 GPFlow가 스케줄러 선택에 민감하다고 언급했다. 또한, $\tau$-leaping과 같은 추가적인 샘플링 기법이 미묘한 트레이드오프를 유발할 수 있으며 이에 대한 추가적인 경험적 탐색이 필요함을 인정했다.