기술 요약: GeoCycler

문제 정의

고리형 펩타이드는 폐쇄된 고리 토폴로지로 인해 안정성과 표적 특이성이 향상되어 상당한 치료적 잠재력을 제공합니다. 그러나 심층 생성 모델을 사용하여 이러한 분자를 de novo로 설계하는 것은 여전히 어렵습니다. 선형 펩타이드와 달리, 고리형 펩타이드는 희소하고, 비부드러우며, 조성적인 기하학적 제약 조건의 복잡한 집합을 만족해야 합니다. 유효한 후보 물질은 이산적인 화학적 전제 조건 (예: 호환 가능한 앵커 잔기 또는 링커 모티프) 과 연속적인 기하학적 제약 조건 (예: 폐쇄 거리, 국소 접합 기하학, 결합된 다중 고리 배열) 을 모두 충족해야 합니다.

기존 접근법은 주로 사전 훈련된 확산 모델을 이러한 제약 조건을 만족하도록 유도하기 위해 추론 시 안내 (inference-time guidance) (예: Classifier-Free Guidance, CFG) 에 의존합니다. 저자들은 이를 생성기가 학습한 속성이 아닌 외부 보정으로 간주한다고 주장합니다. 기본 분포가 고리 폐쇄에 대해 약하게 편향되어 있을 때, 추론 시 안내는 학습된 사전 분포와 원하는 제약 조건 다양성 (manifold) 사이의 불일치를 보상해야 하므로, 특히 희소하거나 결합된 제약 조건 하에서 신뢰할 수 없는 결과를 초래합니다.

방법론: GeoCycler

본 논문은 고리화 제어를 사후 표본 추출 보정에서 훈련 시 정책 정렬 (training-time policy alignment) 로 전환하도록 설계된 보상 가중 확산 정렬 프레임워크인 GeoCycler를 제안합니다. 이 프레임워크는 조건부 잠재 확산 모델을 미세 조정하여 자체 분포 하에서 폐쇄 일관성 구조를 생성할 확률을 높입니다.

핵심 구성 요소

1. 타입 게이트형 계단식 보상 (Type-Gated Stair Reward):

   • 동기: 거리 기반 피드백은 전제 조건 잔기 또는 링커 유형이 존재할 때만 의미가 있습니다. 화학적으로 호환되지 않는 앵커에 거리 보상을 부여하면 오해의 소지가 있는 신호를 제공합니다.
   • 메커니즘: 보상 함수 $R(M|C)$는 이진 타입 게이트 $I[C_{type}(M)]$와 거리 성분으로 분해됩니다. 거리 성분은 유계 계단식 보상 (bounded stair reward) 을 사용합니다:
     • 정확한 프록시 폐쇄가 충족되면 전체 보상이 부여됩니다.
     • "근접 실행 가능" 샘플에 대해서는 모양 함수 (shape function) 를 기반으로 중간 수준의 유계 피드백이 제공됩니다.
     • 화학적 전제 조건 (예: 특정 앵커 잔기) 이 충족되지 않으면 보상이 부여되지 않습니다.
   • 이 설계는 화학적으로 유효하지 않은 구성에서의 업데이트를 방지하면서 밀집된 기하학적 피드백을 제공합니다.

2. 보상 가중 정렬 목적 함수 (Reward-Weighted Alignment Objective):

   • GeoCycler 는 현재 생성기에서 종단 샘플을 수집하고, 이를 디코딩한 후 토폴로지 특이적 보점으로 점수를 매깁니다.
   • 이러한 점수는 표준 전방 확산 (forward-diffusion) 탈잡음 업데이트를 재가중치하는 데 사용됩니다. 정렬 손실은 다음과 같이 정의됩니다:
     $$L_{align}(\theta) = \mathbb{E} \left[ r_i \lambda(t) \| \tilde{\epsilon}_\theta(z_t, t, P, C) - \epsilon \|_2^2 \right]$$
     여기서 $r_i$는 정규화된 보상 가중치입니다.
   • 이 프레임워크는 양수 전용 보상 가중치 (positive-only reward weighting) 를 사용하여, 명시적으로 이질적인 부정적 집합을 적합시키지 않고 더 높은 보상을 받은 샘플을 강화합니다. 이는 실패가 많은 관련 없는 원인으로 발생할 수 있는 희소 기하학적 제약 조건에 더 적합하다고 주장됩니다.

3. 다중 토폴로지 훈련 및 재생 (Multi-Topology Training with Replay):

   • 단일 조건부 생성기가 스태플드 (stapled), 헤드-투-테일 (head-to-tail), 이황화 (disulfide), 이고리 (bicyclic) 의 네 가지 서로 다른 매크로 고리화 토폴로지에 걸쳐 정렬됩니다.
   • 표본 효율성을 높이고 훈련을 안정화하기 위해 FIFO 재생 버퍼가 종단 잠재 변수와 보상을 저장합니다. 미니배치는 새로 수집된 샘플과 재생된 고보상 패턴을 혼합하여, 온-정책 (on-policy) 표본 추출 중 희귀한 실행 가능 폐쇄 패턴이 급격히 손실되는 것을 방지합니다.

주요 기여

1. 훈련 시 정렬 프레임워크: 본 논문은 고리형 펩타이드 매크로 고리화를 희소하고 혼합된 이산 - 연속 정렬 문제로 재해석합니다. 이는 제약 조건이 있는 3D 구조 생성에 전방 과정 확산 강화 학습을 적용하여, 추론 시 조종에서 생성기 자체 최적화로 제어를 전환합니다.
2. 타입 게이트형 대리 보상: 전제 조건 앵커 호환성과 연속적 폐쇄 기하학을 분리하는 새로운 보상 설계입니다. 타입 조건이 충족된 후에만 거리 기반 형상화 (shaping) 를 활성화함으로써 희소 고리 폐쇄 목표에 대해 화학적으로 의미 있는 밀집 피드백을 제공합니다.
3. 통합 생성기: 서로 다른 화학을 위해 별도의 모델을 훈련시키는 방법과 달리, GeoCycler 는 여러 토폴로지 (스태플드, 헤드-투-테일, 이황화, 이고리) 에 걸쳐 단일 생성기를 정렬하여 기하학적 폐쇄 규칙성이 전략 간에 공유될 수 있음을 보여줍니다.

실험 결과

이 프레임워크는 LNR 벤치마크 (Large Non-Redundant dataset) 에서 pass@5(5 개 후보 중 하나 이상이 제약 조건을 만족하면 성공) 및 pass@1 지표를 사용하여 평가되었습니다.

• 성능 향상: GeoCycler 는 강력한 베이스라인 (PepGLAD, 에너지 안내 표본 추출, CP-Composer) 과 비교하여 네 가지 토폴로지 전반에서 가장 높은 pass@5 성공률을 달성했습니다.
  • 헤드-투-테일: CP-Composer 대비 성공률이 20.8 퍼센트 포인트 향상됨 (75.27% $\to$ 96.06%).
  • 이황화: 85.06% 에서 94.63% 로 향상됨.
  • 이고리: 3.45% 에서 11.49% 로 향상됨. 결합된 다중 고리 제약 조건의 어려움을 고려할 때 상당한 성과입니다.
• 분포 충실도: 이러한 향상은 심각한 분포 편향 (distributional drift) 에 기인한 것이 아닙니다. GeoCycler 는 아미노산 (AA-KL) 및 백본 이면각 (B-KL) 통계를 기본 모델 및 CP-Composer 와 비교 가능한 수준으로 유지했습니다.
• 절대 실험 (Ablation Studies):
  • 타입 게이트 또는 형상화 항 (shaping term) 을 제거하면 성능이 크게 저하되어, 화학적으로 게이트된 밀집 피드백의 필요성을 검증했습니다.
  • 양수 전용 정렬이 양수/부정 대안보다 우수하여, 실패 모드를 모델링하는 것보다 실행 가능 샘플에 집중하는 것이 더 효과적임을 시사합니다.
  • 재생 버퍼와 통합 훈련(단일 모델 대 토폴로지별 모델) 모두 평균 성공률 향상에 기여했습니다.
• 사후 검증: OpenMM 기반 구조 일관성 스크린은 GeoCycler 의 샘플이 지역적 완화 후에도 폐쇄 기하학을 유지하고 베이스라인보다 더 효과적으로 심각한 스테릭 충돌을 피했음을 확인했습니다. 특히 헤드-투-테일 및 이황화 토폴로지에서 두드러졌습니다.

중요성 및 주장

본 논문은 희소 기하학적 제약 조건에 대한 훈련 시 정렬이 사후 표본 추출 시간 보정에만 의존하는 것보다 유망한 대안이라고 주장합니다. 생성기 자체의 분포 하에서 폐쇄 일관성 구조가 더 확률적으로 나타나도록 확산 정책을 적응시킴으로써, GeoCycler 는 비부드럽고 조성적인 제약 조건을 처리하는 데 있어 추론 시 안내의 한계를 해결합니다.

저자들은 GeoCycler 를 새로운 백본 생성기가 아닌, 사전 훈련된 조건부 확산 모델을 정렬하는 방법으로 위치시킵니다. 결과는 보상 가중 훈련이 학습된 펩타이드 통계를 희생하지 않으면서도 (이고리 펩타이드에서 볼 수 있듯이) 결합된 다중 에지 제약을 조정하고 말단 백본 폐쇄를 효과적으로 촉진할 수 있음을 시사합니다. 이 연구는 매크로 고리화 실행 가능성은 국소 화학 유형과 3D 기하학의 호환성에 달려 있으며, 이는 표준 지도 미세 조정 (supervised fine-tuning) 으로 해결하기 어려운 문제임을 강조합니다.