기술 요약: 분자 특성 개선을 위한 PGFS++

문제 정의

초기 단계의 신약 개발에서 분자의 특성(예: 약물 유사성 또는 결합 친화도)을 개선하는 것은 매우 중요합니다. 그러나 제약 없는 화학 공간에서 최적화된 분자들은 합성 가능한 경로를 확보하지 못할 경우 실질적인 가치가 부족할 수 있습니다. PGFS(Forward Synthesis를 위한 Policy Gradient)와 같은 강화 학습(RL) 방법론은 합성 가능한 경로로 탐색을 제한함으로써 이 문제를 해결하려 하지만, 다음과 같은 구체적인 한계점을 가집니다:

1. 간접적인 반응물 선택: PGFS는 두 번째 반응물($R_2$)에 대한 연속적인 임베딩을 예측한 후, 최근접 이웃(nearest-neighbor) 검색을 통해 이산적인 분자를 추출합니다. 이는 최적화된 연속적 행동(continuous action)과 실행된 이산적 반응(discrete reaction) 사이에 불일치를 생성하여, 학습 효율성을 저해할 수 있습니다.
2. "마그넷 출력(Magnet Output)" 실패 모드: 개선된 변형 모델(제안된 PGFS+와 같은)조차 출력 다양성을 붕괴시킬 수 있습니다. 정책(policy)이 다양한 입력 분자를 단 하나의 높은 보상을 가진 "마그넷 분자"로 매핑하도록 학습되는 현상입니다. 이는 목표 속성 점수(예: QED)는 극대화하지만, 출력 다양성을 파괴하고 입력 특이적인 분자 개선을 달성하는 데 실패하게 만듭니다.

방법론

본 논문은 다양성을 보존하면서 분자 특성을 개선하고 명시적인 합성 경로를 보장하도록 설계된 합성 인식 RL 프레임워크인 **PGFS++**를 제안합니다.

1. 향상된 행동 공간 및 스코어링 (PGFS+)

PGFS의 한계를 해결하기 위해, 저자들은 먼저 **PGFS+**를 개발했습니다:

• 학습된 임베딩: 연속적인 임베딩을 예측하는 대신, PGFS+는 반응 템플릿과 두 번째 반응물($R_2$)에 대한 학습 가능한 임베딩 룩업 테이블(lookup tables)을 사용합니다.
• 직접적 글로벌 스코어링: 분자와 템플릿이 학습된 반응 공간으로 투영됩니다. 쿼리 벡터 $q = \text{concat}(\phi_1(R_1), \phi_T(T))$가 사용되어 어텐션(attention) 유사 메커니즘을 통해 모든 템플릿 호환 $R_2$ 후보군을 직접 스코어링합니다.
• 알고리즘 전환: 연속적 행동 알고리즘인 TD3를 인덱싱된 $R_2$ 행동 공간에 대해 범주형 정책(categorical policy)을 자연스럽게 지원하는 PPO(Proximal Policy Optimization)로 교체했습니다.
• 사전 계산된 마스크: 거대한 행동 공간을 처리하기 위해, 저자들은 RDKit 부분 구조 매칭을 사용하여 호환성 마스크를 사전 계산함으로써 후보 집합을 다룰 수 있는 크기(템플릿당 중앙값 약 1,000개)로 줄였습니다.

2. 다양성 붕괴 완화 (PGFS++)

다양한 입력이 동일한 고보상 출력으로 매핑되는 "마그넷 출력" 문제를 해결하기 위해, PGFS++는 보상 함수에 **입력-출력 유사성 보너스(Input-Output Similarity Bonus)**를 도입합니다.

• 보상 셰이핑: 에피소드 보상 $r_{episode}$은 입력($m_{in}$)과 출력($m_{out}$) 분자 사이의 타니모토 유사도(Tanimoto similarity)에 기반한 항을 포함하도록 수정됩니다:
  $$r_{episode} = r_{property}(m_{out}) \cdot (1 + c \cdot \text{sim}(m_{in}, m_{out}))$$
• 보상 캡핑(Capping): 유사도가 임계값 $\tau$ 미만으로 떨어지면, 정책이 입력 구조를 완전히 무시하는 것을 방지하기 위해 보상을 캡핑합니다.
• 이론적 정당성: 저자들은 이 제약 조건이 없을 경우, 정책이 "내부 편집 편향(inward edit bias)"(입력과 편집 변위 사이의 음의 공분산)을 유도하여 다양성 붕괴($D_{out} \to 0$)를 초래한다는 것을 도출했습니다. 유사성 보너스는 다양성 감소의 상한선을 조여, 모델이 단일 마그넷 분자로 수렴하는 대신 입력 특이적인 개선을 수행하도록 독려합니다.

주요 기여

1. PGFS++ 프레임워크: 이산 행동 공간, 사전 계산된 호환성 마스크, 그리고 반응물 선택을 위한 글로벌 어텐션 기반 스코어링을 활용하여 PGFS를 확장한 합성 제약 RL 프레임워크입니다.
2. 마그넷 출력 식별: 본 논문은 높은 속성 점수를 얻는 대가로 출력 다양성을 희생하는 합성 인식 분자 개선 과정에서의 특정 실패 모드를 식별하고 규명했습니다.
3. 입력-출력 유사성 보너스: 다양성 붕괴를 해결하기 위한 효과적인 메커니즘으로서 곱셈적 유사성 보너스를 제안하여, 모델이 입력 특이적 개선을 수행하면서도 높은 출력 다양성을 유지하도록 보장합니다.

실험 결과

프레임워크는 약 118,000개의 분자와 102개의 반응 템플릿 데이터셋을 통해 QED(약물 유사성 지수) 및 SEH(합성 용이성/건강성) 개선 성능을 평가받았습니다.

• 베이스라인 대비 성능: PGFS++는 속성 개선 및 다양성 지표 모두에서 PGFS 및 그 변형들(PGFS-TAC, PGFS-MB)보다 일관되게 우수한 성능을 보였습니다. 또한 REINVEΝT4(생성 모델) 및 SynFlowNet(GFlowNet 기반 방법)과 경쟁할 만한 성능을 달 achievement 했으며, 명시적인 합성 경로를 제공한다는 차별화된 장점을 가집니다.
• 다양성 보존: 테스트 입력의 약 97.8%에 대해 동일한 출력을 생성하며 다양성이 붕괴되었던 PGFS+와 달리, PGFS++는 높은 평균 QED를 달성하면서도 높은 출력 다양성을 유지했습니다.
• 절제 연구(Ablation Studies): 가법적(additive) 유사성 보너스와 승법적(multiplicative) 유사성 보너스의 비교를 통해, 승법적 형태(PGFS++에 사용됨)가 타겟 속성(QED)을 더 잘 보존하면서 마그넷 출력 문제를 효과적으로 완화함을 보여주었습니다.
• 지표: 본 프레임워크는 합성 제약이 없거나 다양성 붕괴를 겪는 베이스라인들과 비교하여 경로 인식 합성 가능성(RAS), 입력-출력 유사성 및 구조적 다양성 측면에서 우수한 성능을 입증했습니다.

의의 및 주장

본 논문은 PGFS++가 입력 특이적 분자 개선을 위한 중요한 진전임을 주장합니다. 입력을 전방 합성 궤적(forward-synthesis trajectory)의 시작점으로 취급하고 구조적 유사성을 강제함으로써, 이 프레임워크는 다양성을 희생하며 글로벌 최댓값을 최적화하는 "보상 해킹(reward hacking)" 동작을 피합니다.

저자들은 기존 방법들이 합성 제약을 무시하거나 합성 제약 하에서 다양성을 유지하는 데 실패했던 반면, PGFS++는 다음 세 가지 상충하는 목표를 성공적으로 균형 있게 조절한다고 강조합니다:

1. 속성 개선: QED와 같은 목표 지표의 극대화.
2. 합성 용이성: 명시적이고 유효한 합성 경로 제공.
3. 다양성: 출력이 단일 "마그넷" 솔루션으로 붕괴되지 않고, 입력에 대해 구조적으로 다양하고 특이적임을 보장.

이 연구는 리드 화합물의 스캐폴드나 특정 구조적 특징을 유지하는 것이 빈번히 요구되는 실제 신약 개발 과정에서, 효과적인 모델이 되기 위해서는 입력-출력 간의 연관성 상실을 명시적으로 처벌해야 함을 시사합니다.