RETROSPECT: RETROsynthesis via Sequential Prediction, and Chemically Transformed-ranking

RETROSPECT 기술 요약: 순차적 예측 및 화학적 변환 기반 랭킹을 통한 역합성(Retrosynthesis)

1. 문제 정의

본 논문은 표적 분자를 생성할 수 있는 전구체 분자를 식별하는 과정인 **단일 단계 역합성(single-step retrosynthesis)**의 과제를 다룹니다. 저자들은 유용한 단일 단계 모델이 기존 시스템에서 흔히 혼용되는 두 가지 뚜렷한 요구사항을 충족해야 한다고 주장합니다.

1. 제안 정확도(Proposal Accuracy): 올바른 해리(disconnection)를 랭킹된 리스트의 상위에 배치하는 능력.
2. 후보 풍부성(Candidate Richness): 최상위 제안을 사용할 수 없거나, 안전하지 않거나, 전략적으로 부적절할 때 하류(downstream)의 플래너나 화학자가 선택할 수 있도록 충분한 수의 타당한 대안을 보존하는 능력.

기존 시스템들은 종종 제안 생성과 랭킹을 하나의 단계로 통합합니다. 본 논문은 후보 생성과 후보 선택을 별개의 모듈형 단계로 취급하여 각 단계의 구체적인 기여도를 더 잘 이해할 수 있는 제안-선택 분해(proposal-selection decomposition) 방식을 제안합니다.

2. 방법론

제안된 시스템인 RETROSPECT는 제안 생성기와 학습 기반 랭킹(learning-to-rank) 재순위화(reranker)라는 두 가지 주요 구성 요소로 이루어져 있습니다.

A. 제안 모델: ChemAlign Transformer
생성기는 후보 전구체 풀을 생성하도록 설계된 인코더-디코더 트랜스포머(encoder-decoder Transformer)입니다. 이는 Augmented Transformer 구조를 기반으로 하지만, 다음과 같은 몇 가지 특정 최적화를 도입했습니다.

• 하이브리드 SMILES 증강: 훈련 데이터는 루트 정렬 SMILES(제품과 반응물의 트래버설을 대응하는 원자를 중심으로 정렬하여 편집 거리를 줄임)와 무작위 SMILES(트래버설 불변성을 유지함)를 혼합하여 증강됩니다. 이를 통해 하이브리드 감독 신호(supervision signal)를 생성합니다.
• 아키텍처 개선: 안정적인 최적화를 위해 Pre-LayerNorm을 사용하며, 인코더, 디코더, 출력 프로젝션 간의 가중치 공유(tied embeddings)를 적용하고, 검증 및 추론을 위해 지수 이동 평균(EMA) 가중치를 활용합니다.
• 미분 가능한 보조 손실(Differentiable Auxiliary Loss): 기대 원소 개수(디코더 소프트맥스로부터 유도됨)와 실제 원소 비율 사이의 편차에 벌점을 부여하는 미분 가능한 원자 균형 손실(atom-balance loss)을 추가합니다. 이는 모델이 질량 균형 위반으로부터 벗어나도록 유도하지만, 엄격한 제약 조건으로 작作用하지는 않습니다.
• 훈련 프로토콜: USPTO-50K 데이터셋의 40,008개 반응을 사용하여 훈련하며, 반응당 16개의 루트 정렬 SMILES와 4개의 무작위 SMILES를 포함한 20배 오프라인 증강을 수행합니다.

B. 재순위화 모델: LambdaMART
생성기가 병합된 후보 풀(여러 SMILES 트래버설에 걸쳐 중복 제거됨)을 생성하면, LambdaMART(학습 기반 랭킹) 모델이 후보들의 순서를 재조정합니다.

• 특징(Features): 재순위화 모델은 네 가지 특징 블록을 사용합니다.
  1. 상류 제안 점수(Upstream Proposal Score): 생성기의 원시 점수.
  2. 구조적 기술자(Structural Descriptors): 파마코포어(pharmacophore) 개수, 작용기, 원자 개수 차이, 핑거프린트 유사도(Morgan/MACCS).
  3. 반응 템플릿 기술자(Reaction-Template Descriptors): 템플릿 추출 가능성, 해시된 템플릿 식별자, 그리고 훈련 시 고정된 템플릿 빈도 통계.
  4. DFT 유도 기술자(선택 사항): HOMO, LUMO, 에너지 갭, 쌍극자 모멘트, 경도(hardness), 연성(softness) 및 프런티어 궤도 특징의 반응 수준 차이.
• 훈련 전략: 모델은 각 생성물 내에서 그룹 단위로 listwise rank:ndcg 목적 함수를 사용하여 훈련됩니다. 정확한 전구체 세트 일치에 가장 높은 이득을 주는 등급별 관련성 레이블이 사용됩니다. 결정적으로, 데이터 누수를 방지하기 위해 빈도 스타일의 통계치는 훈련 스플릿에서 고정됩니다.

3. 주요 기여

1. 모듈형 프레임워크: 후보 생성과 후보 선택을 명확히 분리하여 제안 품질과 랭킹 효능을 독립적으로 분석할 수 있게 하는 RETROSPECT를 도입했습니다.
2. ChemAlign Transformer: 하이브리드 증강, Pre-LayerNorm, 가중치 공유, 원자 균형 규제를 통해 강력한 단일 모델 성능을 달 achieves 하는 정교한 트랜스포머 변형 모델입니다.
3. LambdaMART 재순위화 구현: 구조적, 템플릿, DFT 특징을 통합하고 빈도 통계 처리를 위한 특정 프로토콜을 갖춘 견고한 재순위화 파이프라인을 구축했습니다.
4. 절제 실험(Ablation Analysis): 재순위화 신호의 출처를 상세히 조사하여, 상류 점수와 템플릿 통계가 지배적인 요인이며 DFT 특징은 작고 일관성이 낮은 이득을 제공한다는 것을 확인했습니다.

4. 실험 결과

시스템은 표준 USPTO-50K 테스트 세트(5,007개 반응)를 통해 평가되었습니다.

• 단일 모델 성능 (생성기 전용):

  • Top-1 정확도: 55.00%
  • Top-10 정확도: 86.18%
  • Top-1 유효성(Validity): 99.86%
  • 절제 실험 통찰: 하이브리드 루트 정렬 SMILES 증강이 지배적인 설계 선택이었으며, 스케일링된 베이스라인 대비 Top-1 정확도를 9.23 퍼센트 포인트 향상시켰습니다.

• 재순위화 성능 (전체 RETROSPECT):

  • 제품당 약 111개의 후보가 포함된 병합된 후보 풀에서 평가되었습니다.
  • Top-1 정확도: 55.00%에서 **59.4%**로 향상되었습니다.
  • Top-10 정확도: 86.18%에서 **93.06%**로 향상되었습니다.
  • 평균 역순위(Mean Reciprocal Rank, MRR): 0.7171.

• 특징 중요도:

  • 상류 제안 점수가 단일 가장 강력한 특징입니다.
  • 템플릿 빈도 및 템플릿 식별자 특징이 그다음으로 큰 이득을 제공합니다.
  • DFT 및 반응 중심 DFT는 작고 일관되지 않은 이득을 보여, 현재로서는 구조 및 템플릿 특징에 비해 부차적인 것으로 나타났습니다.

5. 의의 및 주장

저자들은 의도적으로 보수적인 입장을 취하며 RETROSPECT를 제시합니다. 그들은 모든 구성 요소가 발표된 최고의 엔드 투 엔드(end-to-end) 베이스라인(예: RetroChimera 또는 EditRetro)을 일률적으로 능가한다고 주장하지 않습니다. 대신, 본 논문은 역합성의 모듈형 관점을 주장합니다.

1. 상호 보완성: 강력한 단일 모델 제안과 학습된 후보 선택은 상호 보완적입니다. 제안 모델은 풍부한 후보 풀을 보장하고, 재순위화 모델은 학습된 신호를 바탕으로 순서를 최적화합니다.
2. 드롭인 유틸리티(Drop-in Utility): ChemAlign Transformer는 경쟁력 있는 단독 시스템으로 제시되지만, 특히 앙상블 시스템(예: RetroChimera)을 위한 매력적인 드롭인 구성 요소로서 강조됩니다.
3. 과학적 명확성: 이러한 분해 방식은 더 명확한 과학적 결론을 가능하게 합니다. 즉, 루트 정렬 증강이 제안 품질을 주도하며, 현재 설정에서의 재순위화 이득은 복잡한 DFT 계산보다는 제안 점수와 템플릿 사전 확률(priors)에 의해 주도된다는 점입니다.

저자들은 USPTO-50K에서의 정확도 측정이 표준적인 지표이긴 하지만, 본 시스템이 자율적인 플래너보다는 화학자를 위한 의사결정 지원 도구로 설계되었음을 강조하며, 실제 배포 시 인간의 검토와 안전 점검의 필요성을 역설하며 결론을 맺습니다.