Multi-Objective Reinforcement Learning for Generating Covalent Inhibitor Candidates

논문 요약: 다목적 강화학습을 활용한 공유결합성 억제제 후보 생성

1. 연구 배경 및 문제 정의 (Problem)

• 공유결합성 억제제 (Covalent Inhibitors) 의 중요성: 공유결합성 억제제는 표적 단백질의 친핵성 잔기 (예: 시스테인, 세린) 와 비가역적인 공유결합을 형성하여 높은 효능, 선택성 및 체내 잔류 시간을 제공합니다. (예: 이부루티닙, 오시머티닙)
• 설계의 난제: 비공유결합성 억제제와 달리, 공유결합성 억제제 설계는 **결합 친화도 (Binding Affinity)**뿐만 아니라 **전기친화성 (Electrophilic Reactivity)**과 **기하학적 배치 (Warhead-to-residue distance)**를 동시에 최적화해야 하는 복잡한 다목적 최적화 문제입니다.
• 기존 방법의 한계: 기존의 가상 스크리닝 (Virtual Screening) 은 기존 화합물 라이브러리 내에서만 탐색이 가능하여 새로운 화학 공간 (Chemical Space) 을 탐색하는 데 한계가 있습니다.

2. 방법론 (Methodology)

저자는 공유결합성 억제제 후보를 생성하기 위해 다목적 강화학습 (Multi-Objective RL) 파이프라인을 개발했습니다.

• 생성 모델 (Generative Model):

  • SMILES 문자열 기반의 사전 학습된 LSTM (Long Short-Term Memory) 모델을 사용했습니다.
  • 학습 데이터: Papyrus 데이터셋 (ChEMBL, PubChem, PDBBind 등 약 127 만 개의 구조) 으로 사전 학습된 DrugEx 프레임워크 기반 모델을 활용하여 훈련 시간을 단축하고 화학적 타당성을 확보했습니다.

• 다목적 보상 함수 (Scoring Functions):
  RL 에이전트가 생성한 분자를 평가하기 위해 공유결합성 약물 발견에 특화된 여러 스코어링 함수를 통합했습니다.

  1. 기본 제약 조건 (Viability):
     • 유효성 (Validity): SMILES 문법 오류 없음.
     • 합성 접근성 (SA): 합성 난이도 점수 (Ertl et al.).
     • 공유결합 활성 (Covalent Activity): GCNII 분류기를 통해 공유결합 반응 확률 예측 (임계값 $p \ge 0.75$).
     • 잔기 친화도 (Residue Affinity): GAT (Graph Attention Network) 분류기를 통해 표적 잔기 (Cys 또는 Ser/Thr) 와의 반응 확률 예측 (임계값 $p \ge 0.75$).
     • 도킹 스코어 근사 (Docking Score Approximation): GNN 을 사용하여 AutoDock Vina 의 도킹 스코어를 근사화 (EGFR 및 ACHE 전용 모델).
  2. 추가 최적화 목표:
     • 구조적 중첩 (Overlap): 알려진 억제제 (오시머티닙, 말라티온) 와의 3D 정렬 점수.
     • 유사도 (Similarity): 참조 스캐폴드 (퀴놀린) 와의 Tanimoto 유사도.
     • QED: 약물 유사성 점수.

• 강화학습 알고리즘:

  • 정책 경사 (Policy Gradient): 생성된 분자의 보상 점수 합을 최대화하도록 LSTM 파라미터를 업데이트.
  • 파레토 크래딩 거리 (Pareto Crowding Distance, PCD): 여러 목적 함수 (결합력, 반응성, 합성 용이성 등) 간의 균형을 유지하며, 파레토 프론트 (Pareto Front) 상에서 다양하게 분포된 해를 선택하도록 유도하여 생성된 분자의 다양성을 확보.

• 워헤드 (Warhead) 식별:

  • 생성된 분자 내에서 공유결합 반응 부위 (Warhead) 를 자동으로 식별하기 위해 GradCAM을 그래프 신경망에 적용하여 원자 수준의 중요도 맵을 생성했습니다.

3. 주요 결과 (Results)

연구는 **EGFR (Cys797 표적)**과 아세틸콜린에스테라제 (ACHE, Ser200 표적) 두 가지 표적에 대해 적용되었습니다.

• 기존 억제제 재발견 (Rediscovery):

  • 10,000 개의 구조 생성 시, EGFR 모델은 0.50%, ACHE 모델은 **0.74%**의 비율로 알려진 공유결합성 억제제를 재발견했습니다.
  • EGFR-3 모델이 가장 높은 재발견율을 보였으며, 추가적인 스코어링 함수가 너무 많으면 (EGFR-4 등) 최적화가 어려워져 생성된 유효 구조 수가 감소하는 경향이 관찰되었습니다.

• 워헤드 - 잔기 거리 (Warhead-to-Residue Distance):

  • 도킹 기반 스크리닝 후, 생성된 후보 물질들의 워헤드와 표적 잔기 사이의 거리가 물리적으로 타당한 범위에 있음을 확인했습니다.
  • EGFR: 최소 5.5 ˚A (오시머티닙의 3.35 ˚A 와 비교 가능).
  • ACHE: 최소 3.2 ˚A.

• 비전형적 워헤드 스캐폴드의 자발적 생성 (Key Finding):

  • 훈련 데이터 (ProteinReactiveDB) 에 존재하지 않았으나, 문헌에서 공유결합성 워헤드로 보고된 3 가지 비전형적 스캐폴드가 모델에 의해 자발적으로 생성되었습니다. 이는 RL 이 훈련 분포를 넘어 화학적으로 유의미한 영역을 탐색했음을 시사합니다.
    1. 알렌 (Allene): 히스티딘 잔기를 표적하는 워헤드.
    2. 3-옥소-β-설탐 (3-oxo-β-sultam): 세린 잔기를 표적하는 술포닐화 전기친화체.
    3. $\alpha$-메틸렌-$\beta$-락톤 ($\alpha$-methylene-$\beta$-lactone): Cys, Ser, Thr, Tyr, Lys 등 다양한 친핵성 잔기와 반응 가능한 이중 전기친화체.

4. 기여 및 의의 (Contributions & Significance)

• 공유결합성 약물 설계의 새로운 패러다임: 공유결합성 억제제 설계에 필요한 복잡한 다목적 제약 (반응성 + 결합력 + 기하학) 을 RL 프레임워크로 통합하여 성공적으로 해결했습니다.
• 화학 공간의 확장 (Extrapolation): 훈련 데이터에 없는 새로운 화학 구조 (비전형적 워헤드) 를 생성해냄으로써, 머신러닝 기반 생성 모델이 단순히 데이터를 모방하는 것을 넘어 새로운 화학적 아이디어를 창출할 수 있음을 증명했습니다.
• 실용적 도구: 이 파이프라인은 의약화학자들이 공유결합성 약물 발견 캠페인을 수행할 때, 실험적 스크리닝을 위한 고품질 후보 물질 선별을 지원하는 도구로 활용될 수 있습니다.

5. 한계점 (Limitations)

• 스코어링 함수의 의존성: RL 의 목표가 ML 모델 (도킹 스코어 근사, 분류기 등) 에 의해 정의되므로, 훈련 데이터의 편향 (Bias) 이 결과에 영향을 미칠 수 있습니다.
• 근사 오차: 도킹 스코어와 워헤드 위치 추정은 근사값이므로, 최종적인 반응 기하학은 실험적 검증이나 정밀한 분자 동역학 시뮬레이션이 필요합니다.
• 실험적 검증 부재: 현재까지의 결과는 계산적 예측에 기반하며, 실제 생물학적 활성에 대한 실험적 확인은 향후 과제로 남아 있습니다.

결론

이 연구는 다목적 강화학습을 활용하여 공유결합성 억제제 후보를 생성하는 효과적인 파이프라인을 제시했습니다. 기존 억제제의 재발견뿐만 아니라 훈련 데이터에 없는 새로운 화학적 구조를 생성함으로써, AI 기반 약물 설계가 공유결합성 약물 개발 분야에서 중요한 혁신을 이끌 수 있음을 보여주었습니다.