기술 요약: 분자 설계를 위한 강화 학습 (Reinforcement Learning for Molecule Design)

문제 정의

새로운 신약 발견은 근본적으로 천문학적인 규모의 화학 공간 내에서의 탐색 문제이며, 이 공간에는 합성 가능한 약물 유사 소분자 중 약 $10^{60}$개 이상의 분자가 존재할 것으로 추정된다. 검증된 화합물들이 저장된 기존의 공공 저장소(예: ChEMBL, PubChem)는 이 공간의 극히 일부분만을 다루고 있다. 이러한 희소성은 효능, 용해도, 합성 가능성 등 상충하는 기준들을 노이즈가 있는 오라클(oracle)을 통해 동시에 만족시켜야 하는 다중 목적(multi-objective) 특성에 의해 더욱 심화된다.

전통적인 고속 대량 스크리닝(high-throughput screening)은 비용이 많이 들고 속도가 느리다. 진화 알고리즘과 초기 딥러닝 방식(RNN, VAE, GAN)은 자동화된 생성을 도입했으나, 종종 유도된(directed) 혹은 특정 성질에 특화된 피드백이 부족했다. 강화 학습(RL)은 생성 모델을 목표 지향적 최적화 도구로 변모시키는 가교 역할을 하며 부상했으나, 현재 이 분야에는 de novo 생성과 리드 최적화(lead optimization)를 구분하는 통일된 분류 체계가 부족하며, 벤치마크 성능과 실제 합성 가능성 사이의 간극을 충분히 다루지 못하고 있다.

방법론 및 분류 체계

본 조사는 RL 기반 분자 설계의 지형을 네 가지 주요 알고리즘 군으로 정리하며, 언어 모델을 화학적 도구를 사용하는 에이전트로서 작용할 수 있는 교차 계층으로 취급한다.

1. 알고리즘 군 (Algorithmic Families)

• 가치 기반 방법 (Value-Based Methods): 상태-행동 가치 함수(Q-function)를 학습하는 접근법이다. 대표적인 예로 MolDQN이 있으며, 이는 분자 편집을 이산적 결정 문제로 프레임화하여 100% 화학적 타당성을 보장한다. 또한 특정 단백질 표적에 대해 사전 훈련 없이 리드를 최적화하는 MORLD도 있다. 이 방법들은 안정적인 그래디언트를 제공하지만, 수동으로 지정된 이산적 행동 공간에 의해 제약을 받는다.
• 정책 경사 방법 (Policy-Gradient Methods): 가장 널리 쓰이는 군으로, 확률적 정책을 직접 매개변수화한다.
  • 기초 모델: REINVENT(RNN 기반), ReLeASE(Stack-RNN), 그리고 표현 방식을 문자열에서 그래프로 전환하여 타당성을 확보한 GCPN(Graph Convolutional Policy Network)이 포함된다.
  • 파생 모델: 정책 붕괴(policy collapse)를 방지하기 위해 클리핑된 대리 목적 함수를 사용하는 PPO 기반 접근법(예: RJ-RL, **FragGPT)과, 분산을 줄이기 위해 학습된 가치 추정치를 사용하는 액터-크리틱(Actor-Critic) 방법(예: MagicMol, SHARP)이 있다.
  • 메모리 및 적대적 모델: RANC와 ATNC와 같은 방법들은 모드 붕괴(mode collapse)를 완화하기 위해 메모리 모듈이나 적대적 임계값을 통합한다.
• 보상 비례 방법 (Reward-Proportional Methods): GFlowNets로 대표되는 이 방법은 특정 구조에서 종료될 확률이 해당 구조의 보상에 비례하도록 순방향 정책을 학습한다. 이는 단순히 보상 극대화자에 집중하기보다 다양한 후보 생성을 가능하게 한다. Reaction-GFlowNet (RGFN) 및 SynFlowNet과 같은 변형 모델들은 생성을 실행 가능한 화학 반응으로 제한한다.
• 탐색 기반 방법 (Search-Based Methods): 이를 그래디언트 기반 업데이트가 아닌 트리 탐색(예: 몬테카를로 트리 탐색 - MCTS)으로 취급한다. ChemTS와 TRACER가 대표적이며, 이들은 화학 공간을 탐색하거나 합성 경로를 최적화하기 위해 MCTS와 학습된 정책을 결래한다.
• 에이전트 기반 접근법 (Agentic Approaches): 대규모 언어 모델(LLM)이 외부 화학 도구(예: MolAct, ChemCRAFT)를 호출하는 추론 에이전트로 작용하는 신흥 트렌드로, 화학적 타당성의 부담을 정책 가중치에서 도구 자체로 전이시킨다.

2. 오라클 지형 및 벤치마크

본 논문은 오라클을 충실도(fidelity)와 비용에 따라 네 가지 단계로 분류한다.

• Tier 1: 휴리스틱 점수(QED, SA, pLogP) – 저렴하고 빠르지만 약한 대리 지표이다.
• Tier 2: 사전 훈련된 QSAR 분류기(예: DRD2, JNK3) – 비용이 적게 들지만 훈련 편향을 상속받는다.
• Tier 3: 분자 도킹(예: AutoDock Vina, Glide) – 중간 정도의 비용(초/분 단위)이 발생한다.
• Tier 4: 물리 기반 방법(FEP, MD, MM-GBSA) – 높은 충실도를 가지나 전수 조사를 수행하기에는 비용이 매우 높다.

본 조사는 기존 벤치마크(MOSES, GuacaMol, PMO, TDC, DOCKSTRING)가 무조건적 생성(unconditional generation)과 리드 최적화(사용자 제공 입력을 수정하는 것)를 구분하지 못하는 경우가 많다고 비판한다. 또한 오라클 클래스, 예산 캡(budget caps), 그리고 리드 입력 플래그의 존재 여부에 따른 벤치마크 분류를 도입한다.

3. 경험적 사례 연구

입력 조건부 연구의 부족을 해결하기 위해, 저자들은 네 개의 해체된 DRD2 인식 코어와 FDA 승인 길항제인 리스페리돈(risperidone)(음성 대조군으로서)을 최적화하는 사례 연구를 수행했다.

• 비교 모델: TRACER(MCTS 기반) vs RGFN(보상 비례 GFlowNet).
• 설정: 두 모델은 서로의 스코어링된 독특한 분자 수에 맞춰 절단된 동일한 오라클 예산 하에서 실행되었다.
• 결과:
  • TRACER는 개별 리드에 대해 더 높은 피크 복합 점수(예: Lead#2에서 0.902 vs 0.870)를 달察하였으며, 시드(seed)의 인접 영역에서 효율적인 힐 클라이머(hill-climber) 역할을 수행했다.
  • RGFN은 실질적으로 더 많은 수의 독특한 "모드(modes)"(화학적으로 구별되는 클러스터)를 반환했으며, 시드보다 높은 영역의 더 넓은 공간을 탐색했다(예: 시드를 능가하는 분자가 약 3배 더 많고, 독특한 모드는 약 4배 더 많음).
  • 두 방법 모두 리스페리돈을 최적화하지 못했으며, 이는 리스페리돈이 보상의 상한선(reward ceiling)임을 확인시켜 주었다.
  • 연구는 보상 극대화(탐색) 방식과 보상 비례(샘플링) 방식이 엄격한 서열 관계에 있는 것이 아니라, 하나는 최적의 단일 분자를 찾는 데 뛰어나고 다른 하나는 다양한 고품질 후보를 나열하는 데 뛰어나다는 결론을 내린다.

핵심 기여

1. 통합 분류 체계: RL 기반의 de novo 생성과 리드 최적화를 단일 분류 체계 내에서 다루면서, 범위를 소분자에 한정한 최초의 조사이다.
2. 오라클 계층화: 오라클을 단순한 "성질 vs 스코어링 함수" 구분을 넘어, 충실도와 계산 비용에 따른 네 가지 단계로 분류하는 새로운 체계를 제시했다.
3. 벤치마크 비판: 분포 학습 작업(예: MOSES)에서의 강력한 성능이 리드 최적화에서의 유용성을 보장하지 않는다는 점을 지적하며 기존 벤치마크를 비판적으로 평가했다. 또한 실행 가능한 화학을 통해 제공된 리드를 수정하는 것을 요구하는 벤치마크의 희소성을 언급했다.
4. 경험적 검증: 서로 다른 두 알고리즘 군(MCTS vs GFlowNet)을 동일한 예산 하에서 비교하여, 피크 성능(peak performance)과 다양성(diversity)이라는 상호 보완적인 강점을 입증하는 독특한 계산 사례 연구를 수행했다.

결과 및 한계점

논문은 몇 가지 지속적인 과제를 식별한다.

• 모드 붕괴 (Mode Collapse): RL 에이전트는 종종 좁은 고득점 구조 세트로 수렴한다. 메모리 보조 방식과 다양성 필터가 완화책을 제공하지만, "충분한" 다양성에 대한 합의된 메트릭은 부족하다.
• 보상 해킹 (Reward Hacking): 에이전트가 저충실도 오라클(예: SA 점수)을 악용하여, 점수는 높지만 합성적으로 구현 불가능한 분자를 생성할 수 있다.
• 샘플 효율성 (Sample Efficiency): 많은 최첨단 RL 접근법은 수천 번의 오라클 호출을 필요로 하지만, 현실적인 습식 실험(wet-lab) 예산은 대개 500회 이하이다.
• 합성 가능성 간극 (Synthesizability Gap): 대부분의 벤치마크는 사후 필터에 의존하며, 실행 가능한 반응 경로로 생성을 제한하지 않는다.
• 습식 실험 검증 부족: 생성된 분자의 실질적인 실행 가능성을 증명할 수 있는 체계적인 합성-분석-검증 파이프라인이 부족하다.

의의 및 향후 과제

저자들은 분야가 개념 증명 수준의 생성기를 넘어, 반응 인지적이고 언어 모델이 가이드하는 파이프라인으로 진화해야 한다고 주장한다. 그들은 탐색 기반(MCTS) 방식과 보상 비례(GFlowNet) 방식이 상호 보완적이라고 제안한다. 즉, 전자는 특정 영역 내에서의 정교화에, 후자는 리드 이상의 다양한 영역을 나열하는 데 적합하다.

향-후 방향은 다음과 같다:

• 구문적 타당성을 보장하기 위해 SELFIES 표현법을 채택할 것.
• 토큰 방출 정책에서 LLM이 화학 도구를 호출하는 에이전트 워크플로우로 전환하여, 화학적 역량을 정책 가중치로부터 분리할 것.
• 제한된 오라클 예산 하에서 도구 호출 궤적(tool-call trajectories)을 평가하는 새로운 벤치마크를 개발할 것.
• "약속"에서 "증명"으로 나아가기 위해 체계적인 습식 실험 검증을 통합할 것.

본 논문은 RL이 분자 설계의 형상을 재편했으나, 알고리즘 성능과 실제 합성 가능한 리드 사이의 간극을 메우는 것이 여전히 핵심적인 도전 과제로 남아 있다고 결론짓는다.