Reference-guided Policy Optimization for Molecular Optimization via LLM Reasoning

이 논문은 단일 참조 분자만 있는 분자 최적화 과제의 한계를 극복하기 위해, 참조 분자의 중간 추론 경로를 컨텍스트로 활용하여 탐험과 활용을 균형 있게 조율하는 '참조 기반 정책 최적화 (RePO)' 방법을 제안하고 이를 통해 기존 방법론보다 우수한 성능을 입증했습니다.

핵심

이 논문은 **"대형 언어 모델 (LLM) 이 화학 분자를 설계할 때, 어떻게 하면 더 똑똑하고 창의적으로 일할 수 있을까?"**라는 질문에 대한 해답을 제시합니다.

제목은 **RePO(Reference-guided Policy Optimization)**인데, 너무 어렵게 들릴 수 있으니 **"현명한 화학자의 길잡이"**라고 생각하시면 됩니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제 상황: "완벽한 레시피는 있는데, 만드는 과정은 알려주지 않음"

상상해 보세요. 여러분이 **요리사 (AI 모델)**이고, **미슐랭 스타일의 새로운 요리 (최적화된 분자)**를 만들어야 한다고 칩시다.

• 목표: 기존 요리 (원래 분자) 와 맛과 모양은 비슷하게 유지하면서, 건강에 더 좋은 성분을 추가해야 합니다.
• 데이터: 연구실에는 "이 요리를 만들면 최고다!"라는 **완성된 요리 사진 (참고 분자)**만 하나 있습니다. 하지만 **"어떻게 재료를 넣고, 어떻게 볶았는지"라는 조리 과정 (추론 과정)**은 아무도 알려주지 않았습니다.

기존의 AI 학습 방법들은 여기서 큰 문제를 겪었습니다.

• 방법 A (단순 모방, SFT): 완성된 요리 사진만 보고 "이거 똑같이 만들어!"라고 시켰습니다.
  • 결과: AI 는 조리 과정을 생각하지 않고, 그냥 사진을 복사하듯 요리를 만들었습니다. 창의성이 사라졌고, 새로운 시도를 못 하게 되었습니다.
• 방법 B (시행착오, RLVR): "맛있으면 점수 주고, 없으면 점수 뺏어!"라고만 했습니다.
  • 결과: 화학이라는 공간은 너무 넓어서, 운 좋게 맛있는 요리를 만들 확률이 매우 낮습니다. AI 는 "아, 실패했네"라고만 생각하며 아무것도 안 하거나, 아주 작은 변화만 반복하게 되어 발전이 더뎌졌습니다.

2. RePO 의 해결책: "현명한 길잡이와 자유로운 탐험의 조화"

이 논문이 제안한 RePO는 이 두 가지 방법을 아주 영리하게 섞었습니다.

비유: "등산 가이드와 나침반"

• 길잡이 (Reference Guidance): 완성된 요리 사진 (참고 분자) 을 AI 에게 보여줍니다. 하지만 "이대로 똑같이 만들어"라고 강요하지는 않습니다. 대신 **"이런 맛의 요리가 목표야"**라고 방향만 잡아줍니다.
  • 효과: AI 가 엉뚱한 곳으로 헤매지 않도록, 목표 지점을 명확히 알려줍니다.
• 나침반 (RL Exploration): AI 가 스스로 "어떻게 재료를 섞을까?"라고 **생각하는 과정 (추론)**을 자유롭게 하도록 둡니다. 그리고 그 결과물이 목표에 가까우면 점수를 줍니다.
  • 효과: AI 는 새로운 재료 조합을 시도해 볼 수 있고, 실패하더라도 그 과정에서 배우게 됩니다.

핵심 아이디어:
AI 는 **"생각하는 과정 (Reasoning)"**은 자유롭게 하되, **"최종 답안 (Answer)"**만은 목표한 요리 (참고 분자) 를 기준으로 맞춰가도록 훈련시킵니다.

3. 왜 이것이 중요한가요? (실제 효과)

이 방법을 쓰면 AI 는 다음과 같은 변화를 겪습니다.

• 창의성 유지: "이런 재료도 넣을 수 있겠네?"라고 새로운 시도를 합니다. (기존 방법들은 너무 보수적이었습니다.)
• 정확도 향상: 엉뚱한 화학 반응을 하지 않고, 실제로 가능한 분자 구조를 만듭니다.
• 복잡한 문제 해결: "맛도 좋고, 건강도 좋고, 가격도 싸게"라는 여러 조건을 동시에 만족시키는 요리 (분자) 를 찾아냅니다.

4. 요약: 한 줄로 정리하면?

**"완성된 답안지 (참고 분자) 를 보여주면서 방향을 잡아주고, 그 안에서 AI 가 스스로 고민하고 실험하게 하여, 더 빠르고 정확한 화학 분자를 설계하게 만든 새로운 학습법"**입니다.

이 기술은 신약 개발이나 새로운 소재 개발처럼, 정답은 알지만 그 과정이 매우 복잡한 과학 분야에서 AI 가 인간을 도와 더 혁신적인 발견을 할 수 있게 해줄 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 추론 작업에서 지도 미세 조정 (SFT) 과 검증 가능한 보상을 통한 강화 학습 (RLVR) 을 통해 큰 성과를 거두었습니다. 그러나 지시 기반 분자 최적화 (Instruction-based Molecular Optimization) 작업에서는 기존 방법론이 심각한 한계를 보입니다.

• 작업의 본질: 주어진 분자 ($m_0$) 를 수정하여 특정 물성 (예: QED, LogP) 을 개선하되, 원래 분자와의 구조적 유사성 (Similarity) 을 일정 수준 이상 유지해야 합니다. 이는 서로 상충되는 목표 (물성 개선 vs 구조 보존) 를 동시에 달성해야 하는 복잡한 문제입니다.
• 데이터의 한계: 대부분의 데이터셋은 최적화된 분자 하나만 제공하며, 단계별 최적화 과정 (reasoning trajectory) 이 없습니다.
• 기존 방법의 실패 원인:
  1. SFT (지도 미세 조정): 참조 분자만 답으로 학습하면 모델이 다단계 추론을 포기하고 단순히 답만 생성하는 경향 (Answer-only collapse) 을 보입니다. 이는 탐색 (Exploration) 능력을 억제합니다.
  2. RLVR (예: GRPO): 보상 신호가 희소합니다. 유사성 제약 하에서 물성을 개선하는 유효한 분자는 드물기 때문에, 초기 학습 단계에서 모델이 보수적인 편집 (작은 변화) 만 반복하거나 학습 신호를 받지 못해 성능이 정체됩니다.

2. 제안 방법: RePO (Reference-guided Policy Optimization)

저자들은 참조 분자를 답 수준 (Answer-level) 의 안내자로 활용하면서도, 모델이 다양한 분자 변형을 탐색할 수 있도록 하는 RePO를 제안합니다. 이는 SFT 와 RLVR 의 단점을 보완합니다.

핵심 메커니즘

RePO 는 각 업데이트 단계에서 모델이 생성한 후보 분자와 그 중간 추론 과정을 샘플링하고, 다음 세 가지 항을 포함한 목적 함수를 최적화합니다.

1. 탐색 항 (Exploration Term - RLVR):

   • GRPO 와 유사하게, 모델이 생성한 분자들에 대해 검증 가능한 보상 (물성 개선 + 유사성 충족) 을 계산합니다.
   • 보상 기반의 그룹 상대적 이득 (Group-relative Advantage) 을 사용하여 고보상 분자를 선호하도록 정책을 업데이트합니다. 이는 새로운 분자 공간을 탐색 (Exploration) 하는 역할을 합니다.

2. 참조 안내 항 (Reference Guidance Term - Supervised):

   • 핵심 아이디어: 모델이 생성한 **추론 과정 (Reasoning tokens)**은 그대로 두되, 최종 답 (Answer/Molecule) 부분만 참조 분자 ($m_{ref}$) 에 대해 지도 학습을 수행합니다.
   • 수학적으로, $log \pi_\theta(m_{ref} | q, t_i)$를 최대화합니다. 여기서 $t_i$는 모델이 스스로 생성한 추론 전제입니다.
   • 효과: 이는 모델이 "어떻게 생각할지"는 자유롭게 하되, "어떤 답을 내야 하는지"에 대한 방향성을 제공합니다. 이를 통해 희소한 보상 문제를 완화하고 학습을 안정화시킵니다.

3. KL 정규화 (KL Regularization):

   • 정책이 초기 모델에서 너무 멀리 벗어나지 않도록 안정성을 제공합니다.

기술적 특징

• 그라디언트 마스킹 (Gradient Masking): 참조 분자에 대한 지도 학습은 최종 답 (Answer) 토큰에만 적용되며, 중간 추론 토큰에는 그라디언트가 흐르지 않도록 마스킹합니다. 이는 모델이 다양한 화학적 추론 경로를 탐색할 수 있게 하여 SFT 의 단점 (추론 능력 상실) 을 방지합니다.
• 보상 설계: Tanimoto 유사도 (구조 보존) 와 이진 물성 개선 보상 (목표 물성 증가/감소) 을 결합합니다.

3. 주요 기여 (Key Contributions)

1. 감독 불일치 (Supervision Mismatch) 규명: 지시 기반 분자 최적화에서 SFT 가 다단계 추론을 붕괴시키고, RLVR 이 유사성 제약 하에서 희소 보상 문제로 인해 탐색에 실패한다는 점을 실험적으로 증명했습니다.
2. RePO 프레임워크 제안: 참조 분자를 답 수준에서 안내자로 사용하면서, RL 을 통해 탐색을 유도하는 새로운 최적화 알고리즘을 제안했습니다. 이는 단계별 레이블 데이터 없이도 작동합니다.
3. 성능 및 일반화 입증: 단일 목적 및 다중 목적 최적화, 보지 못한 지시 스타일 (Unseen instructions) 에 대한 일반화, 그리고 추론 시 계산량 증가 (Inference-scaling) 에 따른 성능 향상 등 다양한 측면에서 기존 SFT 및 GRPO 베이스라인을 능가함을 보였습니다.

4. 실험 결과 (Results)

논문은 TOMG-Bench (단일 목적) 와 MuMOInstruct (다중 목적) 벤치마크를 통해 RePO 의 우수성을 검증했습니다.

• 성공률과 유사성의 균형 (Success Rate × Similarity):
  • TOMG-Bench 의 6 개 단일 목적 작업 중 4 개에서 RePO 가 가장 높은 성능을 기록했습니다.
  • 특히 LogP 최적화 작업에서 GRPO 대비 성공률이 최대 17.4% 향상되었습니다.
  • SFT 는 성공률은 높으나 유사성이 낮고, GRPO 는 유사성은 높으나 성공률이 낮은 반면, RePO 는 두 가지 목표를 모두 잘 균형 잡았습니다.
• 다중 목적 최적화:
  • MuMOInstruct 에서 RePO 는 BDP, BPQ 등 복잡한 다중 제약 조건 하에서도 베이스라인보다 우수한 성능을 보이며, 상충되는 목표 간의 균형을 잘 유지했습니다.
• 일반화 능력:
  • 훈련 시 보지 못한 지시 스타일 (Unseen instruction styles) 에 대해서도 RePO 는 강력한 성능을 유지했습니다.
• 모델 아키텍처 및 규모:
  • Qwen-2.5-3B/7B, Llama-3.1-8B 등 다양한 모델 아키텍처와 크기에 적용하여 일관된 성능 향상을 보였습니다.
• 정성적 분석:
  • RePO 는 화학적으로 타당한 추론 (예: 브롬 원자를 염소로 치환하여 입체 장애 감소) 을 수행하는 반면, GRPO 는 화학적으로 불가능한 구조를 제안하거나 단순 반복하는 오류를 범했습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 을 이용한 과학적 최적화 (Scientific Optimization) 분야에서 중요한 통찰을 제공합니다.

• 방법론적 혁신: 단계별 레이블 데이터가 없는 과학적 작업에서도, "답"에 대한 참조와 "과정"에 대한 자유로운 탐색을 결합하여 RL 과 SFT 의 시너지를 낼 수 있음을 보였습니다.
• 실용적 가치: 신약 개발 및 재료 과학 분야에서 LLM 이 복잡한 제약 조건 하에서 유효한 분자 구조를 탐색하고 최적화하는 데 있어 신뢰할 수 있는 도구로 활용될 수 있음을 입증했습니다.
• 미래 전망: RePO 의 접근 방식은 분자 최적화를 넘어, 합성 경로 계획 (Retrosynthesis) 이나 약물 - 약물 상호작용 (DDI) 예측 등 다른 복잡한 과학적 추론 작업에도 확장 가능하다고 저자들은 주장합니다.

요약하자면, RePO는 LLM 이 분자 최적화 과제를 수행할 때 겪는 "탐색의 어려움"과 "추론 능력의 상실"이라는 두 마리 토끼를 동시에 잡기 위해, 참조 분자를 안내자로 활용하면서도 모델의 창의적 추론을 존중하는 하이브리드 학습 전략을 제시한 획기적인 연구입니다.