RetroReasoner: A Reasoning LLM for Strategic Retrosynthesis Prediction

이 논문은 화학자의 전략적 사고를 모방하고 합성-역합성 일관성 보상을 강화학습에 적용하여, 기존 모델보다 더 넓은 범위의 실행 가능한 반응물 제안과 명확한 결합 절단 논리를 제공하는 'RetroReasoner'라는 새로운 역합성 예측 모델을 제안합니다.

핵심

🧪 RetroReasoner: 화학자의 '사고 과정'을 배운 AI

이 논문은 **"RetroReasoner"**라는 새로운 인공지능 모델을 소개합니다. 이 모델은 단순히 화학 반응의 답을 외우는 것이 아니라, 실제 화학자가 복잡한 분자를 만들 때 사용하는 '전략적 사고 과정'을 배워서 역합성 (Retrosynthesis) 문제를 해결합니다.

기존의 AI 들이 어떻게 작동했는지, 그리고 RetroReasoner 가 어떻게 달라졌는지 일상적인 비유로 설명해 드릴게요.

---

1. 문제 상황: "정답만 외우는 학생" vs "원리를 이해하는 천재"

📚 기존 AI (기존 모델들)
기존의 분자 예측 AI 들은 마치 정답지 (정답) 만 보고 암기하는 학생과 같습니다.

• 방식: "이 제품 (분자) 이 나오면, 저런 원료 (반응물) 가 썼을 거야"라고 확률적으로 맞춥니다.
• 단점: 왜 그 원료를 썼는지, 어떤 논리로 그 결합을 끊어야 하는지 이유를 설명하지 못합니다. 마치 수학 문제를 풀 때 공식만 대입하고 과정은 생략하는 것과 비슷합니다. 그래서 조금만 어려운 문제 (희귀한 반응) 가 나오면 엉뚱한 답을 내놓거나, 실제로는 불가능한 반응을 제안하기도 합니다.

🧠 RetroReasoner (새로운 모델)
이 모델은 화학자처럼 생각하는 천재 학생입니다.

• 방식: 단순히 답을 말하기 전에, 단계별로 사고하는 과정을 거칩니다.
  1. 제품 분석: "이 분자에는 어떤 기능기가 있을까?"
  2. 핵심 구조 찾기: "어떤 부분이 가장 중요한 연결고리일까?"
  3. 전략적 결합 끊기: "어떤 결합을 끊으면 가장 간단하게 원료로 돌아갈 수 있을까?" (이게 바로 화학자가 하는 '역합성'의 핵심!)
  4. 원료 매칭: "이렇게 끊어진 조각들을 실제 실험실에서 구할 수 있는 원료로 바꿔보자."
• 결과: 단순히 답만 맞추는 게 아니라, 논리적으로 타당한 이유를 붙여서 답을 내놓습니다.

---

2. 어떻게 훈련시켰을까요? (두 단계 교육법)

이 모델을 가르치는 데는 두 가지 특별한 훈련 방법이 사용되었습니다.

1 단계: "모범 답안"으로 배우기 (SFT - 지도 미세 조정)

• 비유: 유능한 화학 교수님이 쓴 '해설지'를 따라 쓰는 훈련입니다.
• SyntheticRetro (합성 역합성): 연구팀은 먼저 AI 가 화학자의 사고 과정을 모방할 수 있도록, 수천 개의 '해설지'를 자동으로 만들었습니다.
  • 기존 데이터에는 '원료 → 제품'만 있었지만, 이 도구를 통해 **'제품 → (논리적 사고 과정) → 원료'**라는 형태의 데이터를 만들어냈습니다.
  • AI 는 이 해설지를 보며 "아, 화학자들은 이렇게 생각하며 결합을 끊는구나!"라고 배웁니다.

2 단계: "실전 검증"으로 다지기 (RL - 강화 학습)

• 비유: 요리 실습입니다.
  • AI 가 "이렇게 요리하면 돼!"라고 원료를 제안하면, AI 는 그 원료로 다시 요리를 해봅니다 (정방향 합성).
  • Round-trip (왕복) 점수: 만약 AI 가 제안한 원료로 다시 요리했을 때, 원래 목표했던 요리 (제품) 가 똑같이 나온다면 "정답! 점수 +1!"을 줍니다.
  • 만약 다른 요리가 나오거나, 요리가 실패하면 "아니야, 이 원료로는 안 돼"라고 점수를 깎습니다.
  • 이 과정을 반복하며 AI 는 실제로 가능한 (Feasible) 원료만 골라내는 능력을 기르게 됩니다.

---

3. 왜 이 모델이 특별한가요? (핵심 성과)

1. 더 넓은 정답 찾기:

   • 기존 AI 는 정답이 하나라고 생각해서 그걸만 찾으려 했지만, RetroReasoner 는 **"이렇게 끊어도 되고, 저렇게 끊어도 돼"**라고 여러 가지 가능한 길을 찾아냅니다.
   • 마치 미로에서 출구를 찾을 때, 한 가지 길만 고집하지 않고 여러 갈래를 탐색하는 것과 같습니다.

2. 어려운 문제도 잘 풉니다:

   • 평소에는 잘 풀지만, 희귀한 반응이나 생소한 원자가 포함된 어려운 문제 (Hard Cases) 가 나오면 기존 모델들은 많이 틀립니다. 하지만 RetroReasoner 는 논리적 사고 과정을 통해 이런 어려운 상황에서도 실제 가능한 해결책을 잘 찾아냅니다.

3. 신뢰할 수 있는 제안:

   • 단순히 확률로 찍은 답이 아니라, 화학적으로 타당한 이유를 제시하기 때문에 연구자들이 더 신뢰하고 활용할 수 있습니다.

---

4. 요약: 한 문장으로 정리하면?

RetroReasoner 는 "정답만 외우는 AI"를 넘어, "화학자의 논리적 사고 과정을 배워서, 실제로 가능한 여러 가지 해결책을 찾아내는 AI"입니다.

이 기술은 앞으로 새로운 약을 개발하거나 복잡한 물질을 합성할 때, 화학자들의 시간을 획기적으로 줄여주고 더 창의적인 실험을 가능하게 할 것으로 기대됩니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 역합성 예측 (Retrosynthesis Prediction): 유기 합성에서 목표 분자 (Product) 를 주었을 때, 이를 합성할 수 있는 반응물 (Reactants) 을 예측하는 핵심 과제입니다.
• 기존 방법의 한계:
  • 전문가의 접근: 화학자들은 결합 분해 (Bond Disconnection) 전략을 통해 가상의 분해 조각 (Synthons) 을 도출하고, 이를 실험적으로 가능한 반응물 (Synthetic Equivalents) 로 매핑하는 복잡한 추론 과정을 거칩니다.
  • 기존 LLM 의 부족: 최근 등장한 분자용 대규모 언어 모델 (Molecular LLM) 들은 대부분 반응물을 직접 예측하거나, 제품 분석에 그치는 일반적인 추론만 수행합니다. 화학자의 전략적 사고 (Strategic Thinking) 를 명시적으로 모방하지 않아, 복잡한 작업에서 논리적 단절이 발생하거나 중간 단계가 생략되는 문제가 있습니다.
  • 학습 데이터의 편향: 기존 모델들은 정답 반응물과의 정확한 일치 (Exact Match) 만을 목표로 하여, 실제로는 유효하지만 레이블과 다른 다른 합성 경로를 배제하는 경향이 있습니다.

2. 제안된 방법론 (Methodology)

저자들은 화학자의 전략적 사고를 모방하는 RetroReasoner를 제안하며, 이는 SyntheticRetro 데이터 생성 프레임워크와 SFT(지도 미세조정) 및 RL(강화학습) 의 2 단계 학습 과정을 통해 구현됩니다.

2.1. SyntheticRetro: 전략적 추론 데이터 생성 프레임워크

기존의 단순한 반응물 - 생성물 쌍 데이터를 화학자의 추론 과정이 포함된 텍스트 데이터로 변환합니다.

• 정보 추출: RXN SMILES 에서 직접 사용 가능한 정보 (원자 매핑, 기능기), 모델 예측 정보 (원자 매핑 모델), 규칙 기반 정보 (반응 템플릿, 합성체, 합성 등가물) 를 추출합니다.
• 4 단계 구조화된 추론: GPT-oss-20B 와 같은 일반 LLM 을 활용하여 다음 4 단계의 구조화된 추론 텍스트를 생성합니다.
  1. Product Analysis (R1): 제품 정보, 기능기, SMILES 통계 분석.
  2. Identifying Key Substructure (R2): 결합 형성의 핵심 하위 구조 식별.
  3. Strategic Bond Disconnection (R3): 전략적 결합 분해 및 Synthon 생성.
  4. Synthetic Equivalent Mapping (R4): Synthon 을 실제 실험 가능한 반응물로 매핑.
• Linking Text: 각 단계 사이를 자연스럽게 연결하는 논리적 연결 문장 (Linking Text) 을 생성하여 추론의 흐름을 완성합니다.

2.2. RetroReasoner 학습 과정

• 1 단계: 지도 미세조정 (SFT)
  • SyntheticRetro 로 생성된 구조화된 추론 텍스트와 반응물 SMILES 를 정답으로 사용하여 Qwen3-8B 기반 모델을 학습시킵니다.
  • 각 인스턴스당 생성된 15 개의 다양한 연결 문장을 에포크마다 교차하여 사용하여 추론 경로의 다양성을 확보합니다.
• 2 단계: 강화학습 (RL) - Round-trip Accuracy 기반
  • Reward Function: 기존의 정답 반응물 일치 여부 대신 Round-trip Accuracy를 보상 함수로 사용합니다.
    • 모델이 예측한 반응물을 Forward Synthesis Model(전방향 합성 모델) 에 입력하여 생성된 제품을 원래 목표 제품과 비교합니다.
    • 일치하면 보상을 받습니다. 이는 레이블과 다르더라도 실제로 합성이 가능한 유효한 경로를 탐색하도록 유도합니다.
  • 알고리즘: Group Relative Policy Optimization (GRPO) 을 적용합니다.

3. 주요 기여 (Key Contributions)

1. 화학자 전략 기반 추론 프로세스: 분자 LLM 에 화학자의 전략적 결합 분해 (Strategic Bond Disconnection) 추론 단계를 명시적으로 도입했습니다.
2. SyntheticRetro 프레임워크: 구조화된 추론 데이터 (Synthons, Synthetic Equivalents 포함) 를 대량으로 생성하는 자동화 시스템을 개발했습니다.
3. Round-trip Reward 기반 RL: 단일 정답에 의존하지 않고, 전방향 합성 검증 (Forward Verification) 을 통해 합성 가능성 (Feasibility) 을 최적화하는 강화학습 방식을 도입했습니다.
4. 성능 및 다양성 증대: 기존 모델 대비 더 넓은 범위의 유효한 반응물 제안과 높은 정확도를 달성했습니다.

4. 실험 결과 (Results)

• 데이터셋: ORDerly 벤치마크를 기반으로 하며, 희귀 반응 템플릿과 희귀 원자/토큰으로 구성된 어려운 하위 집합 (Hard Instances) 에서도 평가했습니다.
• 성능 비교:
  • 정확도: RetroReasoner 는 기존 분자 예측 LLM 및 추론 LLM 들 (Chem-R, ChemDFM 등) 보다 Exact@1, Round-trip@1 지표에서 우수한 성능을 보였습니다.
  • 다양성 및 실현 가능성: Feasible Ratio(샘플링된 후보 중 합성 가능한 비율) 와 Template Diversity(유효한 해답을 이끄는 서로 다른 분해 패턴의 수) 에서 압도적인 우위를 점했습니다. 특히 RL 단계를 거친 모델은 더 넓은 유효 반응 공간 (Feasible Space) 을 탐색했습니다.
  • 어려운 사례 처리: 희귀 반응 템플릿이나 희귀 원자가 포함된 데이터셋에서 기존 모델 (Prediction-Only) 대비 성능 격차가 더욱 벌어지며, 전략적 추론이 일반화 능력에 기여함을 입증했습니다.
• Ablation Study:
  • 추론 전략의 중요성: R1(제품 분석) 만 수행하는 모델보다 전체 4 단계 추론을 수행하는 모델이 정확도와 다양성에서 월등히 뛰어났습니다.
  • Linking Text 의 효과: 단계 간 연결 문장이 포함된 데이터로 학습했을 때 예측 정확도와 반응물 제안의 다양성이 크게 향상되었습니다.
  • Round-trip Reward 의 효과: 정답 일치 (Exact Match) 보상을 사용할 때보다 Round-trip 보상을 사용할 때 모델이 더 넓은 유효 반응 공간을 탐색하여 Template Diversity 가 증가했습니다.

5. 의의 및 결론 (Significance)

• 논리적 단절 해소: 기존 LLM 들이 겪던 '제품 분석'과 '반응물 예측' 사이의 논리적 공백을 화학자의 전략적 사고 (Synthon 매핑 등) 로 채워, 예측의 신뢰성을 높였습니다.
• 실용적 합성 가능성 증대: 단순히 데이터에 존재하는 정답을 외우는 것을 넘어, 전방향 합성 검증을 통해 실제로 실험실에서 합성 가능한 경로를 찾아내는 능력을 키웠습니다.
• 미래 전망: 이 연구는 유기 합성 예측을 넘어, 다단계 합성 계획 (Retrosynthetic Planning) 으로 확장될 수 있는 기반을 마련했습니다. 환경 조건이나 수율 등 더 복잡한 제약 조건을 고려한 차세대 화학 에이전트 시스템 개발의 토대가 될 것으로 기대됩니다.

요약하자면, RetroReasoner는 단순한 패턴 매칭을 넘어 화학자의 논리적 추론 과정을 모방하고, 강화학습을 통해 실제 합성 가능성을 검증함으로써, 유기 합성 예측 분야에서 정확성과 실용성을 동시에 혁신한 모델입니다.