Evaluating the Progression of Large Language Model Capabilities for Small-Molecule Drug Design

이 논문은 분자 속성 예측, 표현 변환, 분자 설계 등 화학적으로 근거된 작업을 강화학습 환경으로 구성하여 평가하고, 이를 통해 강화학습 기반 후처리가 소규모 모델이 최첨단 모델과 경쟁할 수 있도록 능력을 획기적으로 향상시켜 신약 개발에 LLM 을 실용화할 수 있는 방안을 제시합니다.

핵심

이 논문은 **"인공지능 **(LLM)에 대해 다룹니다.

마치 **유능한 요리사 **(AI)가 있다고 가정해 봅시다. 이 요리사는 세계의 모든 요리 레시피 (데이터) 를 읽고 있지만, 막상 **새로운 약 **(요리)을 만들어내려면 여전히 실수가 많고, 실험실 (현실 세계) 에선 잘 먹히지 않는 경우가 많습니다.

이 연구는 이 요리사들이 실제로 약을 잘 만들 수 있는지, 그리고 어떻게 하면 더 잘 만들 수 있는지 실험해 본 결과입니다.

---

1. 문제: "이론은 천재인데, 실전은 초보"

지금까지 개발된 최신 AI 모델들은 책을 많이 읽어서 지식이 풍부합니다. 하지만 약학이라는 특수한 분야에서는 아직 부족합니다.

• 비유: 이 요리사가 "소금의 화학적 성질"은 완벽하게 설명할 수 있지만, "실제 입맛에 맞는 소금 간을 맞추는 것"은 못 합니다.
• 문제점: 기존 AI 들은 실험 데이터가 적은 상황 (새로운 약 개발 초기) 이나 복잡한 제약 조건을 동시에 만족시키는 일을 잘 못 해냈습니다.

2. 해결책: "현실 시뮬레이션과 훈련 (RL)"

연구팀은 AI 를 단순히 시험지 (지식 테스트) 로만 평가하지 않았습니다. 대신 **가상의 실험실 **(RL 환경)을 만들어 AI 를 훈련시켰습니다.

• 가상의 실험실: AI 가 분자 구조를 제안하면, 컴퓨터가 "이건 독성이 있어", "그건 약효가 없어"라고 즉각 피드백을 줍니다.
• **훈련 과정 **(RL) AI 는 이 피드백을 바탕으로 "아, 이런 구조는 안 되구나"라고 스스로 학습하며 점수를 높여갑니다. 마치 게임에서 점수를 올리며 레벨업 하듯이요.

3. 주요 발견: "훈련의 마법"

이 연구에서 가장 놀라운 점은 작은 모델도 훈련만 잘 시키면 거대 모델과 경쟁할 수 있다는 것입니다.

• 작은 모델의 반전: 원래 지능이 낮았던 '작은 AI'(Qwen 기반) 를 이 가상의 실험실에서 훈련시켰더니, 원래부터 지능이 높았던 '거대 AI(GPT-5, Claude 등)
• 비유: 천재적인 요리사 (거대 AI) 가 레시피를 외우고 있는 것과, 평범한 요리사 (작은 AI) 가 **현장 실습 **(훈련)을 통해 실력을 키워 결국 천재 요리사와 같은 요리를 만들어내는 상황입니다.
• 핵심: AI 의 능력을 결정하는 건 단순히 '머리 크기'만이 아니라, **특정 분야에 맞는 훈련 **(Post-training)이 얼마나 잘 되어 있느냐입니다.

4. 한계: "아직도 모르는 게 많다"

하지만 AI 가 모든 문제를 해결한 것은 아닙니다.

• 데이터가 부족한 상황: 실험 데이터가 거의 없는 새로운 약 개발 단계에서는 AI 가 여전히 당황합니다.
• 비유: 요리사가 "이런 재료가 처음인데 어떻게 요리할지"를 물어보면, AI 는 "레시피에 없으니 모르겠다"라고 답합니다. 이럴 때는 AI 에게 **새로운 재료 **(데이터)가 필요합니다.

5. 결론: "약 개발의 새로운 길"

이 논문은 우리에게 중요한 메시지를 줍니다.

1. AI 는 이미 유망하다: 잘 훈련된 AI 는 약 설계의 핵심 단계인 '리드 최적화 (Lead Optimization)'에서 인간 전문가 못지않게 일할 수 있습니다.
2. 훈련이 핵심: 거대하고 비싼 모델을 무작정 쓰는 것보다, 작은 모델을 우리만의 실험실 데이터로 꼼꼼히 훈련시키는 것이 더 효율적일 수 있습니다.
3. 미래: 앞으로는 AI 가 단순히 "지식"을 말하는 것을 넘어, **실제 실험실에서 약을 설계하고 실패를 줄이는 '실전 파트너'**로 성장할 것입니다.

한 줄 요약:

"AI 가 약을 잘 만들려면 단순히 많이 읽는 것 (지식) 보다, **가상의 실험실에서 많이 실수하고 배우는 훈련 **(훈련)이 훨씬 중요합니다. 잘 훈련된 작은 AI 는 거대 AI 를 이길 수 있습니다!"

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 대규모 언어 모델 (LLM) 은 다양한 정보 소스를 추론할 수 있는 능력을 바탕으로 소분자 약물 설계 과정을 가속화할 잠재력이 있습니다. 실제로 LLM 기반 에이전트가 표적 식별, 리드 최적화, 독성 예측 등에 도입되고 있습니다.
• 문제점:
  • 실제 시나리오 부재: 기존 벤치마크는 실제 약물 개발의 복잡성 (실험 데이터의 희소성, 다중 제약 조건 등) 을 반영하지 못해 LLM 의 실용성을 평가하기 어렵습니다.
  • 기초 모델의 한계: 최신 '프런티어 (Frontier)' 모델조차 기본적인 화학 및 생물학 과제에서 성능이 부족하며, 이는 에이전트 구축의 병목 현상이 됩니다.
  • 학습 과정의 불투명성: 폐쇄형 모델의 학습 레시피가 공개되지 않아 모델의 진화 방향과 능력 향상을 예측하기 어렵습니다.
  • 데이터 부족: 실험실 데이터 (Experimental data) 가 제한적인 환경에서 LLM 이 어떻게 작동하는지에 대한 평가가 부족합니다.

2. 방법론 (Methodology)

이 연구는 LLM 의 화학적 능력을 평가하고 향상시키기 위해 다음과 같은 체계적인 접근법을 사용했습니다.

A. 화학 기반 태스크 스위트 (Chemically-Grounded Task Suite)

소분자 약물 개발의 핵심 요소를 반영하는 6 가지 주요 태스크 그룹을 정의하고, 이를 강화학습 (RL) 환경으로 구성했습니다.

1. RDKit 속성 예측: 분자량, LogP 등 구조적/물리화학적 속성 예측.
2. 실험적 예측 (Experimental Prediction): 제한된 컨텍스트 (in-context) 실험 데이터를 기반으로 새로운 분자의 효능 (Potency) 또는 DMPK(약동학) 속성 예측.
3. 다중 선택 (Multiple Choice): 위 태스크들을 다중 선택 문제로 변환하거나, SMILES 표현의 동일성 판별.
4. 변환 (Transformation): SMILES, IUPAC, 분자식, 타우토머, 프로토머, Murcko 스캐폴드 등 다양한 분자 표현 간 변환.
5. 다중 속성 제약 생성 (Multiproperty Constrained Generation): 물리화학적, DMPK, 스캐폴드 제약 조건을 동시에 만족하는 분자 생성.
6. 기타: 부분 구조 분류, 반응 결과 예측, 최대 공통 부분 구조 (MCS) 식별.

B. 모델 및 학습 전략

• 평가 대상 모델:
  • 폐쇄형 (Closed): GPT-5/5.2 (OpenAI), Claude Opus 4.0/4.6 (Anthropic).
  • 오픈 가중치 (Open-weight): Qwen3-30B-A3B (Base) 및 이를 기반으로 한 Aspen (본 연구에서 RL 후학습한 모델).
• 강화학습 (RL) 후학습:
  • 알고리즘: 그룹 상대 정책 최적화 (GRPO) 의 변형인 DAPO 사용.
  • 방식: 지도 미세조정 (SFT) 없이, 기초 모델 (Base Model) 에서 직접 RL 을 수행하여 정책을 최적화.
  • 환경: 단일 턱 (Single-turn) 태스크와 20 턱으로 구성된 시뮬레이션 리드 최적화 (Simulated Lead Optimization) 환경.
  • 하드웨어: 32 노드, 256 개의 NVIDIA B200 GPU 를 활용하여 30B 파라미터 모델을 20 일간 학습.

3. 주요 기여 (Key Contributions)

1. 새로운 평가 프레임워크: 단순한 지식 테스트를 넘어, 실제 약물 개발 시나리오 (실험 데이터 기반 예측, 다중 제약 조건 하의 분자 생성) 를 반영한 RL 기반 평가 환경 구축.
2. RL 후학습의 효과 입증: 기초 모델이 약하더라도,精心하게 설계된 RL 환경과 타겟팅된 후학습을 통해 폐쇄형 프런티어 모델과 경쟁 가능한 성능을 달성할 수 있음을 증명.
3. 모델 진화 분석: GPT, Claude, Qwen 계열 모델의 버전 간 능력 진화를 정량화하여, 특정 화학 태스크에서 어떤 모델이 더 빠르게 발전하는지 분석.
4. 한계점 규명: RL 만으로는 기초 모델에 존재하지 않는 지식 (Out-of-distribution) 을 습득할 수 없음을 지적하고, 중기 학습 (Midtraining) 의 필요성을 강조.

4. 주요 결과 (Results)

A. 단일 턱 태스크 (Single-Turn Tasks)

• 기초 모델 vs. RL 후학습 모델 (Aspen):
  • Aspen 은 기초 Qwen 모델보다 모든 학습 태스크에서 성능이 향상되었습니다.
  • 특히 제약 조건 하의 분자 생성 태스크에서 유효 응답률 (0.77→1.00) 과 모든 제약 조건 만족률 (0.09→0.21) 이 크게 개선되어, 프런티어 모델들을 능가하거나 경쟁하는 수준에 도달했습니다.
  • 실험적 예측: 내부 데이터 기반 효능 예측에서 R²가 0.58 에서 0.72 로 크게 향상되었습니다.
• 모델 계열별 비교:
  • Anthropic (Claude Opus 4.6): 화학 태스크에 대한 집중적인 학습으로 인해 가장 두드러진 향상을 보였습니다. 특히 IUPAC 명명법 변환, 실험 데이터 기반 예측에서 최고 성능을 기록했습니다.
  • OpenAI (GPT-5/5.2): 일부 태스크에서 개선되었으나, 전반적인 화학 태스크에서의 진화는 Anthropic 에 비해 덜 일관적이었습니다.
  • Qwen (Aspen): 기초 모델은 성능이 낮았으나, RL 후학습을 통해 폐쇄형 모델들과의 격차를 크게 줄였습니다.

B. 시뮬레이션 리드 최적화 (Multi-turn Lead Optimization)

• 목표: 8TTR(탄산무수효소 IX) 타겟에 대한 도킹 점수 최적화 및 DMPK 제약 조건 충족.
• 결과:
  • 모든 모델 계열에서 최신 버전이 이전 버전보다 우수한 도킹 점수와 최적화 효율을 보였습니다.
  • Aspen: 기초 Qwen 모델은 초기 분자보다 개선되지 못했으나, Aspen 은 빠르게 도킹 점수를 낮추고 유효한 분자를 생성했습니다.
  • 트레이드오프: Aspen 은 도킹 점수 개선과 분자 크기 증가 간의 균형 (Ligand Efficiency) 에서 다른 모델들보다 우수한 성능을 보였습니다.
  • 전략적 차이: GPT-5 는 스캐폴드의 우레아 링커를 아미드로 변환하는 경향이 있었으나, Aspen 과 Claude 는 우레아를 유지하고 말단기를 수정하는 전략을 사용했습니다.
  • 한계: Aspen 은 HLM(간 미세소체) 내성 청소율 (CLint) 제약 조건을 만족하는 데 어려움을 겪었으며, Claude Opus 4.6 은 생성된 분자의 다양성이 낮아 '모드 붕괴 (Mode Collapse)' 현상이 관찰되었습니다.

C. 실험 데이터의 한계

• 실험 데이터가 제한된 태스크 (예: DMPK 용해도 예측) 에서는 모든 모델이 음의 R² 값을 보이며 실패했습니다. 이는 현재 LLM 이 해당 영역의 지식을 가지고 있지 않으며, RL 만으로는 해결할 수 없음을 시사합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용적 로드맵 제시: 이 연구는 LLM 을 약물 발견에 활용하기 위한 구체적인 경로를 제시합니다. 즉, 정교하게 설계된 평가 태스크 + 타겟팅된 RL 후학습을 결합하여, 상대적으로 작은 오픈 소스 모델로도 최첨단 폐쇄형 모델과 경쟁할 수 있는 능력을 부여할 수 있음을 보여줍니다.
• 학습 전략의 필요성: RL 후학습은 기존 지식을 '연마 (Sharpen)'하는 데 효과적이지만, 기초 모델에 화학적 지식이 결여된 경우 (Out-of-distribution) 는 **중기 학습 (Midtraining)**이나 화학 특화 데이터에 대한 지도 미세조정 (SFT) 이 선행되어야 함을 강조합니다.
• 미래 방향: 향후 연구는 더 정교한 에이전트 워크플로우, 사내 데이터 활용, 모델 크기 및 태스크 다양성 확장, 그리고 화학 인식형 중기 학습 (Chemistry-aware midtraining) 에 초점을 맞춰야 할 것입니다.

요약하자면, 이 논문은 LLM 이 약물 설계 분야에서 단순한 챗봇을 넘어 실제 최적화 에이전트로 진화할 수 있는 가능성을 입증하면서도, 현재 기술의 한계 (실험 데이터 기반 일반화 부족) 를 명확히 하고 이를 극복하기 위한 학습 전략을 제안했습니다.