SEISMO: Increasing Sample Efficiency in Molecular Optimization with a Trajectory-Aware LLM Agent

1. 문제 정의 (Problem Definition)

• 배경: 신약 개발 및 화학 분야에서 분자의 구조를 최적화하여 원하는 특성 (효능, 선택성, 약동학적 특성 등) 을 갖는 분자를 찾는 것은 핵심 과제입니다.
• 병목 현상: 분자 특성 평가는 실험적 어세이 (assay) 와 같은 비용이 많이 들고 처리량이 제한된 '오라클 (Oracle)'에 의존하는 경우가 많습니다. 따라서, 제한된 평가 횟수 내에서 최적의 분자를 찾아내는 **샘플 효율성 (Sample Efficiency)**이 매우 중요합니다.
• 기존 방법의 한계: 기존 강화학습 (REINVENT), 유전 알고리즘 (Graph-GA), 베이지안 최적화 (GP BO) 등의 방법은 수천 번의 평가 (oracle calls) 를 필요로 하며, 배치 (batch) 기반 학습을 수행합니다. 이는 평가 비용이 높은 실제 의약품 개발 환경에서 비효율적입니다. 또한, 이러한 방법들은 주로 스칼라 점수 (scalar score) 만을 피드백으로 받아 학습하므로, 왜 특정 분자가 좋은 점수를 받았는지에 대한 구조적 인사이트를 활용하지 못합니다.

2. 제안 방법: SEISMO (Methodology)

저자들은 **SEISMO (Sample-Efficient Inference-Stage Molecular-Optimization agent)**라는 새로운 LLM 기반 에이전트를 제안합니다.

• 핵심 개념:

  • 추론 시간 최적화 (Inference-time Optimization): SEISMO 는 별도의 모델 학습 (training) 이나 미세 조정 (fine-tuning) 없이, 사전 훈련된 LLM 을 직접 최적화 엔진으로 활용합니다.
  • 온라인 및 단일 샘플 업데이트: 배치 기반이 아닌, 오라클 호출 직후 즉시 다음 제안 분자를 생성하는 엄격한 온라인 (online) 루프를 따릅니다. 이는 샘플 효율성의 하한선을 제거합니다.
  • 궤적 인식 (Trajectory-Aware): 각 제안은 최적화 과정의 **전체 역사 (full optimization trajectory)**에 조건부 (conditioned) 로 생성됩니다. 이는 이전 분자, 점수, 그리고 피드백을 모두 포함합니다.

• 정보 활용 구조:
  SEISMO 는 다음 세 가지 정보를 통합하여 최적화를 수행합니다:

  1. 자연어 작업 설명 (Task Description): 최적화 목표 (예: "IC50 최소화, QED 유지") 를 명시합니다.
  2. 스칼라 점수 및 하위 점수: 전체 점수와 개별 속성 (예: IC50, QED, 유사도) 의 분해된 점수.
  3. 구조적 설명 피드백 (Explanatory Feedback): 오라클이 제공하는 설명 (예: SHAP 기반의 특성 기여도, QED 점수 감소 원인, 결합 부위 잔기 등) 을 자연어 또는 구조화된 텍스트로 변환하여 LLM 에게 제공합니다. 이는 "왜" 그 점수가 나왔는지에 대한 인과 관계를 에이전트가 학습하도록 돕습니다.

• 워크플로우:

  1. 생성 (Generation): LLM 이 이전 대화 기록과 피드백을 바탕으로 새로운 분자 (SMILES) 와 그 이유 (rationale) 를 JSON 형식으로 생성합니다.
  2. 검증 (Validation): 생성된 SMILES 의 유효성을 RDKit 등으로 확인합니다.
  3. 예측 (Prediction): 오라클 (실험 또는 시뮬레이션) 을 통해 점수와 설명을 얻습니다.
  4. 피드백 (Feedback): 점수와 설명을 대화 기록에 추가하여 다음 반복을 준비합니다.

3. 주요 기여 (Key Contributions)

1. 샘플 효율성의 획기적 개선: 기존 방법론에 비해 2~3 배 높은 최적화 곡선 아래 면적 (AUC) 을 달성하며, 보통 50 번의 오라클 호출 이내에 거의 최대 점수에 도달합니다.
2. 설명 기반 피드백의 효과 입증: 단순히 점수만 제공하는 것이 아니라, 점수에 대한 **설명 (Explanation)**을 포함할 때 샘플 효율성이 추가로 향상됨을 실험적으로 증명했습니다. 이는 LLM 이 화학적 인과관계를 이해하고 구조적 수정을 더 정확하게 수행하게 함을 의미합니다.
3. 학습 없는 최적화 프레임워크: 별도의 학습 과정 없이 사전 훈련된 LLM 의 도메인 지식과 실시간 피드백을 결합하여, 새로운 작업에도 즉시 적용 가능한 범용 최적화 에이전트를 제시했습니다.
4. 다양한 벤치마크에서의 검증: PMO(Practical Molecular Optimization) 벤치마크 (23 개 작업) 와 의약화학 시나리오 (SARS-CoV-2 Mpro 억제제, 신규 단백질 결합 등) 에서 기존 SOTA 방법들을 압도하는 성능을 보였습니다.

4. 실험 결과 (Results)

• PMO 벤치마크 (23 개 작업):
  • SEISMO 는 50 번의 오라클 호출에서 Top-1 AUC 19.85를 기록하여, 가장 강력한 베이스라인 (REINVENT, 7.06) 보다 2.8 배 높은 성능을 보였습니다.
  • 50 회 호출 후 달성한 최고 점수의 합에서도 2.6 배의 개선을 보였습니다.
  • 많은 작업에서 50 회 호출 이내에 목표 점수의 90% 이상을 달성했습니다.
• 정보 수준에 따른 영향 (Ablation Study):
  • 작업 설명 부재: 성능이 급격히 저하되어 블랙박스 검색 수준으로 떨어졌습니다. 이는 작업 목표에 대한 명확한 지시가 LLM 의 사전 지식을 활성화하는 데 필수적임을 보여줍니다.
  • 설명 피드백 부재: 점수만 제공받을 때보다, 점수의 하위 구성 요소와 그 이유 (SHAP 등) 를 설명해 주었을 때 샘플 효율성이 유의미하게 향상되었습니다.
  • 결론: "무엇을 최적화할지" (Task Description) 와 "왜 그 점수가 나왔는지" (Explanation) 에 대한 정보가 모두 최적화 효율성에 결정적입니다.
• 고비용 오라클 시나리오 (Co-folding Oracle):
  • Boltz-2 모델을 사용한 단백질 - 리간드 결합 예측 (고비용 오라클) 에서도 SEISMO 는 설명 피드백을 통해 더 빠르게 최적화 경향을 보였습니다. 특히 알려지지 않은 단백질 (no known binders) 에 대해서도 일반 화학 지식을 활용해 새로운 결합 분자를 제안했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용적 가치: 실험 비용이 높거나 평가 속도가 제한된 실제 신약 개발 환경에서, SEISMO 는 소수의 평가 횟수로 고품질 분자를 발견할 수 있게 함으로써 개발 기간과 비용을 단축할 수 있는 잠재력을 가집니다.
• 패러다임 전환: 분자 최적화를 단순한 블랙박스 탐색이 아닌, 도메인 지식 (LLM 의 사전 학습) 과 구조적 피드백 (설명) 을 활용한 추론 과정으로 재정의했습니다.
• 미래 전망: LLM 의 화학 추론 능력이 발전함에 따라, SEISMO 와 같은 프레임워크는 추가적인 학습 없이도 자연스럽게 성능이 향상될 것으로 예상됩니다. 이는 계산 화학 및 의약화학 분야에서 정보 인식형 (information-aware) 에이전트의 중요성을 부각시키는 연구입니다.

요약하자면, SEISMO 는 LLM 의 강력한 사전 지식과 **실시간의 상세한 피드백 (점수 + 설명)**을 결합하여, 기존 방법론보다 훨씬 적은 비용 (샘플) 으로 분자 최적화 문제를 해결하는 획기적인 접근법입니다.