DrugPlayGround: Benchmarking Large Language Models and Embeddings for Drug Discovery

이 논문은 약물 발견 과정에서 대형 언어 모델 (LLM) 의 성능을 평가하고 벤치마킹하기 위해, 물리화학적 특성 및 약물 상호작용에 대한 설명 생성과 전문가 검증 기반의 추론 능력을 테스트하는 'DrugPlayGround'라는 새로운 프레임워크를 제안합니다.

핵심

이 논문은 **"DrugPlayGround(약물 놀이터)"**라는 새로운 시스템을 소개합니다. 이 시스템은 인공지능의 거인인 **'거대 언어 모델 (LLM)'**이 신약 개발 분야에서 얼마나 잘 일할 수 있는지, 그리고 어디에 약점이 있는지 테스트하는 종합 평가 대회라고 생각하시면 됩니다.

기존의 신약 개발은 매우 비싸고 시간이 오래 걸리는 '고된 노동'이었습니다. 최근 AI 가 이 일을 도와줄 수 있다는 기대가 커졌지만, "정말 AI 가 믿을 만한가?"에 대한 객관적인 기준이 없었습니다. 이 논문은 바로 그 공백을 메우기 위해 만들어졌습니다.

이 내용을 일반인이 이해하기 쉽게 3 가지 핵심 비유로 설명해 드리겠습니다.

---

1. 신약 개발은 '레시피 만들기'와 같습니다

약 개발은 새로운 요리를 만드는 것과 비슷합니다.

• 전통적인 방법: 요리사 (과학자) 가 직접 재료를 하나하나 손으로 다듬고, 실험실 오븐에서 수년 동안 맛을 봅니다. (비싸고 느림)
• AI 의 역할: AI 는 방대한 요리책 (데이터) 을 다 읽은 '초고속 요리 비서'입니다. 이 비서가 "이 재료를 섞으면 이런 맛이 날 거야"라고 레시피를 제안해 줄 수 있습니다.

하지만 문제는 이 비서가 **환각 (Hallucination)**을 일으킬 수 있다는 점입니다. "소금 100kg 을 넣으세요"라고 말하거나, 실제로 존재하지 않는 재료를 invent(발명) 해낼 수도 있습니다. 이 논문은 바로 **"어떤 AI 비서가 가장 정확한 레시피를 짜줄까?"**를 검증하는 것입니다.

2. DrugPlayGround: AI 비서들의 '실전 시험'

연구진은 5 가지 주요 AI 모델 (GPT-4o, Claude, Gemini 등) 을 불러모아 4 가지 과제를 수행하게 했습니다.

📝 과제 1: 약 설명하기 (문장 생성)

• 상황: "이 약은 뭐야?"라고 물었을 때, AI 가 약의 성분, 효능, 부작용 등을 정확하고 자연스럽게 설명하는지 봅니다.
• 결과: GPT-4o가 가장 훌륭한 설명을 썼습니다. 마치 유능한 약국 사원처럼 정확한 정보를 전달했습니다. 반면, 어떤 모델은 숫자를 잘못 말하거나 (예: 분자량 오류), 존재하지 않는 화학 반응을 지어내기도 했습니다.
• 교훈: AI 에게 "약학 전문가가 되어 설명해 줘"라고 구체적으로 지시하면 (프롬프트 엔지니어링), 훨씬 더 좋은 결과를 얻을 수 있습니다.

🔗 과제 2: 약과 단백질의 '연결 고리' 찾기 (약물 - 표적 예측)

• 상황: 약이 몸속의 특정 단백질 (표적) 에 잘 붙는지 예측하는 것입니다. 이는 약이 병을 고칠 수 있는 첫걸음입니다.
• 결과: AI 가 만든 '약의 특징 요약 (임베딩)'을 사용하면, 기존의 전통적인 방법보다 더 정확하게 연결 고리를 찾아냈습니다. 특히 Gemini와 Mistral 모델이 이 분야에서 강점을 보였습니다.
• 비유: 마치 AI 가 약의 '지문'을 분석해서, 어떤 자물쇠 (단백질) 에 열쇠 (약) 가 잘 맞는지 미리 예측하는 것입니다.

💊 과제 3: 약을 섞으면 효과가 배가 될까? (시너지 효과 예측)

• 상황: 약 A 와 약 B 를 함께 쓰면 효과가 1+1=3 이 되는지 (시너지) 예측합니다.
• 결과: AI 는 두 약을 함께 쓸 때의 효과를 꽤 잘 예측했습니다. 하지만 세포의 종류에 따라 결과가 달라졌습니다.
  • 비유: 어떤 세포는 "약 A 와 B 를 섞으면 확실하게 죽어라"라고 명확하게 반응하지만, 다른 세포는 "우리는 너무 복잡해서 뭐가 뭔지 모르겠어"라고 반응합니다. AI 는 반응이 명확한 세포에서는 잘하지만, 혼란스러운 세포에서는 헷갈려 했습니다.

🧬 과제 4: 약이 세포에 어떤 변화를 주나? (변형 예측)

• 상황: 약을 넣었을 때 세포의 유전자 발현이 어떻게 변하는지 예측합니다.
• 결과: Qwen3와 Mistral 모델이 가장 좋은 성능을 냈습니다. 하지만 중요한 발견이 있었습니다. AI 가 약에 대한 설명을 할 때, 생물학적으로 의미 있는 정보 (예: "이 약은 항생제다") 를 포함하면 예측이 훨씬 정확해졌습니다. 반면, 단순히 물리화학적 수치만 나열하면 예측이 잘 안 되었습니다.

---

3. 결론: AI 는 '천재'지만 '완벽하지는 않다'

이 논문의 핵심 메시지는 다음과 같습니다.

1. AI 는 강력하지만, 맹신하면 안 됩니다. AI 는 신약 개발의 속도를 획기적으로 높여줄 수 있지만, 가끔은 **사실과 다른 정보 (환각)**를 만들어냅니다. 특히 숫자나 복잡한 화학 구조를 설명할 때는 실수가 많을 수 있습니다.
2. 전문가의 도움이 필요합니다. AI 가 쓴 설명이나 예측 결과를 최종적으로 확인하고 검증할 '인간 전문가 (화학자, 생물학자)'의 역할이 여전히 필수적입니다. AI 는 훌륭한 '보조 도구'이지만, '주인공'은 아직 인간입니다.
3. 상황에 맞는 도구를 써야 합니다. 어떤 AI 모델이든 다 똑같이 좋은 것은 아닙니다.
   • 약을 설명할 때는 GPT-4o가 최고입니다.
   • 약과 단백질의 관계를 찾을 때는 Gemini가 좋습니다.
   • 유전자 변화를 예측할 때는 Qwen3나 Mistral이 유리합니다.

한 줄 요약:

"신약 개발이라는 거대한 미로에서 AI 는 아주 빠르고 똑똑한 나침반이 되어주지만, 때로는 길을 잘못 들 수도 있으니, 우리는 그 나침반을 믿되 전문가인 우리가 최종 목적지를 확인해야 합니다."

이 연구는 앞으로 AI 를 어떻게 더 안전하게, 그리고 효과적으로 약 개발에 활용할지에 대한 가이드라인을 제시했다는 점에서 매우 중요합니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 대규모 언어 모델 (LLM) 은 가설 생성, 후보 물질 우선순위 선정, 확장성 있는 파이프라인 구축 등을 통해 신약 개발 분야에서 혁신적인 도구로 부상하고 있습니다.
• 문제: 현재 LLM 이 기존 신약 개발 플랫폼에 비해 어떤 장점과 한계를 가지는지에 대한 객관적인 평가 기준 (Benchmark) 이 부재합니다.
  • LLM 은 복잡한 화학 구조를 다루는 데 한계가 있거나, 사실과 다른 화학 정보 (할루시네이션) 를 생성할 수 있습니다.
  • 자연어 데이터의 무분별한 학습으로 인해 환자 안전을 위협하는 의료 오정보가 발생할 위험이 있습니다.
  • 초기 연구들은 LLM 이 처음부터 훈련된 딥러닝 모델보다 약물 특성이나 결합 부위 예측에서 항상 우월하지 않음을 보여주어, 신약 개발 파이프라인에서의 LLM 활용에 대한 불확실성을 야기했습니다.
• 목표: 이러한 불확실성을 해소하고 LLM 의 실제 능력을 규명하기 위해, DrugPlayGround라는 통합 벤치마크 플랫폼을 개발하여 LLM 과 임베딩 모델의 성능을 체계적으로 평가하는 것입니다.

2. 방법론 (Methodology)

DrugPlayGround 는 분자 - 텍스트 쌍 (Molecule-Text Paired) 데이터와 다양한 멀티모달 소스를 기반으로 구축되었으며, 크게 두 가지 주요 평가 흐름으로 구성됩니다.

A. 평가 대상 및 데이터셋

• 데이터 소스: MolTextNet (분자 - 텍스트 쌍), TDC (Drug-Target Interaction), BAITSAO (Drug Synergy), ChemCPA 및 Tahoe 100M (Chemical Perturbation) 등.
• 평가 모델: GPT-4o, Claude-sonnet-4, DeepSeek-v3, Gemini-1.5-pro, Mistral-large-2411 등 5 가지 주요 LLM 과 다양한 임베딩 모델 (GPT-Emb, Gemma-Emb, Mistral-Emb, Qwen3-Emb 등).
• 실험 변수:
  • Temperature: 0.0 ~ 1.0 (0.2 간격).
  • 프롬프트 전략: 표준 (Standard), 사고의 사슬 (Chain-of-Thought, CoT), 메타 인지 (Meta-cognition, Meta).

B. 평가 태스크 (4 가지 핵심 영역)

1. 약물 특성 텍스트 생성 평가 (Text Generation):
   • LLM 이 생성한 약물 설명 (구조, 물리화학적 특성, 약리 활성, 합성 경로 등) 이 참값 (Ground Truth) 과 얼마나 일치하는지 평가.
   • 지표: BLEU, ROUGE-1/2/L, BERT 점수, 정규화된 총점 (Normalized Total Score).
2. 임베딩 기반 약물 표현 평가 (Drug Representation):
   • 생성된 텍스트를 바탕으로 추출된 임베딩이 약물의 의미론적 유사성을 얼마나 잘 포착하는지 평가.
   • 지표: 생성된 임베딩과 참값 임베딩 간의 코사인 유사도 (Cosine Similarity).
3. 도메인 특화 태스크 평가 (Downstream Tasks):
   • 약물 시너지 예측 (Synergy Prediction): 두 약물의 병용 효과를 예측 (분류 및 회귀).
   • 약물 - 단백질 상호작용 (DPI) 예측: 약물과 표적 단백질의 결합 여부 예측.
   • 화학적 교란 예측 (Perturbation Prediction): 약물 처리에 따른 세포 내 유전자 발현 변화 예측 (scRNA-seq 데이터 기반).

3. 주요 결과 (Key Results)

A. 텍스트 생성 성능

• 모델 비교: GPT-4o가 모든 평가 지표에서 일관되게 가장 높은 성능을 보였습니다. Mistral-large-2411 이 ROUGE 기반 지표에서 경쟁력이 있었으나 전체 점수는 GPT-4o 에 미치지 못했습니다. DeepSeek-v3 는 상대적으로 낮은 성능을 보였습니다.
• 프롬프트 영향:
  • Meta 프롬프트 (약학 화학 전문가 역할 부여) 가 표준 프롬프트보다 평균 점수를 높였으며, CoT 프롬프트는 불필요한 추론 과정이 포함되거나 할루시네이션이 증가하여 성능이 저하되었습니다.
  • Temperature: 대부분의 모델에서 낮은 Temperature 가 일관된 성능을 보였으나, 모델별로 최적 온도 구간이 달랐습니다.
• 할루시네이션: CoT 프롬프트에서 수치적 오류 (분자량 등) 나 화학적 사실과 다른 정보가 자주 발생했습니다.

B. 임베딩 및 도메인 태스크 성능

• 약물 표현 (Embedding): LLM 기반 임베딩은 전통적인 분자 임베딩 (UniMol 등) 보다 우수한 성능을 보였습니다. Mistral-Emb와 Gemma-Emb가 높은 코사인 유사도를 기록했습니다.
• 약물 시너지 예측:
  • Gemini-Emb와 Mistral-Emb가 가장 우수한 성능을 보였습니다.
  • 성공/실패 요인: 예측 성공 여부는 세포주의 생물학적 신호 (예: VCaP 세포의 AR 신호 경로) 가 명확한지, 그리고 약물 설명에 효능 관련 정보 (EC50 등) 가 포함되어 있는지에 크게 의존했습니다.
• 약물 - 단백질 상호작용 (DPI):
  • Gemini 계열 임베딩이 다양한 데이터셋에서 상위권을 차지했습니다.
  • GPT-Emb는 인간 (Human) 데이터에서, Mistral/Gemini는 DrugBank 같은 지식 기반 데이터에서, Gemini/Qwen3는 C. elegans 데이터에서 각각 강점을 보였습니다.
  • LLM 임베딩은 자연어 설명에 포함된 맥락적 정보 (약물 유사성, 메커니즘 등) 를 인코딩하여 상호작용 예측에 기여했습니다.
• 화학적 교란 예측:
  • Qwen3-Emb와 Mistral-Emb가 높은 $R^2$ 값을 기록했습니다.
  • 생물학적 정보가 풍부한 약물 설명 (예: Doxycycline) 을 가진 경우 예측 정확도가 높았으나, 물리화학적 특성만 강조된 설명 (예: Furosemide) 은 예측력이 낮았습니다.

4. 주요 기여 (Key Contributions)

1. DrugPlayGround 프레임워크 개발: LLM 과 임베딩 모델의 성능을 평가하기 위한 포괄적이고 확장 가능한 벤치마크 플랫폼을 최초로 제시했습니다.
2. 체계적인 평가 및 가이드라인 제공:
   • 프롬프트 엔지니어링의 중요성: Meta 프롬프트가 화학적 도메인 지식 전달에 효과적임을 입증했습니다.
   • 모델 선택 가이드: 태스크별 최적 모델 제시 (예: 텍스트 생성은 GPT-4o, 시너지 예측은 Gemini/Mistral, 교란 예측은 Qwen3/Mistral).
   • 온도 및 안정성 분석: 낮은 온도가 항상 안정성을 보장하지 않으며, 프롬프트 설계가 안정성에 더 큰 영향을 미친다는 것을 규명했습니다.
3. 한계점 및 통찰 도출:
   • LLM 이 구체적인 화학 수치 (분자량 등) 나 2 차원 구조 정보 생성에 어려움을 겪음을 지적했습니다.
   • 약물 설명의 질 (생물학적 맥락 포함 여부) 이 하류 태스크 성능에 직접적인 영향을 미친다는 것을 확인했습니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 이 신약 개발 파이프라인의 모든 단계 (가설 생성부터 최적화까지) 에서 유용하게 활용될 수 있음을 보여주지만, 동시에 신뢰성 있는 평가를 위한 기준이 필요함을 강조합니다.

• 실용적 가치: 연구자들은 특정 태스크 (시너지, DPI, 교란 등) 에 맞춰 최적의 LLM 과 프롬프트 전략을 선택할 수 있는 구체적인 지침을 얻게 되었습니다.
• 미래 방향: LLM 의 화학적 정확도를 높이기 위해 구조적 정보를 모델 훈련에 통합하고, 생물학적 맥락이 풍부한 텍스트 데이터를 구축하는 것이 향후 중요한 과제로 제시되었습니다.
• 결론: DrugPlayGround 는 LLM 기반 신약 개발의 현재 상태를 객관적으로 진단하고, 더 정확하고 비용 효율적인 AI 기반 신약 개발의 미래를 위한 로드맵을 제공합니다.