DrugPlayGround: Benchmarking Large Language Models and Embeddings for Drug Discovery

이 논문은 약물 발견 분야에서 대형 언어 모델 (LLM) 의 성능을 객관적으로 평가하고 화학적·생물학적 추론 능력을 검증하기 위해, 물리화학적 특성 및 약물 상호작용 등 다양한 측면을 분석하는 새로운 벤치마크 프레임워크인 'DrugPlayGround'를 제안합니다.

핵심

이 논문은 **"DrugPlayGround(드러그 플레이그라운드)"**라는 새로운 도구를 소개합니다. 이 도구는 인공지능, 특히 **'거대 언어 모델 (LLM)'**이 신약 개발 분야에서 얼마나 잘 작동하는지, 그리고 어디에 약점이 있는지를 시험하는 **'실전 훈련장'**과 같습니다.

일반적인 언어로 비유하자면, 이 연구는 **"인공지능이 의대생이나 약학대학생처럼 약에 대해 얼마나 똑똑하게 설명할 수 있고, 실제로 약을 찾는 데 도움이 될지 시험하는 시험지"**를 만든 이야기입니다.

핵심 내용을 쉬운 비유와 함께 설명해 드릴게요.

---

1. 왜 이런 연구가 필요할까요? (배경)

신약 개발은 마치 거대한 미로 찾기와 같습니다. 수많은 약 후보 물질 중에서 진짜 효과가 있는 것을 찾아내려면 막대한 시간과 돈이 듭니다.
최근 인공지능 (LLM) 이 등장하면서, 이 미로에서 길을 찾는 속도를 높일 수 있을 것이라는 기대가 생겼습니다. 하지만 **"AI 가 정말로 약학 지식을 제대로 알고 있는가?", "허위 정보를 섞어 말하지는 않는가?"**에 대한 객관적인 기준이 없었습니다. 마치 시험을 치지 않고 졸업장을 주는 것과 같죠. 그래서 연구팀은 이 AI 들의 능력을 객관적으로 측정할 **'DrugPlayGround'**라는 플랫폼을 만들었습니다.

2. DrugPlayGround 는 무엇을 시험할까요? (4 가지 주요 테스트)

이 플랫폼은 AI 에게 네 가지 종류의 과제를 주어 능력을 평가합니다.

① 약에 대한 설명하기 (약학자로서의 작문 능력)

• 과제: AI 에게 "이 약 (예: 아스피린) 에 대해 설명해 줘"라고 요청합니다.
• 비유: AI 가 약학 전공 서적을 읽고 요약하는 학생이라고 상상해 보세요.
• 결과:
  • GPT-4o가 가장 깔끔하고 정확한 설명을 썼습니다.
  • 온도 (Temperature) 설정이 중요합니다. AI 의 창의성을 조절하는 '온도'를 낮게 설정하면 더 정확한 사실을 말하지만, 너무 높게 설정하면 엉뚱한 소리를 지어내는 (할루시네이션) 경향이 있습니다.
  • **메타 프롬프트 (Meta Prompt)**라는 특별한 지시어를 주면, AI 가 일반 대화에서 전문가 모드로 전환되어 훨씬 더 정확한 약학 지식을 뱉어냈습니다.

② 약의 '감성'을 숫자로 바꾸기 (임베딩 평가)

• 과제: AI 가 약에 대한 설명을 읽고, 그 의미를 숫자 벡터 (임베딩) 로 변환합니다. 이 숫자가 두 약이 얼마나 비슷한지 나타냅니다.
• 비유: 약을 음악 파일로 생각하세요. AI 는 이 음악의 '장르와 분위기'를 숫자로 분석합니다. 만약 두 약이 같은 '장르 (치료 효과)'에 속한다면, AI 가 만든 숫자는 서로 가깝게 모여야 합니다.
• 결과: AI 가 만든 숫자 표현은 기존에 쓰던 전문 화학 모델들보다 더 좋은 성능을 보였습니다. 특히 Gemini와 Mistral 모델이 약의 상호작용을 잘 이해했습니다.

③ 약의 시너지 효과 예측 (1+1=3 인가?)

• 과제: 두 가지 약을 함께 쓰면 효과가 배가 될까? (시너지)
• 비유: 요리사가 두 가지 재료를 섞었을 때 맛이 좋아질지 예측하는 일입니다.
• 결과: AI 가 만든 숫자 표현을 쓰면, 기존 방법보다 두 약을 섞었을 때의 효과를 더 잘 예측했습니다.
  • 중요한 발견: 세포의 상태가 단순하고 명확할 때 (예: 특정 신호만 켜져 있는 세포) AI 는 아주 잘 예측했지만, 세포가 너무 복잡하고 혼란스러울 때는 예측이 어렵습니다. 즉, 환경이 복잡하면 AI 도 헷갈립니다.

④ 약이 세포에 미치는 영향 예측 (세포의 반응)

• 과제: 약을 넣었을 때 세포의 유전자 발현이 어떻게 변할지 예측합니다.
• 비유: 정원사가 특정 비료 (약) 를 뿌렸을 때 꽃 (세포) 이 어떻게 피어날지 예측하는 일입니다.
• 결과: AI 가 약에 대해 생물학적으로 풍부한 설명 (예: "이 약은 항생제이며 세균의 세포벽을 공격한다" 등) 을 제공하면, 세포의 반응을 훨씬 정확하게 예측했습니다. 하지만 단순히 화학 구조만 설명하면 예측력이 떨어졌습니다.

3. AI 의 약점은 무엇인가요? (한계점)

연구팀은 AI 가 아직 완벽하지 않다는 점도 솔직하게 밝혔습니다.

• 사실 왜곡 (할루시네이션): AI 는 약의 분자량이나 화학식 같은 숫자나 사실을 틀리게 말할 때가 많습니다. "약이 A 라는 약효가 있다"는 말은 잘 하지만, "분자량이 500.12g 이다"라고 하면 틀릴 수 있습니다.
• 구조 이해 부족: 2 차원 분자 구조나 복잡한 화학식을 시각적으로 완벽하게 이해하는 데는 아직 한계가 있습니다.
• 불완전한 정보: 약에 대한 정보가 부족하거나 모호할 때, AI 는 빈칸을 채우기 위해 상상을 하기도 합니다.

4. 결론: 앞으로 어떻게 쓸까?

이 연구는 **"AI 가 신약 개발의 마법 지팡이가 될 수는 있지만, 아직은 전문가의 감시와 검증이 필요하다"**는 메시지를 줍니다.

• 약 설명 생성: GPT-4o 같은 모델이 가장 잘합니다.
• 약의 유사성 분석: Gemini 나 Mistral 같은 모델이 좋습니다.
• 가장 중요한 점: AI 가 약에 대해 **생물학적 맥락 (어떤 세포를 치료하는지, 어떤 기전으로 작용하는지)**을 풍부하게 설명할수록, 그 AI 가 만든 데이터는 실제 신약 개발에 더 큰 도움이 됩니다.

한 줄 요약:

"DrugPlayGround 는 AI 가 신약 개발 분야에서 '진짜 전문가'가 될 수 있는지, 아니면 '지식만 많고 사실은 틀리는 학생'인지 확인해 주는 최고의 시험장입니다. AI 는 매우 유망하지만, 여전히 인간의 전문가가 함께 검증해야 합니다."

기술 요약

1. 문제 정의 (Problem)

신약 개발 분야는 과학적, 경제적, 물류적 제약으로 인해 비용이 많이 들고 시간이 오래 걸리는 과정입니다. 최근 대규모 언어 모델 (LLM) 이 신약 발견 (후보 물질 생성, 표적 예측, 약물 재창출 등) 에 혁신적인 도구로 부상하고 있지만, 다음과 같은 중요한 문제들이 존재합니다.

• 객관적 평가 부재: 기존 전통적인 약물 발견 플랫폼 대비 LLM 의 성능을 객관적으로 평가하여 장단점을 규명하는 벤치마크가 부족합니다.
• 안전성 및 신뢰성 우려: LLM 이 환자를 위협할 수 있는 잘못된 약물 정보를 생성하거나 (할루시네이션), 복잡한 화학 구조를 단순화하여 비현실적인 화학을 제안할 수 있다는 우려가 있습니다.
• 성능 불확실성: 초기 연구 결과에 따르면, LLM 이 처음부터 훈련된 딥러닝 모델보다 약물 특성이나 결합 부위 예측에서 항상 우수한 성능을 보이는 것은 아닙니다.

따라서 LLM 이 신약 개발 파이프라인의 전 단계에서 실제로 유용한지, 그리고 어떤 조건에서 가장 효과적으로 작동하는지를 체계적으로 평가할 수 있는 프레임워크가 시급히 필요합니다.

2. 방법론 (Methodology)

저자들은 DrugPlayGround라는 통합 벤치마크 플랫폼을 개발하여 LLM 과 임베딩 모델의 성능을 평가했습니다. 이 프레임워크는 크게 두 가지 주요 평가 흐름과 네 가지 핵심 과제로 구성됩니다.

A. 데이터 및 모델 구성

• 데이터: MolTextNet(분자 - 텍스트 쌍), TDC(약물 - 표적 상호작용), BAITSAO(약물 시너지), Tahoe 100M(화학 섭동) 등 대규모 데이터셋을 활용했습니다.
• 평가 대상 모델:
  • 생성 모델 (Text Generation): GPT-4o, Claude-sonnet4, DeepSeek-v3, Gemini-1.5-pro, Mistral-large 등 5 가지 주요 LLM.
  • 임베딩 모델 (Embedding): GPT-Emb, Gemma-Emb, Gemini-Emb, Mistral-Emb, Qwen3-Emb 등 5 가지 임베딩 모델.
• 실험 변수: 온도 (Temperature: 0.0~1.0), 프롬프트 유형 (일반, CoT, Meta) 을 조합하여 총 90 가지 설정에서 실험을 수행했습니다.

B. 평가 과제 (Four Key Tasks)

1. 약물 속성 설명 생성 (Drug Function Analysis):
   • LLM 이 생성한 약물 텍스트 설명이 실제 화학적/생물학적 사실 (분자량, LogP, IC50 등) 을 얼마나 정확하게 요약하는지 평가합니다.
   • 지표: BLEU, ROUGE, BERT 점수, 화학자 (Domain Expert) 에 의한 정성적 평가.
2. 약물 시너지 예측 (Drug Synergy Prediction):
   • 두 약물의 병용 효과를 예측하는 과제입니다. LLM 임베딩을 BAITSAO 프레임워크에 적용하여 분류 (Accuracy, AUROC) 및 회귀 (PCC, R2) 성능을 측정했습니다.
3. 약물 - 단백질 상호작용 (DPI) 예측 (Drug-Target Interaction):
   • 약물과 단백질의 결합 여부를 예측합니다. ESMC(단백질 임베딩) 와 다양한 LLM 의 약물 임베딩을 결합하여 MLP 로 학습시켰습니다.
4. 화학 섭동 예측 (Chemical Perturbation Prediction):
   • 약물 처리에 따른 세포의 유전자 발현 변화 (scRNA-seq 데이터) 를 예측합니다. ChemCPA 베이스라인과 비교하여 R2 점수를 평가했습니다.

3. 주요 결과 (Key Results)

A. 텍스트 생성 성능

• 모델 비교: GPT-4o가 모든 평가 지표에서 일관되게 가장 우수한 성능을 보였습니다. Mistral-large 가 그 뒤를 이었으며, DeepSeek-v3 는 상대적으로 낮은 성능을 보였습니다.
• 프롬프트의 영향: Meta 프롬프트(도메인 전문가 역할을 부여) 가 표준 프롬프트나 CoT(Chain-of-Thought) 프롬프트보다 훨씬 높은 품질의 설명을 생성했습니다. CoT 는 불필요한 추론 과정을 포함하여 정확도가 떨어지는 경향이 있었습니다.
• 온도 (Temperature): 대부분의 모델에서 낮은 온도가 일관된 성능을 보였으나, 모델마다 최적의 온도 구간이 달랐습니다.
• 할루시네이션: LLM 은 분자량이나 화학식과 같은 구체적인 수치에서 오류를 범하거나, 불완전한 정보를 생성하는 경향이 있었습니다. 특히 CoT 프롬프트에서 할루시네이션이 더 빈번하게 발생했습니다.

B. 임베딩 및 다운스트림 태스크 성능

• 약물 표현 (Representation): LLM 기반 임베딩은 MolTextNet 의 ground truth 텍스트와 높은 코사인 유사도 (0.7 이상) 를 보였으며, Mistral-Emb가 가장 높은 성능을 보였습니다.
• 시너지 예측: Gemini-Emb와 Mistral-Emb가 가장 우수한 성능을 보였습니다. 특히 세포의 이질성이 낮고 신호 경로가 명확한 경우 (예: VCaP 세포) 예측 정확도가 높았으나, 이질성이 높은 경우 (예: MSTO-211H) 는 예측이 어려웠습니다.
• DPI 예측: Gemini-Emb가 여러 데이터셋에서 높은 정확도를 보였으나, 데이터셋 특성에 따라 최적 모델이 달랐습니다 (Human 데이터: GPT-Emb, DrugBank: Mistral/Gemini, C.elegans: Gemini/Qwen3).
• 섭동 예측: Qwen3-Emb와 Mistral-Emb가 ChemCPA 베이스라인보다 우수한 R2 점수를 기록했습니다. 특히 생물학적 맥락이 풍부한 텍스트 설명 (예: 항생제 분류 명시) 을 가진 약물의 경우 예측 정확도가 높았습니다.

4. 주요 기여 (Key Contributions)

1. DrugPlayGround 프레임워크 개발: LLM 의 텍스트 생성 능력과 임베딩 표현 능력을 신약 개발의 4 가지 핵심 과제 (속성 분석, 시너지, 표적, 섭동) 에서 체계적으로 평가하는 최초의 통합 벤치마크를 제시했습니다.
2. 실용적인 가이드라인 제시:
   • 약물 설명 생성에는 GPT-4o + Meta 프롬프트 조합이 가장 효과적입니다.
   • 임베딩 기반 태스크에서는 Gemini, Mistral, Qwen3 계열 모델이 특정 과제에 따라 우수한 성능을 보입니다.
   • 프롬프트 설계 (특히 도메인 전문성 부여) 가 온도 설정보다 성능과 안정성에 더 큰 영향을 미친다는 것을 입증했습니다.
3. 한계점 규명: LLM 이 구체적인 화학 수치 (분자량 등) 나 2 차원 구조 정보에서는 오류를 범할 수 있음을 지적하고, 이를 보완하기 위해 구조 정보를 모델 학습에 통합해야 함을 강조했습니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 이 신약 개발 분야에서 단순한 보조 도구를 넘어 핵심적인 역할을 할 수 있음을 보여주지만, 동시에 신중한 검증과 도메인 전문가의 개입이 필수적임을 강조합니다. DrugPlayGround 는 연구자들이 특정 과제에 맞는 최적의 LLM 과 프롬프트 전략을 선택할 수 있도록 돕고, 향후 더 정확하고 신뢰할 수 있는 AI 기반 신약 발견 파이프라인을 구축하는 데 중요한 기준을 제공합니다. 특히, LLM 이 생성한 텍스트와 임베딩을 결합한 통합 파이프라인이 미래의 AI 가속 신약 발견의 핵심 방향성이 될 것으로 전망됩니다.