SmileyLlama: Modifying Large Language Models for Directed Chemical Space Exploration

이 논문은 엔지니어링된 프롬프트의 지도 미세조정 (SFT) 과 직접 선호도 최적화 (DPO) 를 통해 대형 언어 모델을 화학 언어 모델로 변환한 'SmileyLlama'를 개발하여, 자연어 대화 능력을 유지하면서도 사용자의 지정된 속성을 가진 약물 분자를 신뢰성 있게 생성하고 3D 구조 및 결합 친화도가 최적화된 분자를 예측할 수 있음을 보여줍니다.

핵심

🍳 1. 문제: "요리사"는 요리를 못 할까?

기존의 인공지능 모델 (Llama) 은 세상 모든 지식을 가진 만능 요리사입니다. 역사, 과학, 요리 레시피까지 다 알고 있죠. 하지만 이 요리사에게 "약이 될 만한 새로운 분자 구조 (화학식) 를 만들어줘"라고 하면, 그는 당황합니다.

• 기존 Llama 의 상태: 화학 구조를 만드는 법을 모릅니다. 마치 "요리사"에게 "새로운 자동차 엔진 설계도"를 그리라고 시키는 것과 비슷합니다. 가끔은 엉뚱한 그림을 그리거나, 아예 불가능한 구조를 만들어냅니다.
• 기존 화학 AI 들의 한계: 약을 만드는 데 특화된 AI 들은 있지만, 이들은 처음부터 화학 데이터만 먹여 키운 전공자들입니다. 이들은 새로운 지식을 배우거나 대화하는 데는 서툴고, 데이터를 처음부터 다시 학습시키는 데 비용과 시간이 너무 많이 듭니다.

🎨 2. 해결책: "SmileyLlama"로 변신시키기

연구진은 이 만능 요리사 (Llama) 를 약물 개발 전문가로 변신시켰습니다. 이를 위해 두 가지 강력한 기술을 사용했습니다.

① SFT (지도 미세 조정): "레시피 책"을 가르치기

• 비유: 요리사에게 약 200 만 개의 '약물 레시피 (화학 구조)'를 보여주고, "이런 성분을 가진 약을 만들면 이렇게 설명해"라고 예시를 반복해서 가르친 것입니다.
• 결과: 이제 Llama 는 단순히 대화만 하는 게 아니라, "이런 성분이 들어간 약을 만들어줘"라고 요청하면 바로 그 조건에 맞는 화학 구조 (SMILES 문자열) 를 만들어냅니다. 마치 요리사가 "매운맛이 강한 새 메뉴"를 요청하면 바로 그걸 만들어내는 것처럼요.

② DPO (선호도 최적화): "맛보기"를 통한 피드백

• 비유: 요리사가 만든 요리를 맛본 후, "이건 너무 짜고, 저건 딱 좋네!"라고 피드백을 주는 과정입니다.
• 작동 원리: AI 가 만든 분자 중 조건에 맞는 '좋은 분자 (승자)'와 조건에 어긋난 '나쁜 분자 (패자)'를 짝지어, AI 가 좋은 분자를 더 많이 만들도록 훈련시킵니다.
• 효과: AI 는 이제 사용자의 요구사항 (예: "분자량이 500 이하이고, 물에 잘 녹아야 해") 을 훨씬 정확하게 따르게 됩니다.

🏗️ 3. 실제 성과: "3D 건축가"가 되다

이제 SmileyLlama 는 단순히 2D 그림 (화학식) 을 그리는 것을 넘어, 3D 건축가 역할도 합니다.

• 바이러스와의 전쟁: 연구진은 이 AI 를 이용해 코로나바이러스 (SARS-CoV-2) 의 주효소 (MPro) 에 딱 맞는 '열쇠 (약물 분자)'를 설계했습니다.
• iMiner 와의 협업: AI 가 만든 분자를 실제 3D 공간에서 바이러스 단백질에 넣어보고 (도킹), 얼마나 잘 맞는지 테스트합니다.
• 결과: 기존 방법보다 훨씬 적은 시간과 데이터로, 바이러스에 강력하게 결합하면서도 인간에게 안전한 새로운 약물 후보들을 찾아냈습니다. 특히, "이런 모양의 분자만 만들어줘"라고 요청하면, AI 는 그 조건에 딱 맞는 새로운 구조를 뚝딱 만들어냅니다.

💡 4. 핵심 메시지: 왜 이것이 중요한가?

1. 비용 절감: 처음부터 약학 전문가 AI 를 새로 키울 필요 없이, 이미 있는 만능 AI 를 조금만 수정하면 됩니다. (비유: 전문 요리사를 새로 채용할 필요 없이, 기존 요리사에게 레시피만 가르치면 됩니다.)
2. 유연성: "약이 될 만한 분자"뿐만 아니라, "특정 모양의 금속 복합체"나 "새로운 합성 경로" 등 다른 화학 분야에도 이 기술을 적용할 수 있습니다.
3. 대화 능력 유지: SmileyLlama 는 여전히 영어로 대화할 수 있습니다. "이 분자가 왜 이렇게 생겼니?"라고 물어보면 설명도 해줍니다. (다만, 화학 질문에는 화학식을 답으로 내놓는 습관이 생겼습니다.)

🚀 결론

이 논문은 **"인공지능이 약을 개발하는 방식의 게임 체인저"**를 보여줍니다.

과거에는 약을 찾기 위해 수많은 실험실 시약을 섞어보거나, 무거운 전용 컴퓨터 프로그램을 돌려야 했습니다. 하지만 이제 우리는 자연어로 대화하듯 AI 에게 "이런 성질을 가진 약을 만들어줘"라고 말하면, AI 가 그 조건에 맞는 새로운 약을 설계해줍니다.

SmileyLlama는 마치 "약학 지식을 가진 똑똑한 비서"처럼, 과학자들이 상상만 하던 새로운 약들을 현실로 끌어올리는 마법 같은 도구입니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 기존 화학 언어 모델 (CLM) 의 한계: 기존에 분자 생성을 위해 개발된 화학 언어 모델 (CLM) 들은 대부분 ChEMBL, ZINC 와 같은 대규모 화학 데이터셋에서 처음부터 (from scratch) 학습되었습니다. 이는 방대한 컴퓨팅 자원과 전문적인 데이터 수집이 필요하며, 모델의 해석 가능성이나 하이퍼파라미터 제어에 제약이 따릅니다.
• LLM 의 활용 부족: 대규모 언어 모델 (LLM) 은 자연어 처리에 탁월하지만, 화학 구조 (SMILES 문자열) 를 생성하는 데에는 직접적인 적용이 어렵습니다. 기존 LLM 을 화학 생성에 사용할 경우, 유효한 분자 생성률이 낮거나 (Validity), 학습된 데이터의 단순 반복 (Uniqueness 저하) 이 발생하는 문제가 있었습니다.
• 목표: 사전 학습된 범용 LLM 을 화학 생성 모델로 변환하되, 별도의 대규모 재학습 없이 지도 미세 조정 (SFT) 과 직접 선호도 최적화 (DPO) 를 통해 사용자가 지정한 속성 (물리화학적 성질, 결합 친화도 등) 을 가진 약물 후보 물질을 효율적으로 탐색할 수 있는 프레임워크를 구축하는 것입니다.

2. 방법론 (Methodology)

연구진은 오픈 가중치 모델인 Meta-Llama-3.1-8B-Instruct를 기반으로 SmileyLlama를 개발했습니다. 주요 방법은 다음과 같습니다.

가. 감독 미세 조정 (Supervised Fine-Tuning, SFT)

• 데이터 구성: ChEMBL 데이터셋 (약 200 만 개 분자) 의 SMILES 문자열을 기반으로 학습 데이터를 구성했습니다.
• 프롬프트 엔지니어링: 각 분자에 대해 RDKit 을 사용하여 계산된 약물 유사성 관련 속성 (분자량, LogP, 수소 결합 공여체/수용체 수, TPSA, Lipinski 규칙 준수 여부 등) 을 프롬프트에 포함시켰습니다.
  • 시스템 프롬프트: "당신은 약물 유사 분자의 SMILES 문자열 생성을 사랑하고 탁월합니다."
  • 사용자 프롬프트: "다음 속성을 가진 약물 유사 분자의 SMILES 문자열을 출력하세요: [속성 목록]" 또는 속성 없이 일반적인 생성 요청.
• 학습 전략: 속성 값이 지정된 경우와 지정되지 않은 경우를 50% 확률로 혼합하여 학습시켰습니다. 이를 통해 모델이 속성 조건이 있을 때와 없을 때 모두 유연하게 대응하도록 훈련했습니다.

나. 직접 선호도 최적화 (Direct Preference Optimization, DPO)

• 목적: SFT 모델이 프롬프트의 제약 조건을 더 엄격하게 준수하도록 강화하고, 특정 목표 (예: 특정 단백질에 대한 결합 친화도) 를 최적화하기 위해 적용했습니다.
• 프로세스:
  1. SFT 모델을 사용하여 특정 속성 조건을 가진 분자를 생성합니다.
  2. 생성된 분자 중 조건을 만족하는 것 (Winner) 과 만족하지 않는 것 (Loser) 을 RDKit 으로 판별하여 쌍 (Pair) 을 만듭니다.
  3. 이 쌍을 사용하여 DPO 를 수행하여 모델의 가중치를 업데이트합니다.
• 장점: 별도의 보상 모델 (Reward Model) 학습이 필요 없어 계산 자원을 절약하면서도 모델의 지시 준수도를 높입니다.

다. iMiner 프레임워크와의 통합

• 3D 구조 기반 최적화: 생성된 분자를 SARS-CoV-2 주효소 (MPro) 와 같은 표적 단백질에 대한 AutoDock Vina를 이용한 실시간 3D 도킹 (Docking) 에 적용했습니다.
• 강화 학습 (RL): 기존 iMiner 알고리즘의 생성 부분 (AWD-LSTM) 을 SmileyLlama 로, 최적화 알고리즘 (PPO) 을 DPO 로 대체하여, 분자 생성과 결합 점수 최적화를 동시에 수행했습니다.

3. 주요 결과 (Results)

가. 벤치마크 성능 (GuacaMol)

• 유효성 (Validity) 및 독창성 (Uniqueness): SFT 를 거친 SmileyLlama 는 Zero-shot Llama 에 비해 유효한 SMILES 생성률이 68.8% 에서 **95.8%**로 크게 향상되었습니다. 또한, 기존 CLM 들 (GraphMCTS, VGAE 등) 과 비교했을 때 유효성, 독창성, 신규성 (Novelty) 면에서 경쟁력 있는 성능을 보였습니다.
• 분포 유사성: 생성된 분자들의 물리화학적 특성 분포가 ChEMBL 학습 데이터와 매우 유사하게 분포함을 UMAP 시각화 및 KL 발산, FCD (Frechet ChemNet Distance) 지표를 통해 확인했습니다.

나. 속성 지정 생성 능력

• 조건부 생성: SFT 모델은 수소 결합 수, 분자량, LogP 등 다양한 수치 범위 조건을 프롬프트로 입력받았을 때, 해당 조건을 만족하는 분자를 높은 비율 (대부분 90% 이상) 로 생성했습니다.
• DPO 의 효과: DPO 를 적용한 모델은 프롬프트 조건 준수도가 더욱 높아졌으나, 생성된 분자의 다양성 (Distribution) 이 다소 축소되는 경향을 보였습니다. 이는 특정 조건에 대한 최적화 (Constraint Optimization) 의 특성입니다.

다. 약물 발견 적용 (SARS-CoV-2 MPro)

• 결합 친화도 최적화: SmileyLlama 를 iMiner 프레임워크에 적용하여 SARS-CoV-2 주효소 억제제를 생성했습니다.
• 성능: 기존 iMiner 알고리즘보다 약 25% 적은 에포크 (Epoch) 수로 유사한 수준의 도킹 점수 향상을 달성했습니다.
• 다양성 유지: 기존 알고리즘이 에포크가 진행됨에 따라 다양성이 급격히 떨어지는 (Diversity Crash) 현상이 발생했지만, SmileyLlama 는 높은 도킹 점수를 유지하면서도 분자 다양성을 잘 보존했습니다.
• 새로운 스캐폴드 발견: 생성된 분자들은 기존에 알려진 약물 스캐폴드와 유사하지 않으면서도 활성 부위에 잘 결합하는 새로운 구조를 보여주었습니다.

라. 자연어 능력 유지

• 화학 생성에 특화되었음에도 불구하고, SmileyLlama 는 여전히 일반적인 자연어 대화, 코드 생성, 과학적 질문 답변 등의 LLM 고유의 능력을 상당 부분 유지하고 있음을 확인했습니다. (다만, 화학 관련 질문에는 SMILES 문자열로 답변하는 경향이 강해지기도 함)

4. 주요 기여 (Key Contributions)

1. 효율적인 CLM 변환: 화학 데이터로 처음부터 학습하는 대신, 범용 LLM 을 SFT 와 DPO 만으로 화학 생성 모델로 변환하여 자원 효율성을 극대화했습니다.
2. 지시 기반 생성 (Prompt-driven Generation): 복잡한 조건 (수치 범위, 특정 서브구조, 약물 유사성 규칙 등) 을 자연어 프롬프트로 입력받아 이를 정확히 준수하는 분자를 생성할 수 있는 능력을 입증했습니다.
3. DPO 를 통한 강화 학습 통합: 별도의 보상 모델 학습 없이 DPO 를 통해 분자 생성과 3D 결합 최적화를 결합한 새로운 프레임워크를 제시했습니다.
4. 다목적 확장성: 약물 발견뿐만 아니라 화학 합성 계획, 전이 금속 착물 발견 등 다른 화학/재료 과학 분야로 확장 가능한 일반화된 프레임워크임을 강조했습니다.

5. 의의 및 결론 (Significance)

이 연구는 SmileyLlama를 통해 대규모 언어 모델이 단순한 화학 지식 챗봇을 넘어, 사용자가 지정한 속성을 가진 새로운 약물 후보 물질을 직접 설계하고 생성할 수 있는 도구로 변모할 수 있음을 증명했습니다.

• 자원 효율성: 고비용의从头학습 (From-scratch training) 없이도 상용 LLM 을 통해 고성능 화학 생성 모델을 구축할 수 있음을 보여줍니다.
• 유연성: 프롬프트 엔지니어링만으로 생성 분자의 특성을 조절할 수 있어, 연구자의 탐색 목표에 따라 즉각적으로 대응 가능합니다.
• 미래 전망: 이 프레임워크는 약물 발견의 초기 단계 (Chemical Space Exploration) 에서 매우 유용하며, 자연어 처리와 화학 생성의 경계를 허무는 새로운 패러다임을 제시합니다.

결론적으로, SmileyLlama 는 LLM 의 자연어 처리 능력을 화학 공간 탐색에 성공적으로 접목시킨 선구적인 사례로, 향후 AI 기반 신약 개발 및 재료 과학 연구의 중요한 도구가 될 것으로 기대됩니다.