MMAI Gym for Science: Training Liquid Foundation Models for Drug Discovery

이 논문은 약물 발견을 위한 분자 데이터와 작업별 추론을 통합한 'MMAI Gym for Science'를 통해 훈련된 효율적인 액체 기초 모델 (LFM) 이 일반 목적의 대형 모델보다 소규모임에도 불구하고 분자 벤치마크에서 더 우수한 성능을 보인다는 것을 입증합니다.

핵심

이 논문은 **"약물 개발이라는 거대한 미로에서, 작은 나침반 하나로 어떻게 최고의 길찾기 전문가가 될 수 있는지"**에 대한 이야기입니다.

기존의 인공지능(AI)은 거대한 도서관 같은 초대형 모델 (LLM) 이 많았습니다. 하지만 이 거인들은 약학이나 화학 같은 전문 분야에서는 "모르는 척" 하거나, 엉뚱한 답을 내놓는 경우가 많았죠. 마치 세계적인 요리사가 있지만, '약'이라는 특수한 재료를 다루는 법은 전혀 모르는 상황과 비슷합니다.

저자들은 이 문제를 해결하기 위해 **'MMAI 체육관 (MMAI Gym)'**이라는 새로운 훈련 프로그램을 개발했습니다. 이제 이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제: 거대한 AI 는 왜 약을 못 만들까?

기존의 거대 AI 모델들은 "문장을 잘 이어 붙이는 것"은 천재입니다. 하지만 약을 개발하려면 분자 구조를 이해하고, "이 원자를 바꾸면 약효가 좋아질까?"라는 복잡한 추론이 필요합니다.

• 비유: 거대한 도서관 (거대 AI) 에 책이 수백만 권 있어도, 약학 전공 서적만 읽은 사람은 아닙니다. 그래서 약사에게 "이 약을 어떻게 만들지?"라고 물으면, "글쎄요, 책에 그런 게 있던데..."라며 막연한 답변만 내놓습니다.

2. 해결책: 'MMAI 체육관'과 '효율적인 선수'

저자들은 거대한 도서관을 새로 짓는 대신, **작지만 똑똑한 선수 (LFM2-2.6B 모델)**를 뽑아 **전문적인 체육관 (MMAI Gym)**에서 혹독한 훈련을 시켰습니다.

• 선수 (LFM2-2.6B): 기존 거대 모델보다 훨씬 작고 빠릅니다. (26 억 개의 파라미터)
  • 비유: 거대한 트럭 대신, 스피드와 민첩성이 뛰어난 레이싱 카를 선택한 것입니다.
• 체육관 (MMAI Gym): 단순히 책만 읽게 하는 게 아니라, 실제 약사들이 쓰는 **현장 언어 (분자 구조, 화학 반응식)**를 배우게 하고, 실전 시뮬레이션을 시켰습니다.
  • 비유: 요리사에게 "요리책"만 주는 게 아니라, **실제 재료를 만지고 실패하고 성공하는 '현장 실습'**을 시킨 것입니다.

3. 훈련 방법: "생각하는 법"을 가르치다

이 훈련의 핵심은 AI 에게 **"무작정 답을 외우는 것"이 아니라, "왜 그런 답이 나왔는지 추론하는 과정 (Chain of Thought)"**을 가르치는 것입니다.

• 비유: 수학 문제를 풀 때, 답만 외우는 학생이 아니라 "왜 이 공식을 썼는지, 단계별로 어떻게 풀었는지"를 설명할 수 있는 학생으로 만든 것입니다.
• 이 훈련을 통해 AI 는 분자 구조를 텍스트로만 보는 게 아니라, 3 차원 공간에서 어떻게 움직이고 결합하는지까지 이해하게 되었습니다.

4. 결과: 작은 선수가 거인을 이기다

훈련을 마친 작은 모델 (MMAI Gym 훈련 모델) 은 놀라운 성과를 냈습니다.

• 약물 최적화: "이 분자를 조금만 바꿔서 독성을 줄이고 약효는 늘려라"라는 미션을 수행했을 때, 거대 모델들보다 더 좋은 결과를 냈습니다.
  • 비유: 거대한 고래 (거대 모델) 가 바다를 헤엄치는 건 빠르지만, **작은 상어 (훈련된 모델)**가 먹이를 잡는 데는 훨씬 능숙하다는 뜻입니다.
• 합성 경로 설계: "이 약을 어떻게 만들까?"라는 질문에 대해, 실제 화학자들이 쓰는 논리와 거의 비슷하게 답을 내놓았습니다.
• 효율성: 거대 모델은 전력을 엄청나게 많이 쓰지만, 이 작은 모델은 전기를 아끼면서도 똑같은 (혹은 더 좋은) 일을 해냅니다.

5. 결론: "크기"보다 "훈련"이 중요하다

이 논문의 가장 중요한 메시지는 **"AI 가 약을 개발하려면 무조건 크기가 커야 하는 것은 아니다"**입니다.

• 핵심: 거대한 뇌 (모델 크기) 보다, **현장 경험 (전문 데이터) 과 올바른 사고방식 (훈련 방법)**이 훨씬 중요합니다.
• 마치 **유명한 명문대 (거대 모델) 를 나온 사람보다, 해당 분야에서 10 년간 현장 경험을 쌓은 전문가 (훈련된 작은 모델)**가 더 일을 잘하는 것과 같습니다.

한 줄 요약:

"거대하고 무거운 AI 가 아니라, 전문적인 체육관에서 단련된 작고 똑똑한 AI가 약 개발이라는 어려운 미션을 가장 잘 해낼 수 있다는 것을 증명했습니다."

이 기술이 상용화되면, 앞으로 더 빠르고 저렴하게 새로운 약을 개발할 수 있는 시대가 열릴 것으로 기대됩니다.

기술 요약

MMAI GYM FOR SCIENCE: 약물 발견을 위한 리퀴드 파운데이션 모델 학습

이 논문은 Insilico Medicine 과 Liquid AI 가 공동으로 발표한 것으로, 일반적인 대규모 언어 모델 (LLM) 이 약물 발견 (Drug Discovery) 과 같은 과학적 분야에서 요구되는 전문성과 성능을 충족하지 못한다는 문제를 해결하기 위해 제안된 MMAI Gym for Science 프레임워크와 이를 통해 훈련된 **Liquid Foundation Model **(LFM)의 성과를 다룹니다.

1. 문제 정의 (Problem)

기존의 범용 대규모 언어 모델 (LLM) 은 문맥 학습 (in-context learning) 에 의존하지만, 약물 발견과 같은 복잡한 과학적 과제를 해결하는 데에는 신뢰할 수 있는 과학적 이해와 성능을 제공하지 못합니다. 단순히 모델 크기를 늘리거나 추론 토큰 (reasoning tokens) 을 도입하는 것만으로는 성능 향상이 미미합니다. 또한, 기존 LLM 기반 접근법들은 전문적인 방법론에 비해 핵심 벤치마크에서 뒤처지며, 프롬프트 엔지니어링이나 단일 작업 미세 조정 (fine-tuning) 만으로는 다양한 분자 추론 작업 (Medicinal Chemistry, Biology 등) 에서 경쟁력 있는 범용 모델을 구축하기 어렵습니다.

2. 방법론 (Methodology)

2.1 MMAI Gym for Science

저자들은 약물 발견의 실제 문제를 해결하기 위해 MMAI Gym이라는 통합된 데이터, 학습, 평가 환경을 구축했습니다. 이는 분자 데이터 포맷과 모달리티를 통합하고, 작업별 추론, 학습 및 벤치마킹 레시피를 제공합니다.

• 데이터 구성: 200 개 이상의 다양한 작업 (2D/3D 분자, 단백질, 약물 - 유전자 상호작용 등) 을 포함하며, TDC, USPTO-50K, GEOM 등 공개 데이터와 Insilico Medicine 의 독점 데이터 (10 억 개 이상의 데이터 포인트, 3D 구조, 실험 데이터 등) 를 활용합니다.
• 데이터 균형 및 증강: 다양한 데이터셋 간의 불균형을 해소하기 위해 계층적 샘플링 전략을 사용했습니다. 또한, SMILES, SELFIES, IUPAC 이름 간의 변환 및 비정형적 순회 (non-canonical random traversal) 를 통해 모델이 특정 구문에 과적합되지 않고 분자 개념을 추상적으로 학습하도록 했습니다.
• 학습 파이프라인:
  1. **지도 미세 조정 **(SFT): 도메인 특화 데이터 (합성, 반응, ADMET, 독성 등) 를 활용한 초기 학습.
  2. **강화 학습 미세 조정 **(RFT): 작업별 보상 함수 (정답 형식, 추론 길이, 화학적 타당성 등) 를 적용하여 모델의 추론 능력을 강화.
  3. 평가: 분포 외 (OOD) 데이터셋과 내부 벤치마크를 통해 일반화 능력을 검증.

2.2 Liquid Foundation Model (LFM2-2.6B)

범용 LLM 대신 효율적인 **Liquid Foundation Model **(LFM2-2.6B)을 기반으로 합니다.

• 아키텍처: 완전한 Softmax 어텐션 대신, **게이트드 숏 컨볼루션 **(Gated Short Convolution)을 주로 사용하여 시퀀스 특징을 추출하고, 소수의 **그룹 쿼리 어텐션 **(GQA) 레이어를 삽입하여 전역 토큰 혼합을 수행하는 하이브리드 구조입니다.
• 효율성: 이 구조는 긴 컨텍스트 처리 시 선형 시간 복잡도를 가지며, 메모리와 지연 시간 제약이 있는 환경에서도 높은 처리량 (Throughput) 을 제공합니다.

3. 주요 기여 (Key Contributions)

1. MMAI Gym 프레임워크 제안: 약물 발견을 위한 도메인 특화 추론, 데이터 증강, 그리고 SFT+RFT 학습 레시피를 통합한 포괄적인 환경을 제시했습니다.
2. 소형 전문 모델의 성능 입증: 26 억 파라미터 (2.6B) 규모의 LFM2 모델이 MMAI Gym을 통해 학습된 결과, 수십 배 더 큰 범용 모델이나 전문 모델들을 능가하거나 대등한 성능을 보임을 증명했습니다.
3. 효율성과 성능의 균형: 추론 속도와 메모리 효율성을 유지하면서, 분자 최적화, ADMET 예측, 역합성 (Retrosynthesis) 등 다양한 과학적 과제에서 최상위 수준의 성능을 달성했습니다.

4. 실험 결과 (Results)

4.1 분자 최적화 (MuMO-Instruct)

• 성과: LFM2-2.6B-MMAI 는 다중 목적 분자 최적화 작업에서 성공률 (Success Rate) 이 가장 높거나 근접한 수준을 기록했습니다.
• 비교: 전문 화학 모델 (GeLLM) 과 범용 모델 (GPT, Claude 등) 을 능가하며, 특히 4 가지 속성 (BDPQ) 을 동시에 만족시키는 어려운 작업에서 모든 비교 대상 중 최고의 성공률을 보였습니다.

4.2 기능기 추론 (FGBench)

• 성과: 분자 기능기 편집 및 속성 예측 작업에서 LFM2-2.6B-MMAI 는 베이스 모델 대비 크게 향상되었으며, 범용 LLM 과 경쟁하거나 가치 예측 부분에서 SOTA(최고 성능) 를 달성했습니다.
• 특징: '생각 (Thinking)' 모드를 활성화하면 수치 예측 (RMSE) 성능이 특히 향상되었습니다.

4.3 단일 단계 역합성 (Single-Step Retrosynthesis)

• 성과: USPTO-50K 및 OOD 벤치마크 (URSA-expert-2026) 에서 LFM2-2.6B-MMAI 는 0% 수준이었던 베이스 모델의 성능을 90% 이상의 성공률로 끌어올렸습니다.
• 비교: 상위 Tier 의 범용 LLM 과 전문 화학 모델들과 경쟁 가능한 수준이며, 화학적 타당성 (ChemCensor) 지표에서 최상위 성능을 기록했습니다.

4.4 ADMET 속성 예측 (TDC Benchmark)

• 성과: 흡수, 분포, 대사, 배설, 독성 (ADMET) 예측 작업에서 270 억 파라미터 모델 (TxGemma-27B) 을 능가하거나 대등한 성능을 보였습니다.
• 비교: 특정 회귀 작업에서는 여전히 전문 비-LLM 모델에 비해 뒤처지지만, 전반적으로 소형 모델이 대규모 모델보다 뛰어난 효율성과 성능을 보여주었습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 약물 발견 분야에서 최첨단 성능을 달성하기 위해 거대 규모의 모델이 필수는 아님을 증명했습니다.

• 핵심 메시지: 올바른 분자 데이터, 학습 절차 (SFT+RFT), 그리고 효율적인 아키텍처 (Liquid Model) 의 조합을 통해, 소규모 모델이 대규모 범용 모델이나 단일 작업 전문 모델보다 우수한 성능을 발휘할 수 있습니다.
• 영향: MMAI Gym for Science 는 과학적 R&D 를 위한 강력한 범용 모델 개발을 위한 레시피를 제공하며, 계산 비용과 성능 간의 최적의 균형을 찾는 새로운 패러다임을 제시합니다. 이는 제약 산업에서 AI 기반 약물 발견의 접근성을 높이고 효율성을 극대화하는 데 중요한 기여를 할 것으로 기대됩니다.