Scaling SMILES-Based Chemical Language Models for Therapeutic Peptide Engineering

이 논문은 단백질과 소분자 사이의 계산적 공백을 해소하기 위해 1 억 개 이상의 분자로 학습된 'PeptideCLM-2'라는 화학 언어 모델 시리즈를 제안하여 치료용 펩타이드의 특성을 더 정확하게 예측하고 개발 과정을 간소화함을 보여줍니다.

핵심

이 논문은 **'치료용 펩타이드 (약물 후보 물질)'**를 더 잘 설계하고 발견하기 위해 인공지능 (AI) 을 어떻게 발전시켰는지에 대한 이야기입니다.

간단히 말해, **"약물 개발이라는 복잡한 미로에서 AI 가 길을 잃지 않고, 더 똑똑한 나침반을 만들었다"**는 내용입니다.

이해하기 쉽게 세 가지 핵심 비유로 설명해 드릴게요.

---

1. 문제: "왜 기존 AI 는 약물을 못 만들까?" (블라인드 스폿)

약물 개발에는 크게 두 가지 부류가 있습니다.

• 작은 분자 (Small Molecules): 알약처럼 작고 단순한 화학 물질입니다.
• 단백질 (Proteins): 우리 몸의 거대한 기계 부품처럼 복잡한 생체 분자입니다.

그런데 **'치료용 펩타이드'**라는 특별한 약물은 이 두 가지의 중간에 있습니다. 작은 분자처럼 다양하지만, 단백질처럼 길게 이어져 있기도 하죠.

• 기존의 상황:
  • 단백질 AI: "나는 자연에서 만들어진 20 가지 아미노산만 알아." (비유: 영어로만 대화하는 번역기가 갑자기 한자나 일본어를 섞은 문장을 보면 당황함)
  • 화학 AI: "나는 작은 분자만 알아." (비유: 레고 블록 하나하나만 보는 장난감. 긴 줄을 이으면 어떻게 되는지 모름)

결과적으로, 펩타이드라는 '중간 지대'는 두 AI 모두에게 **블라인드 스폿 (보이지 않는 영역)**이 되어버렸습니다.

2. 해결책: "PeptideCLM-2"라는 새로운 AI (만능 번역기)

저자들은 이 문제를 해결하기 위해 PeptideCLM-2라는 새로운 AI 모델을 만들었습니다.

• 핵심 아이디어: "분자를 3D 구조나 복잡한 그림으로 보지 말고, **문자열 (SMILES)**로 보자."

  • 비유: 분자를 복잡한 3D 조각상으로 보지 않고, **레시피 (문자)**로 보는 것입니다. "소금 1 큰술, 설탕 2 큰술"이라고 적힌 레시피만 있으면, 그 요리가 어떻게 생겼든 상관없이 맛을 예측할 수 있죠.
  • 이 AI 는 펩타이드의 화학 구조를 문자열로 변환해서 읽습니다. 그래서 자연에 없는 인공 아미노산이나 변형된 구조도 '문자'로만 보면 쉽게 이해할 수 있습니다.

• 기술적 혁신 (k-mer 토크나이저):

  • 펩타이드는 문자열이 너무 깁니다. (비유: 수백 페이지에 달하는 긴 소설)
  • AI 가 이걸 한 글자씩 읽으면 컴퓨터가 터집니다. 그래서 저자들은 **빈번하게 나오는 단어 덩어리 (k-mer)**를 하나의 '단어'로 묶어서 압축했습니다.
  • 비유: 긴 소설을 읽을 때, "아침에 일어나서"라는 7 글자를 **"아침"**이라는 하나의 기호로 줄여서 읽는 것과 같습니다. 속도는 빨라지지만, 의미는 그대로 유지됩니다.

3. 놀라운 발견: "AI 가 스스로 화학 법칙을 깨달았다" (스케일링의 마법)

이 연구에서 가장 흥미로운 점은 **AI 의 크기 (규모)**에 따른 변화입니다.

• 작은 AI (32M 파라미터):

  • 스스로 화학 법칙을 깨우치기엔 머리가 부족합니다.
  • 비유: 초보 요리사는 레시피만 보고 요리를 못 합니다. "소금 1g, 설탕 2g"처럼 **구체적인 수치 (물리 화학적 데이터)**를 가르쳐줘야 잘합니다.
  • 그래서 저자들은 AI 에게 "이 분자의 무게는 얼마고, 기름기 (LogP) 는 얼마나 있는지"를 직접 가르쳐 주었습니다.

• 큰 AI (337M 파라미터):

  • 머리가 매우 커졌습니다.
  • 비유: 천재 요리사는 레시피 (문자) 만 보고도 "아, 이 재료 조합은 기름기가 많겠구나, 무게는 가볍겠구나"를 스스로 추론해냅니다.
  • 결과: 큰 AI 는 "소금 1g" 같은 구체적인 수치를 가르쳐 주지 않아도, 문자 (SMILES) 의 패턴만 분석해서 물리 법칙을 스스로 깨달았습니다. 작은 AI 가 필요로 했던 '지시'가 더 이상 필요 없어진 것입니다.

4. 성과: 실제로 약을 더 잘 찾는다

이 새로운 AI 는 다양한 약 개발 시나리오에서 기존 방법보다 훨씬 잘 작동했습니다.

1. 장벽 통과 (막 투과성): 장벽을 뚫고 세포 안으로 들어갈 수 있는 약을 잘 찾았습니다.
2. 암세포 사냥 (종양 홈링): 암세포만 찾아다니는 약을 더 정확하게 분류했습니다.
3. 항균 효과: 세균을 죽이는 펩타이드를 찾아냈습니다.
4. 안정성: 약이 혈액 속에서 얼마나 오래 버틸지, 혹은 덩어리가 되어 버리는지 (응집) 를 예측했습니다.

특히, 기존의 복잡한 3D 모델링이나 수동으로 만든 데이터를 쓰지 않고, 단순한 문자열만으로 더 좋은 결과를 냈다는 점이 획기적입니다.

요약

이 논문은 **"약물 개발을 위해 AI 를 키울 때, 무조건 큰 모델을 만들고, 문자열 (레시피) 로 학습시키면, AI 가 스스로 화학의 비밀을 깨닫게 되어 더 똑똑한 약을 설계할 수 있다"**는 것을 증명했습니다.

이제 연구자들은 더 이상 복잡한 3D 구조에 매달리지 않고, 이 AI 를 통해 **자연에 없는 새로운 형태의 약 (펩타이드)**을 훨씬 빠르고 정확하게 찾아낼 수 있게 되었습니다.

기술 요약

논문 요약: 치료용 펩타이드 공학을 위한 SMILES 기반 화학 언어 모델의 확장 (PeptideCLM-2)

1. 문제 제기 (Problem)

치료용 펩타이드 (Therapeutic Peptides) 는 작은 분자 (Small molecules) 와 단백질 (Proteins) 사이의 독특한 중간 지점에 위치하여 높은 특이성과 화학적 다양성을 동시에 제공합니다. 그러나 현재 계산 화학 및 머신러닝 분야에서는 펩타이드를 효과적으로 처리할 수 있는 도구가 부족합니다.

• 단백질 언어 모델 (pLMs) 의 한계: 자연 발생 아미노산 (20 개) 으로만 제한된 어휘를 사용하여, 비표준 아미노산 (noncanonical) 이나 화학적으로 변형된 잔기를 인코딩할 수 없습니다.
• 화학 언어 모델 (CLMs) 의 한계: 주로 작은 분자 (Small molecules) 로 훈련되어 펩타이드 특유의 긴 시퀀스나 고분자 특성을 이해하는 데 어려움을 겪습니다.
• 기존 접근법의 결함: 현재는 정적인 화학 기술자 (Static chemical descriptors) 에 의존하거나 특정 데이터셋에 맞춘 복잡한 멀티 임베딩 파이프라인을 사용해야 하므로, 미세한 화학적 세부 사항을 포착하지 못하거나 확장성이 떨어집니다.

2. 방법론 (Methodology)

저자들은 이러한 격차를 해소하기 위해 PeptideCLM-2라는 새로운 화학 언어 모델 시리즈를 개발했습니다. 이는 1 억 개 이상의 분자로 훈련된 SMILES 기반 트랜스포머 (Transformer) 인코더입니다.

• 아키텍처 및 토큰화:

  • SMILES 기반 입력: 펩타이드의 화학적 연결성을 1D 문자열 (SMILES) 로 직접 처리하여, 고리형 펩타이드, 비표준 아미노산, 지질화 (Lipidation), PEG 화 등 다양한 변형을 자연스럽게 인코딩합니다.
  • k-mer 토크나이저: 펩타이드의 긴 SMILES 문자열로 인한 계산 비용 ($O(n^2)$) 을 줄이기 위해, 반복되는 하위 구조 모티프를 단일 토큰으로 매핑하는 전용 k-mer 토크나이저를 개발했습니다. 이를 통해 펩타이드 시퀀스 길이를 64% 줄여 효율적인 학습을 가능하게 했습니다.
  • 모델 구조: BERT 스타일의 트랜스포머 인코더를 기반으로 하며, 회전 위치 임베딩 (RoPE), SwiGLU 활성화 함수, Pre-layer normalization 등 최신 아키텍처 요소를 도입하여 긴 화학적 의존성을 처리합니다.

• 사전 학습 (Pretraining) 전략:

  • 데이터: PubChem (작은 분자), ESMAtlas (펩타이드), LIPID MAPS (지질) 의 3 가지 데이터셋을 통합하여 화학 공간의 연속성을 확보했습니다.
  • 학습 목표 (Objectives): 3 가지 다른 목표를 사용하여 9 개의 모델을 훈련했습니다.
    1. MLM (Masked Language Modeling): 분자 구문 (Syntax) 학습.
    2. MTR (Multi-task Regression): RDKit 기반 99 가지 물리화학적 기술자 (LogP, 전하 등) 에 대한 회귀.
    3. Dual Objective: 위 두 가지를 결합.
  • 스케일링: 파라미터 수를 32M, 114M, 337M 으로 변화시키며 모델 크기와 학습 패러다임의 영향을 분석했습니다.

3. 주요 기여 (Key Contributions)

1. 통합된 펩타이드 모델링 프레임워크: 단백질과 작은 분자 사이의 간극을 메우는 최초의 대규모 SMILES 기반 펩타이드 전용 언어 모델 시리즈를 제시했습니다.
2. 모델 스케일링 법칙의 발견:
   • 소규모 모델 (32M): 물리화학적 속성에 대한 명시적 지도 학습 (MTR) 이 필수적이며, 이를 통해 성능이 크게 향상됩니다.
   • 대규모 모델 (337M): 지도 학습 없이 오직 SMILES 구문 (Syntax) 만 학습해도 물리화학적 규칙을 자발적으로 추론하여, MTR 기반 모델과 동등하거나 더 나은 성능을 보입니다. 이는 "충분히 큰 트랜스포머는 화학 언어의 문법만으로도 물리적 상식을 습득한다"는 것을 증명합니다.
3. 비표준 화학의 처리 능력: 기존 단백질 모델이 처리하지 못하는 비표준 아미노산과 복잡한 화학 변형을 SMILES 기반으로 정확하게 표현하고 예측할 수 있음을 입증했습니다.

4. 결과 (Results)

PeptideCLM-2 는 다양한 벤치마크에서 기존 방법론 (분자 지문, 전문 아키텍처) 을 능가하는 성능을 보여주었습니다.

• 물리화학적 조직화: 337M 모델의 임베딩 공간은 명시적 지시 없이도 분자량, 방향족성, 전하, LogP 등 기본 물리화학적 속성에 따라 자동적으로 조직화되었습니다.
• 다양한 생물학적 태스크 성능:
  • 막 투과성 (Membrane Permeability): 기존 PeptideCLM 대비 AUROC 0.830 (기존 0.781) 달성.
  • 종양 친화성 (Tumor Homing): THPep 모델 (MCC 0.710) 을 능가하는 MCC 0.732 달성.
  • 세포 침투 (Cell Penetration): 화학 변형된 펩타이드 데이터셋에서 기존 기술자 기반 방법 (MCC 0.850) 보다 높은 MCC 0.875 달성.
  • 항균 활성 (Antimicrobial Activity): 그래프 기반 모델 (AmpHGT, MCC 0.797) 을 능가하는 MCC 0.813 달성.
  • 혈액 안정성 (Blood Stability): PepMSND 멀티모달 모델 (MCC 0.537) 보다 높은 MCC 0.609 달성.
  • 응집 경향성 (Fibrillation Propensity): 분자 지문 (RF + Morgan FP, AUROC 0.579) 이 무작위 추측 수준인 반면, PeptideCLM-2(337M) 는 AUROC 0.823 을 기록하며 비선형적인 물리화학적 요인을 성공적으로 포착했습니다.

5. 의의 및 결론 (Significance)

• 표현의 딜레마 해결: 펩타이드 공학 분야에서 "심층적인 화학적 의미 (Semantic depth)"와 "계산적 처리 가능성 (Computational tractability)" 사이의 트레이드오프를 성공적으로 해결했습니다.
• 기하학적 편향 제거: 3D 구조에 의존하지 않고 SMILES 문자열만으로도 펩타이드의 유연한 구조와 막 투과성 등 3D 의존적 제약을 추론할 수 있음을 보여주었습니다.
• 오픈 소스 및 확장성: 모든 모델 가중치, 토크나이저, 훈련 데이터를 공개하여 재현성을 보장하며, 향후 생성 모델 (Generative models) 과 결합하여 새로운 치료용 펩타이드의 합성 설계 (De novo design) 를 가속화할 수 있는 기반을 마련했습니다.

이 연구는 치료용 펩타이드 개발을 경험적 스크리닝에서 합리적 설계 (Rational engineering) 로 전환하는 데 중요한 이정표가 될 것으로 기대됩니다.