Generalise or Memorise? Benchmarking Ligand-Conditioned Protein Generation from Sequence-Only Data

이 논문은 순서만 있는 데이터를 기반으로 리간드 조건부 단백질 생성을 시퀀스 간 번역 문제로 접근하여 대규모 데이터셋으로 모델을 훈련한 결과, 리간드당 단백질 수에 따라 생성된 시퀀스의 다양성과 접힘 가능성 사이에 상충 관계가 존재함을 규명하고, 데이터의 중복성과 불완전성이 순서 기반 리간드 결합 단백질 설계의 주요 병목 현상임을 지적합니다.

핵심

🍳 요리사와 레시피: 단백질 설계의 새로운 시도

1. 문제 상황: "이 재료로 어떤 요리를 만들지?"
일반적으로 과학자들은 새로운 약을 만들 때, 먼저 약분자 (재료) 를 정하고, 그 재료와 잘 어울리는 단백질 (요리) 을 설계해야 합니다. 하지만 기존에는 이 작업을 하려면 복잡한 3D 구조 데이터를 보거나, 실험실에서 수만 번의 시도를 반복해야 했습니다. 마치 "이 고기 (약분자) 를 요리하려면 어떤 조리법 (단백질 구조) 이 필요할까?"를 3D 렌더링으로 계산하며 고민하는 것과 비슷합니다.

2. 새로운 접근법: "레시피 책 (데이터) 만으로 요리하기"
이 연구팀은 "3D 구조 없이, 오직 텍스트 (문자열) 데이터만으로도 가능하지 않을까?"라고 생각했습니다.

• 입력: 약분자를 나타내는 문자열 (예: SMILES 코드)
• 출력: 그 약분자를 잡을 수 있는 단백질의 아미노산 서열 (문자열)

이는 마치 **"이 재료를 넣으면 어떤 요리를 만들지?"**라고 AI 에게 물어보고, AI 가 레시피 (단백질 서열) 를 바로 써주는 것과 같습니다. 이를 위해 거대한 '요리 레시피 책' (단백질 - 약분자 데이터 1,700 만 개 이상) 을 AI 에게 읽게 했습니다.

3. 핵심 발견: "기억하기 vs 창의적으로 만들기"
연구의 가장 재미있는 결론은 AI 가 두 가지 방식으로 작동한다는 것입니다.

• 상황 A: 레시피가 딱 하나만 있는 경우 (기억하기)
  특정 약분자에 대해 알려진 단백질이 하나뿐이거나 적으면, AI 는 창의적으로 새로운 요리를 만들기보다, 이미 본 레시피를 그대로 베끼거나 아주 비슷하게 변형합니다.

  • 비유: "이 재료로 만든 요리는 A 요리밖에 없으니, A 요리를 그대로 만들어줘."
  • 결과: 만들어진 단백질은 구조가 매우 안정적이고 잘 접히지만 (Foldable), 완전히 새로운 것은 아닙니다.

• 상황 B: 레시피가 수천 개나 있는 경우 (창의하기)
  특정 약분자에 대해 수많은 단백질이 알려져 있으면, AI 는 다양한 요리를 시도합니다.

  • 비유: "이 재료로 만들 수 있는 요리가 천 가지나 되니, 뭐든 만들어봐."
  • 결과: 매우 다양한 요리를 내놓지만, 그중에는 실패한 요리 (구조가 불안정하거나 접히지 않는 것) 도 섞여 있습니다.

4. 중요한 통찰: "데이터의 양이 곧 능력"
이 연구는 **"데이터가 얼마나 풍부하느냐에 따라 AI 의 행동이 바뀐다"**는 것을 증명했습니다.

• 데이터가 부족하면 AI 는 안전하게 기존 것을 모방합니다.
• 데이터가 풍부하면 AI 는 다양하게 시도하지만, 실패 확률도 높아집니다.

또한, AI 가 훈련 데이터에 없던 완전히 새로운 약분자를 만나도, 화학적 유사성을 바탕으로 "아, 이거는 저런 단백질이 잡을 수 있겠네!"라고 추론하여 새로운 결합을 찾아내는 창의적인 능력도 일부 보여주었습니다. (예: 카페인 분자를 잡는 단백질을 훈련 데이터에 없는데도 찾아낸 사례)

5. 결론 및 미래
이 연구는 **"순수한 텍스트 데이터만으로도 단백질 설계를 시작할 수 있다"**는 가능성을 열었습니다. 하지만 아직 완벽한 해결책은 아닙니다.

• 한계: 데이터가 부족한 약분자는 AI 가 단순히 기억해둔 것을 반복할 뿐입니다.
• 미래: 이 AI 가 만들어낸 후보들을 실험실에서 검증하거나, 3D 구조 시뮬레이션으로 다시 한번 걸러내는 과정이 필요합니다.

한 줄 요약:

이 연구는 AI 에게 "이 약분자에 맞는 단백질을 만들어줘"라고 했을 때, AI 가 **기억력 (기존 데이터 모방)**과 창의력 (새로운 설계) 사이에서 어떻게 균형을 잡는지 분석했고, 앞으로 더 좋은 약을 찾기 위해 데이터의 양과 질이 얼마나 중요한지 알려주었습니다.

이 기술이 발전하면, 앞으로 새로운 질병 치료제를 개발할 때 실험실에서의 시행착오를 크게 줄이고, AI 가 먼저 유망한 후보를 찾아주는 시대가 올 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 단백질은 특정 소분자 (리간드) 와 높은 특이성으로 결합할 수 있습니다. 이를 이용해 사용자가 정의한 리간드에 결합하는 단백질을 설계하는 것은 약물 개발 및 합성 생물학에서 매우 중요합니다.
• 현재 한계: 기존 설계 방법은 주로 3 차원 구조 정보와 실험적 반복 (Directed Evolution) 에 의존하며 비용이 많이 듭니다. 최근 단백질 언어 모델 (pLMs) 은 구조 주석 없이도 자연스러운 단백질 서열을 생성하는 데 성공했으나, 구체적인 리간드 (Instance-level) 에 대한 조건부 생성은 평가된 바가 없습니다.
• 핵심 질문: 텍스트 기반 입력 (리간드 문자열) 만으로 특정 리간드에 결합하는 단백질 서열을 생성할 때, 모델은 데이터의 패턴을 일반화 (Generalise) 하는가, 아니면 단순히 훈련 데이터를 암기 (Memorise) 하여 검색하는가?

2. 방법론 (Methodology)

가. 데이터셋 구축 (Datasets)

연구팀은 서로 다른 데이터 분포를 가진 두 가지 대규모 데이터셋을 구축했습니다 (총 1,700 만 개 이상의 리간드 - 단백질 쌍):

1. Binder Dataset: BindingDB, Drug Target Commons 등에서 수집. 리간드당 평균 5.55 개의 단백질이 매핑됨 (리간드 다양성 높음, 단백질 다양성 상대적으로 낮음).
2. Substrate Dataset: 효소 반응 데이터 (Rhea, BRENDA 등) 에서 파생. 리간드당 평균 3,600 개의 단백질이 매핑됨 (리간드당 단백질 수가 매우 많음).
3. SAIR (Test Set): 구조적으로 증강된 IC50 저장소에서 추출된 테스트용 데이터셋으로, 훈련 데이터에 없는 리간드와 단백질 쌍을 평가에 사용.

나. 모델 아키텍처 및 학습 전략

• 문제 설정: 리간드 (SMILES 문자열) 를 입력으로 받아 단백질 서열을 출력하는 Sequence-to-Sequence (Seq2Seq) 번역 문제로 정의.
• 모델: T5 아키텍처 (Encoder-Decoder) 를 기반으로 하며, 16M 에서 700M 파라미터까지 다양한 크기로 실험.
  • Conditioning: 인코더의 리간드 표현을 디코더의 Cross-Attention 레이어를 통해 주입.
  • Pre-training: 대규모 단백질 언어 모델 (Llama3 기반) 을 Decoder 로 사용하는 실험도 수행했으나, 제로샷 (Zero-shot) 훈련 모델이 더 좋은 성능을 보임.
• 샘플링 전략 (Sampling Strategies):
  • Pair Sampling: 모든 (리간드, 단백질) 쌍을 무작위로 샘플링.
  • Unique-Ligand Sampling: 에포크당 각 리간드를 한 번만 샘플링하고, 해당 리간드에 결합하는 단백질 중 하나를 무작위로 선택. (데이터 불균형 해결 및 과적합 방지 목적)

다. 평가 지표 (Metrics)

• 구조적 신뢰도: ESMFold 를 사용하여 생성된 서열의 pLDDT (Foldability) 점수 측정.
• 일반화 능력 (Generalisation):
  • GT Accuracy (Ground Truth Accuracy): 생성된 단백질이 테스트 리간드의 실제 결합 단백질 (또는 동족체) 과 일치하는지 확인.
  • Train Identity: 생성된 서열이 훈련 데이터셋의 서열과 얼마나 유사한지 (MMSeqs2 기반).
  • Ligand/Protein Novelty: 생성된 단백질이 훈련 데이터의 리간드/단백질 군집에서 얼마나 새로운지 분석.

3. 주요 결과 (Key Results)

가. 데이터 분포에 따른 트레이드오프 (Generalise vs. Memorise)

• 리간드당 단백질 수가 적은 경우 (Sparse Supervision): 모델은 검색 (Retrieval) 행동을 보입니다. 즉, 훈련 데이터에서 본 단백질이나 그와 매우 유사한 서열을 암기하여 생성합니다. 이 경우 pLDDT 는 높고 (접힘 가능), 서열 다양성은 낮습니다.
• 리간드당 단백질 수가 많은 경우 (Dense Supervision): 모델은 더 다양한 (Diverse) 서열을 생성하지만, pLDDT 는 감소하여 접힘 가능성이 낮아집니다. 이는 모델이 조건부 분포를 더 넓게 학습하려 하기 때문입니다.
• 결론: 데이터의 주석 (Annotation) 밀도가 낮을수록 모델은 일반화보다는 암기/검색에 가까운 행동을 보입니다.

나. 샘플링 전략의 영향

• Unique-Ligand Sampling이 Pair Sampling 보다 전반적으로 더 높은 pLDDT와 더 높은 GT Accuracy를 달성했습니다. 특히 데이터가 희소한 영역 (리간드당 단백질 수가 1~9 개) 에서 성능 향상이 두드러졌습니다.

나. 일반화 능력의 증거

• 리간드 수준의 일반화: 훈련 데이터에서 본 적이 없는 리간드에 대해, 해당 리간드와 화학적으로 유사하지 않은 단백질 군집을 기반으로 올바른 결합 단백질을 생성한 사례가 확인되었습니다.
• 단백질 수준의 일반화: 훈련 데이터에 없는 완전히 새로운 단백질 서열을 생성하여, Boltz2(공접힘 모델) 에 의해 결합 가능성이 높은 것으로 검증된 사례 (예: 카페인 결합 단백질) 가 발견되었습니다.

다. 아키텍처 및 크기 분석

• Encoder-Decoder vs Decoder-Only: 조건부 생성 작업에서는 Encoder-Decoder(T5) 가 Decoder-Only(GPT) 보다 학습이 용이하고 성능이 우수했습니다.
• 모델 크기: 파라미터 수 증가 (200M → 700M) 에 따른 성능 향상은 미미했습니다 (pLDDT 79.36 → 80.14). 이는 현재 데이터셋의 한계 (주석의 희소성) 가 모델 성능의 상한선 (Ceiling) 을 결정하고 있음을 시사합니다.

4. 주요 기여 (Key Contributions)

1. 최초의 벤치마크: 텍스트 기반 입력 (리간드 SMILES) 만으로 조건부 단백질 생성을 수행하는 pLM 에 대한 포괄적인 벤치마크를 제시했습니다.
2. 대규모 데이터셋 및 도구: 1,700 만 개 이상의 리간드 - 단백질 쌍을 포함한 커스텀 데이터셋, 훈련된 모델, 평가 도구를 오픈소스로 공개했습니다.
3. 통찰 도출: 데이터의 주석 다양성과 샘플링 전략이 모델의 '일반화'와 '암기' 행동에 어떻게 영향을 미치는지 규명했습니다. 특히 데이터의 중복성과 불완전성이 시퀀스 기반 결합체 설계의 주요 병목임을 지적했습니다.

5. 의의 및 결론 (Significance)

• 현실적인 접근: 구조 정보 없이 텍스트만으로 리간드 조건부 단백질 설계를 시도함으로써, 구조 데이터가 부족한 영역에서도 pLM 의 잠재력을 탐구했습니다.
• 한계와 전망: 현재 데이터셋의 주석 희소성으로 인해 모델은 주로 훈련 데이터의 검색 (Retrieval) 에 머무르는 경향이 강합니다. 진정한 'De-novo' 설계 (기존과 완전히 다른 단백질) 를 위해서는 데이터의 질적 향상 (더 풍부한 주석), 구조 정보의 통합 (Multi-modality), 또는 물리 기반 인덕티브 바이어스 (Inductive Bias) 가 필요함을 강조했습니다.
• 실용적 가치: 생성된 후보 단백질들은 실험적 검증 전에 공접힘 (Co-folding) 또는 도킹 (Docking) 필터링을 통해 선별될 수 있으며, 이는 실험 비용 절감에 기여할 수 있습니다.

이 연구는 조건부 단백질 생성 (Ligand-Conditioned Protein Generation) 분야의 초기 기준 (Baseline) 을 설정하고, 향후 데이터 중심 AI 기반 단백질 설계의 방향성을 제시한다는 점에서 중요한 의의를 가집니다.