CombinGym: a benchmark platform for machine learning-assisted design of combinatorial protein variants

이 논문은 단백질 변이 설계의 공백을 메우기 위해 14 개의 커스터마이징된 조합 돌연변이 데이터셋과 9 가지 머신러닝 알고리즘을 평가한 벤치마크 플랫폼 'CombinGym'을 소개하고, 하위 차수 변이 데이터를 활용한 모델 학습이 고차 변이 예측 및 실험적 단백질 공학 성공으로 이어짐을 입증합니다.

핵심

이 논문은 인공지능 (AI) 이 단백질을 설계하는 데 얼마나 잘 작동하는지 테스트하는 새로운 '경기장'을 만들었다는 이야기입니다.

단백질은 우리 몸과 생명체의 일을 하는 작은 '기계' 같은 역할을 합니다. 과학자들은 이 기계의 성능을 좋게 하거나 새로운 일을 하도록 유전자를 조금씩 바꿔가며 실험을 합니다. 이를 '조합 돌연변이 (Combinatorial Mutagenesis)'라고 하는데, 마치 레고 블록을 여러 개 섞어서 새로운 모양을 만드는 것과 비슷합니다.

하지만 문제는 레고 블록을 섞는 경우의 수가 너무 많아서 실험만으로는 모든 조합을 다 시도해 볼 수 없다는 점입니다. 그래서 과학자들은 AI 를 이용해 "어떤 조합이 가장 좋은 성능을 낼까?"를 예측하려고 합니다.

이 논문에서 소개한 CombinGym은 바로 그 AI 모델들의 실력을 검증하는 대형 스포츠 경기장입니다.

1. 왜 새로운 경기장이 필요했을까요? (기존의 문제점)

지금까지의 AI 벤치마크 (시험) 는 주로 단 하나의 부품만 바꾼 경우만 테스트했습니다.

• 비유: 자동차 엔진을 고칠 때, 오직 '스파크 플러그' 하나만 바꿔서 성능이 어떻게 변하는지만 예측해 본 것입니다.
• 문제: 실제로는 스파크 플러그, 피스톤, 터보 등 여러 부품을 동시에 바꿔야 더 강력한 엔진을 만들 수 있습니다. 하지만 기존 시험은 "부품 여러 개를 동시에 바꿨을 때 어떻게 될까?"를 제대로 테스트하지 못했습니다.

2. CombinGym 은 어떤 곳인가요? (해결책)

연구팀이 만든 CombinGym 은 여러 개의 부품 (돌연변이) 을 동시에 바꾼 14 가지의 다양한 데이터를 담고 있습니다.

• 내용: 항체가 바이러스를 잡는 힘 (결합력), 형광 단백질이 빛나는 밝기, 효소가 물질을 분해하는 속도 등 다양한 기능들을 테스트했습니다.
• 참가 선수 (AI 모델): 이 경기장에는 9 가지 다른 스타일의 AI 모델들이 출전했습니다.
  • 진화 역사책을 읽는 모델 (Alignment-based)
  • 단백질의 언어를 배우는 모델 (Protein Language)
  • 3D 구조를 보는 모델 (Structure-based)
  • 등등...

3. 이 경기장에서 무엇을 확인했나요? (주요 발견)

① "저급" 데이터가 "고급" 예측의 열쇠입니다.

• 상황: AI 에게 "단 1 개 부품만 바꾼 데이터"만 주고, "부품 3 개를 바꾼 결과"를 예측하게 했습니다.
• 결과: AI 는 처음엔 엉뚱한 예측을 했지만, "부품 2 개를 바꾼 데이터"까지 학습시키니 예측 능력이 급상승했습니다.
• 비유: 요리 레시피를 배울 때, "소금만 넣은 국"과 "소금 + 후추 넣은 국"의 맛을 먼저 맛보게 해주면, "소금 + 후추 + 고춧가루를 넣은 국"의 맛을 훨씬 잘 예측할 수 있다는 뜻입니다.

② 실험 데이터의 '노이즈 (잡음)'가 AI 를 혼란스럽게 합니다.

• 같은 실험을 두 번 해도 결과가 조금씩 다를 수 있습니다. 이 '잡음'이 많으면 AI 는 헷갈려서 엉뚱한 결론을 내립니다.
• 해결: 데이터를 정리하고 다듬는 과정 (정규화) 이 중요하다는 것을 발견했습니다.

③ 어떤 AI 가 가장 잘하나요?

• 예측 (Ranking): 단백질의 전체적인 순위를 매기는 데는 MAVE-NN과 GVP-Mut이라는 모델이 가장 잘했습니다.
• 설계 (Design): "가장 좋은 단백질 하나를 찾아줘"라고 했을 때는 GVP-Mut과 Ridge 회귀 모델이 가장 좋은 결과를 냈습니다.

4. 실제로 쓸모가 있나요? (검증)

이론만 말하지 않고 실제로 증명했습니다.

• 시뮬레이션: 빛나는 단백질 (CreiLOV) 의 밝기를 높이기 위해 AI 가 예측한 '최고 조합'을 컴퓨터로 시뮬레이션 해보니, 실제로 더 밝은 단백질이 나올 확률이 매우 높았습니다.
• 실제 실험: 효소 (RhlA) 를 개량하는 실험에서, AI 가 추천한 조합을 실제로 만들어 보니 기존보다 훨씬 많은 양의 물질을 생산하는 데 성공했습니다.

5. 결론: 모든 사람을 위한 오픈 플랫폼

이 연구팀은 이 모든 데이터, 코드, 그리고 결과를 CombinGym.org이라는 웹사이트에 공개했습니다.

• 의미: 전 세계 과학자들이 이 경기장을 이용해 새로운 AI 모델을 만들고, 실험 결과를 공유하며 함께 단백질 공학을 발전시킬 수 있는 기반을 마련한 것입니다.

한 줄 요약:

"단백질 설계 AI 들이 '부품 여러 개를 동시에 바꿀 때' 어떻게 작동하는지 테스트하는 새로운 경기장 (CombinGym) 을 열었고, 여기서 배운 교훈으로 실제로 더 좋은 단백질을 만들어내는 데 성공했습니다."

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 단백질 공학에서 기능 향상 또는 새로운 기능 부여를 위해 조합성 돌연변이 (combinatorial mutagenesis) 는 필수적입니다. 그러나 아미노산 잔기 간의 비선형적 상호작용 (에피스타시스, epistasis) 으로 인해 다중 돌연변이의 효과를 예측하는 것은 매우 어렵습니다.
• 문제점:
  • 기존 머신러닝 (ML) 벤치마크 (ProteinGym, FLIP 등) 는 주로 단일 돌연변이 (single-mutant) 라이브러리에 초점을 맞추고 있어, 조합성 돌연변이 (여러 개의 돌연변이 동시 발생) 를 다루는 데 한계가 있습니다.
  • 기존 벤치마크는 실험적 검증 (wet-lab validation) 이 부족하여 모델의 과적합 (overfitting) 이나 외삽 능력 (extrapolation) 을 평가하기 어렵습니다.
  • 고차원 돌연변이 (higher-order mutants) 를 예측하기 위한 표준화된 데이터셋과 평가 체계가 부재합니다.

2. 방법론 (Methodology)

CombinGym은 조합성 단백질 변이체 설계 및 기능 예측을 위한 종합적인 벤치마킹 플랫폼입니다.

• 데이터셋 구성:
  • 규모: 9 가지 단백질 (GB1, CR6261, CR9114, CreiLOV, mTagBFP2, SpCas9, SaCas9, HIV-1 protease, RhlA) 에 대한 14 개의 정제된 Deep Mutational Scanning (DMS) 데이터셋을 포함합니다.
  • 기능 범주: 단백질 결합 (Binding), 형광 (Fluorescence), 효소 활성 (Enzymatic activity) 등 다양한 기능을 다룹니다.
  • 데이터 양: 총 40 만 개 이상의 변이체를 포함하며, 측정된 변이체의 비율은 0.35% 에서 100% 까지 다양합니다.
• 평가 모델 (Baseline Models):
  • 5 가지 방법론 카테고리에 속하는 9 가지 ML 모델을 평가합니다:
    1. 정렬 기반 (Alignment-based): EVmutation, DeepSequence (MSA 기반)
    2. 단백질 언어 모델 (Protein Language Models): ESM-1b, ESM-1v
    3. 구조 기반 (Structure-based): GVP-Mut (AlphaFold3 구조 입력)
    4. 시퀀스-라벨 (Sequence-label): CNN, Ridge Regression, MAVE-NN
    5. 치환 기반 (Substitution-based): BLOSUM62
• 평가 시나리오 (Hierarchical Splits):
  • 고차원 돌연변이 예측 능력을 평가하기 위해 학습 데이터의 복잡도를 단계별로 높이는 계층적 분할 전략을 사용합니다:
    • 0-vs-rest: 제로샷 (Zero-shot) 예측. 학습 데이터 없이 모델 성능 평가.
    • 1-vs-rest: WT 및 단일 돌연변이로 학습, 2 차 이상 돌연변이 예측.
    • 2-vs-rest: WT, 단일, 2 차 돌연변이로 학습, 3 차 이상 돌연변이 예측.
    • 3-vs-rest: WT~3 차 돌연변이로 학습, 4 차 이상 돌연변이 예측.
• 평가 지표:
  • Spearman's $\rho$: 전체 순위의 상관관계를 측정 (전체 예측 성능).
  • NDCG (Normalized Discounted Cumulative Gain): 상위 성능 변이체 식별 능력을 측정 (실제 단백질 설계에 더 중요한 지표).
• 데이터 전처리:
  • 측정 노이즈 (biological replicates) 와 데이터 정규화 (Min-max, Log 변환 등) 가 모델 성능에 미치는 영향을 분석했습니다.
  • MSA(다중 서열 정렬) 의 깊이 (depth) 가 정렬 기반 모델 성능에 미치는 영향을 검증했습니다.

3. 주요 결과 (Key Results)

• 모델 성능 비교:
  • 예측 (Prediction): MAVE-NN 과 GVP-Mut 모델이 모든 작업 시나리오에서 가장 높은 성능을 보였습니다.
  • 설계 (Design): GVP-Mut, MAVE-NN, Ridge 회귀가 상위 변이체 식별 (NDCG) 에서 우수했습니다.
  • 학습 방식: 지도 학습 (Supervised learning) 이 무지도 학습 (Unsupervised/Zero-shot) 보다 고차원 돌연변이 예측에 훨씬 효과적이었습니다. 특히 저차원 (단일/이중) 돌연변이 데이터를 학습에 포함할수록 고차원 예측 성능이 크게 향상되었습니다.
• 영향 요인 분석:
  • 측정 노이즈: 생물학적 반복 실험 간의 상관관계가 낮은 데이터 (예: Cas9) 의 경우 모델 성능이 저하되었으며, 평균값을 사용하는 것이 개별 반복값보다 성능이 좋았습니다.
  • 정규화: Min-max 정규화가 Spearman's $\rho$를 향상시켰으며, Log 변환과 병행 시 NDCG 가 개선되었습니다.
  • MSA 깊이: MSA 기반 모델 (EVmutation, DeepSequence) 은 최소 임계값 이상이면 MSA 깊이의 추가적인 증가가 성능에 큰 영향을 미치지 않았습니다.
  • 기능별 난이도: 단백질 결합 > 형광 > 효소 활성 순서로 예측이 용이했으며, 효소 활성은 복잡한 촉매 메커니즘으로 인해 예측이 가장 어려웠습니다.
• 실증 연구 (Validation):
  • In silico 시뮬레이션 (CreiLOV): 단일/이중 돌연변이 데이터로 학습한 모델 (MAVE-NN, CNN, Ridge) 을 사용하여 4~15 개의 돌연변이를 가진 고차원 변이체를 설계했습니다. 예측된 상위 변이체 중 98% 이상이 야생형보다 밝은 형광을 보였습니다.
  • 실험적 검증 (RhlA): 자동화된 로봇 DNA 조립 및 고처리량 질량 분석기를 통해 RhlA 효소의 기질 특이성을 개선하는 고차원 돌연변이를 실험적으로 검증했습니다. 3 차 돌연변이 데이터를 학습에 추가했을 때 특정 활성 (Specific activity) 이 야생형 대비 크게 향상되었습니다.

4. 주요 기여 (Key Contributions)

1. 최초의 조합성 돌연변이 벤치마크: 단일 돌연변이 중심이었던 기존 벤치마크와 달리, 조합성 돌연변이 (combinatorial mutagenesis) 에 특화된 최초의 대규모 벤치마크 플랫폼을 구축했습니다.
2. 종합적 데이터 및 리소스 공개: 14 개의 DMS 데이터셋, 9 가지 ML 모델의 벤치마크 점수, AlphaFold3 예측 구조, MSA 파일 등을 포함한 모든 리소스를 오픈 소스 (GitHub) 및 웹 인터페이스 (combingym.org) 를 통해 공개했습니다.
3. 실험적 검증 포함: 시뮬레이션뿐만 아니라 실제 실험 (wet-lab) 을 통해 모델 예측의 유효성을 입증하여, 모델의 과적합 여부와 실제 적용 가능성을 검증했습니다.
4. 데이터 전처리 및 노이즈 분석: 측정 노이즈와 데이터 정규화 전략이 ML 모델 성능에 미치는 영향을 체계적으로 분석하여, 향후 연구에 중요한 가이드라인을 제공했습니다.
5. 자동화 바이오파운드리 통합: 커뮤니티가 새로운 데이터를 업로드하고 자동화된 실험 플랫폼을 통해 모델을 검증할 수 있는 생태계를 조성했습니다.

5. 의의 및 시사점 (Significance)

• 단백질 공학의 패러다임 전환: 무작위 탐색에 의존하던 조합성 라이브러리 설계에서, 데이터 기반의 머신러닝 예측을 통한 효율적인 탐색으로 전환하는 데 기여합니다.
• 고차원 돌연변이 예측의 가능성 입증: 저차원 (단일/이중) 돌연변이 데이터를 학습하여 고차원 돌연변이의 특성을 성공적으로 예측할 수 있음을 보여주었습니다. 이는 실험적으로 탐색하기 어려운 거대한 조합 공간을 탐색하는 데 핵심적인 통찰을 제공합니다.
• 표준화된 평가 체계: 다양한 단백질과 기능에 걸쳐 모델 성능을 공정하게 비교할 수 있는 표준을 제시함으로써, 단백질 설계용 ML 알고리즘 개발을 가속화할 것입니다.
• 지속 가능한 생태계: 커뮤니티 기반의 데이터 확장 및 자동화 실험 플랫폼을 통해 단백질 공학 연구의 속도와 정확도를 지속적으로 높일 수 있는 기반을 마련했습니다.

이 논문은 단백질 공학 분야에서 머신러닝의 실용적 적용을 위한 중요한 이정표로, 특히 복잡한 에피스타시스를 가진 고차원 돌연변이 설계에 있어 데이터 중심 접근법의 강력함을 입증했습니다.