Beyond additivity: zero-shot methods cannot predict impact of epistasis on protein properties and function

이 논문은 95 개의 제로샷 모델이 단일 돌연변이나 비상호작용적 조합에서는 잘 작동하지만, 강한 에피스타시스를 보이는 복합 돌연변이의 영향은 예측하지 못한다는 점을 ProteinGym 데이터를 통해 입증하여, 단백질 설계 및 진화 연구의 발전을 위해 복잡한 돌연변이 상호작용 포착에 대한 새로운 접근이 필요함을 강조합니다.

핵심

🍳 1. 단백질과 레시피: "단일 재료" vs "재료의 시너지"

생각해 보세요. 우리가 요리를 할 때, 소금 한 스푼을 더 넣으면 맛이 짜지는 것을 알 수 있습니다. 이것이 **단일 돌연변이 (Single Mutation)**입니다. 기존의 AI 들은 소금 한 스푼을 넣었을 때 맛이 어떻게 변할지는 아주 잘 예측합니다.

하지만 문제는 여러 재료를 동시에 바꿀 때입니다.

• 소금과 후추를 각각 넣으면 맛이 나쁘지 않지만, 함께 넣으면 갑자기 너무 짜지거나 쓴맛이 날 수 있습니다.
• 반대로, 두 가지 재료를 따로 넣으면 맛이 없는데, 함께 넣으면 기적처럼 맛있는 요리가 나올 수도 있습니다.

이처럼 **재료들 사이의 상호작용 (시너지)**을 '에피스타시스 (Epistasis)'라고 합니다. 이 논문은 **"현재의 최신 AI 들은 이 복잡한 재료 간의 상호작용을 전혀 예측하지 못한다"**고 말합니다.

🗺️ 2. 산과 골짜기: "AI 가 길을 잃은 이유"

연구자들은 단백질의 기능을 '산'에 비유합니다.

• 정상 (Wildtype): 가장 높은 산봉우리 (가장 맛있는 요리) 에 있습니다.
• 돌연변이: 산을 조금씩 내려가거나 올라가는 과정입니다.

대부분의 AI 는 "산봉우리에서 조금만 내려가도 맛이 떨어지겠지"라고 단순히 생각합니다. 하지만 실제로는 산과 산 사이에 깊은 골짜기가 있을 수 있습니다.

• A 산에서 B 산으로 가려면, 일단 깊은 골짜기 (맛이 아주 나쁜 상태) 를 통과해야만 다시 높은 산봉우리 (맛있는 상태) 에 도달할 수 있습니다.
• 이 논문은 **"현재의 AI 들은 이 깊은 골짜기를 건너는 방법을 모른다"**고 지적합니다. AI 는 단순히 "한 번에 한 걸음씩"만 계산할 뿐, 여러 걸음을 동시에 밟을 때 생기는 복잡한 지형 (에피스타시스) 을 보지 못합니다.

🔍 3. 실험 결과: "AI 는 '단순한 합'만 믿는다"

연구진은 ProteinGym이라는 거대한 실험 데이터를 이용해 95 개의 최신 AI 모델들을 시험해 보았습니다.

• 결과 1 (단일 변이): "소금만 추가한 경우"는 AI 가 아주 잘 예측했습니다. (정답률 높음)
• 결과 2 (복합 변이): "소금과 후추를 동시에 추가한 경우"는 AI 가 완전히 망했습니다.
  • AI 는 "소금의 영향 + 후추의 영향 = 합친 영향"이라고 단순히 계산하려 했습니다.
  • 하지만 실제로는 1+1 이 2 가 아니라 10 이 되거나, 0 이 되거나, 심지어 -10 이 될 수도 있는 것을 AI 는 예측하지 못했습니다.
  • 심지어 AI 보다 **단순한 수학 공식 (선형 회귀)**이 더 나쁜 예측을 했지만, AI 도 그와 별반 차이가 없었습니다.

💡 4. 왜 이런 일이 일어날까요?

AI 는 과거에 먹어본 수많은 '자연적인 요리 레시피 (단백질 서열)'를 학습했습니다.

• AI 는 "자연에서 살아남은 요리들"만 보았기 때문에, **새로운 조합 (골짜기)**을 본 적이 없습니다.
• 마치 "자연에서 발견된 레시피만 본 셰프"가, "인간이 발명한 완전히 새로운 조합의 요리"를 만들라고 하면 당황하는 것과 같습니다.
• 특히 AI 는 단백질의 **3 차원 구조 (요리 그릇의 모양)**를 알면 조금 더 잘하지만, 그래도 여전히 복잡한 상호작용을 예측하는 데는 한계가 있습니다.

🚀 5. 결론: 앞으로 무엇을 해야 할까?

이 논문의 핵심 메시지는 다음과 같습니다.

"현재의 AI 는 단백질 하나하나의 변이는 잘 예측하지만, 여러 변이가 섞였을 때 생기는 복잡한 화학 반응 (에피스타시스) 을 예측하는 데는 완전히 실패하고 있습니다."

이 문제를 해결하지 못하면, 우리가 원하는 대로 단백질을 설계하거나 (신약 개발, 효소 설계), 진화의 과정을 이해하는 데 큰 걸림돌이 됩니다.

미래의 과제:
단순히 더 많은 데이터를 주거나 복잡한 AI 모델을 만드는 것만으로는 안 됩니다. 재료들 사이의 '비선형적인 관계' (시너지 효과) 를 이해할 수 있는 새로운 방식의 AI를 개발해야 합니다. 마치 "소금과 후추의 상호작용"을 이해하는 새로운 요리 이론이 필요한 것처럼요.

---

한 줄 요약:

"현재의 AI 는 단백질의 '단순한 변화'는 잘 예측하지만, 여러 변화가 섞여 생기는 '복잡한 마법 (시너지)'을 전혀 예측하지 못하므로, 더 똑똑한 새로운 접근법이 필요합니다."

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 단백질의 변이 (mutation) 가 단백질의 기능과 특성에 미치는 영향을 정확히 예측하는 것은 연구 및 산업적 응용 (예: 단백질 설계) 에 필수적입니다. 기존 실험적 평가는 정확하지만 비용이 많이 들고 시간이 오래 걸립니다. 따라서 계산적 방법 (Computational methods) 이 대안으로 부상했습니다.
• 핵심 문제: 단백질 변이 예측의 가장 큰 난제는 **에피스타시스 (Epistasis)**입니다. 에피스타시스는 한 변이의 효과가 다른 변이의 존재 여부에 따라 달라지는 현상으로, 단백질의 구조적 상호작용을 넘어선 복잡한 비선형적 상호작용을 포함합니다.
• 현재 기술의 한계:
  • 기존 변이 효과 예측 (VEP) 도구들은 단일 변이나 비에피스타틱 (비선형적이지 않은) 변이 조합에는 잘 작동하지만, 강한 에피스타시스를 가진 변이 조합의 영향을 예측하는 데 실패합니다.
  • 지도학습 (Supervised) 기반 모델은 훈련 데이터가 단일 변이 위주로 구성되어 있어 다중 변이 공간 (sequence space) 을 일반화하기 어렵습니다.
  • 최근 각광받는 Zero-shot (훈련 데이터 없이) 모델 (예: 단백질 언어 모델, PLMs) 은 자연 발생 서열의 진화적 타당성을 학습하지만, 복잡한 에피스타틱 상호작용을 포착하지 못한다는 의문이 제기되었습니다.

2. 연구 방법론 (Methodology)

• 데이터셋: ProteinGym 벤치마크의 217 개 MAVE (Multiplexed Assays of Variant Effects) 데이터셋 중, 실험 오차 정보가 포함된 53 개 데이터셋을 선정하여 분석했습니다.
  • GFP 데이터셋 (Somermeyer et al.): 3 종의 GFP 단백질 (amacGFP, cgreGFP, ppluGFP) 의 형광 강도 측정 데이터. 다중 변이 (최대 44 개) 를 포함하며, 에피스타시스를 연구하기 위해 특별히 설계되었습니다.
  • 안정성 데이터셋 (Tsuboyama et al.): 50 종의 단백질에 대한 열안정성 (thermostability, $\Delta G$) 측정 데이터. 주로 단일 및 이중 변이로 구성됩니다.
• 에피스타시스 정의 및 식별:
  • GFP: 관측된 효과와 단일 변이 효과의 합 (기대값) 간의 차이를 계산하여 에피스타시스를 정의했습니다.
  • 안정성: 열역학 모델을 기반으로 재구성된 기대 $\Delta G$와 관측된 $\Delta G$의 차이를 사용했습니다.
  • 통계적 검증: 실험 오차를 고려하여 Z-test 를 수행하고, 유의미한 에피스타시스를 보이는 유전자형 (genotype) 을 선별했습니다 ($N=1$ for GFP, $N=3$ for Stability).
• 모델 평가:
  • 대상 모델: ProteinGym 에 포함된 95 개의 Zero-shot 모델 (ESM 계열, MSA-Transformer, 구조 기반 모델 등) 을 평가했습니다.
  • 기준선 (Baselines): 단일 변이 데이터만으로 훈련된 단순한 지도학습 모델 (선형 회귀, MLP) 을 비교 대상으로 설정했습니다. 이는 에피스타시스를 고려할 수 없는 최소한의 기준선 역할을 합니다.
  • 성능 지표: 모델 예측값과 실험값 간의 **스피어만 순위 상관관계 (Spearman's correlation)**를 계산했습니다. 모든 변이 조합과 에피스타틱 변이 조합에 대해 각각 평가했습니다.

3. 주요 결과 (Key Results)

• 단일 변이 vs. 에피스타틱 변이:
  • Zero-shot 모델들은 단일 변이 및 비에피스타틱 조합에서는 실험값과 0.6 이상의 상관관계를 보이며 reasonably 잘 예측했습니다.
  • 그러나 에피스타틱 변이 조합에 대해서는 모델들의 성능이 급격히 저하되어 상관관계가 0.2 이하로 떨어졌습니다.
• 기준선 모델과의 비교:
  • 놀랍게도, 에피스타틱 변이 예측에서 대부분의 Zero-shot 모델은 단순 선형 회귀나 MLP 같은 기준선 모델보다 성능이 낮거나 비슷했습니다.
  • 특히 GFP 데이터셋 중 cgreGFP의 경우, 선형 모델조차 성능이 매우 낮았으나 Zero-shot 모델들은 이를 극복하지 못했습니다.
• 성공적인 모델의 특징:
  • 일부 모델 (ESCOTT, PoET, ProSST, ESM-IF1 등) 은 상대적으로 나은 성능을 보였으나, 이는 복잡한 딥러닝 아키텍처 때문이 아니라 **진화적 보존 정보 (homologs), 단백질 3 차원 구조 정보, 그리고 GEMME 와 같은 통계적 특징 공학 (feature engineering)**을 활용했기 때문입니다.
  • 순서 (Sequence) 만을 입력으로 받는 단백질 언어 모델 (PLM) 은 에피스타시스를 예측하는 데 한계가 명확했습니다.
• 데이터셋 간 차이:
  • 형광 (GFP) 과 열안정성 (Stability) 데이터셋에서 상위 성능을 보이는 모델들이 완전히 달랐으며, 이는 서로 다른 표현형 (phenotype) 이 서로 다른 예측 요인을 필요로 함을 시사합니다.

4. 주요 기여 및 결론 (Key Contributions & Significance)

• 현실적 한계 규명: 현재 최첨단 (State-of-the-art) Zero-shot 모델들은 단백질의 진화적 타당성 (plausibility) 을 학습하지만, 이는 비선형적 에피스타틱 상호작용을 포착하지 못함을 실증적으로 증명했습니다. 즉, 모델들은 "적합도 계곡 (fitness valleys)"을 건너는 경로를 예측할 수 없습니다.
• 모델 설계에 대한 통찰: 복잡한 딥러닝 아키텍처보다는 적절한 특징 공학 (Feature Engineering) (예: 구조 정보, 진화적 정보, 통계적 모델) 이 에피스타틱 변이 예측에 더 중요할 수 있음을 시사합니다.
• 미래 방향성 제시:
  • 단백질 설계 및 진화 연구의 발전을 위해서는 단순한 단일 변이 예측을 넘어, 다중 변이 및 에피스타틱 상호작용을 명시적으로 학습할 수 있는 새로운 아키텍처 개발이 필요합니다.
  • 이를 위해서는 에피스타틱 효과를 포착할 수 있는 더 많은 실험 데이터 (MAVE 등) 의 생성과 이를 활용한 모델 훈련이 필수적입니다.

5. 요약

본 논문은 단백질 언어 모델 및 Zero-shot 기반 VEP 도구들이 단일 변이 예측에는 성공적이지만, 복잡한 에피스타틱 상호작용을 가진 다중 변이 단백질의 기능을 예측하는 데는 근본적인 실패를 겪고 있음을 밝혔습니다. 이는 단백질의 기능 예측이 단순한 가산적 (additive) 모델을 넘어, 비선형적이고 고차원적인 상호작용을 이해할 수 있는 새로운 접근법이 필요함을 강력하게 시사합니다.