Intrinsic dataset features drive mutational effect prediction by protein language models

본 연구는 단백질 언어 모델의 돌연변이 효과 예측 성능이 모델 아키텍처나 학습 전략보다는 데이터셋 내 부위별 적합도 변이와 같은 고유한 데이터 특성에 의해 주로 결정되며, 기존 벤치마크는 데이터 누출로 인해 모델 성능을 과대평가하고 있음을 규명했습니다.

핵심

🧩 1. 연구의 배경: "AI 는 왜 때로는 멍청해질까?"

생물학자들은 **단백질 언어 모델 (pLM)**이라는 AI 를 이용해, 특정 아미노산이 바뀌었을 때 단백질이 얼마나 잘 작동할지 (적합도, fitness) 예측합니다. 마치 "이 문장을 바꾸면 뜻이 어떻게 변할까?"를 예측하는 것처럼요.

그런데 이상한 점이 있었습니다.

• 세포 (인간 등) 단백질 데이터에서는 AI 가 아주 잘 예측했습니다.
• 하지만 바이러스 단백질 데이터에서는 AI 가 엉망이 되었습니다.

연구자들은 "아마 AI 모델이 바이러스 데이터를 더 많이 공부하지 않아서 그런가?" 혹은 "모델 구조가 문제인가?"라고 생각하며 모델을 고쳐보거나 더 많이 학습시켰지만, 결과는 여전히 좋지 않았습니다.

🔍 2. 핵심 발견: "AI 는 사실 '기억'만 하고 있었다?"

연구진이 자세히 들여다보니 놀라운 사실이 드러났습니다.

비유: 시험 문제 풀이

가상의 상황을 상상해 보세요.

• A 학생 (AI 모델): 복잡한 문법과 맥락을 분석해서 문제를 풉니다.
• B 학생 (단순한 기준): "이 문제는 3 번 지점에 출제되면 항상 80 점이다"라고 암기합니다.

연구 결과, 바이러스 데이터에서는 **B 학생 (단순한 기준)**이 A 학생보다 더 잘 맞췄습니다.
AI 모델이 복잡한 문맥을 분석한 것이 아니라, 단순히 **"이 위치 (Site) 에 돌연변이가 오면 평균적으로 점수가 이렇게 나온다"**는 사실만 외워서 답을 맞춘 것이었습니다.

즉, AI 가 진정으로 '이해'한 것이 아니라, 데이터의 **편향 (Bias)**을 이용해 점수를 땄던 것입니다.

📊 3. 두 가지 새로운 측정 도구: "데이터의 성격을 파악하는 자"

연구진은 왜 바이러스 데이터에서는 AI 가 실패했는지 설명하기 위해 두 가지 새로운 지표를 만들었습니다.

1. 위치별 평균 점수의 차이 (RVSM):

   • 비유: 반 친구들 (단백질의 각 위치) 의 평균 성적이 얼마나 다른가?
   • 해석: 어떤 위치는 항상 점수가 높고, 어떤 위치는 항상 낮다면 AI 가 그 위치만 보고도 점수를 맞출 수 있습니다. (이게 바이러스 데이터의 특징 중 하나였습니다.)

2. 변동성이 큰 위치의 비율 (FHVS):

   • 비유: 한 친구 (위치) 가 시험을 볼 때, 문제마다 성적이 크게 달라지는가? (예: A 문제엔 100 점, B 문제엔 10 점)
   • 해석: 돌연변이가 생겼을 때 성적이 크게 변하는 위치가 많아야 AI 가 "어떤 돌연변이가 나쁜지"를 학습할 수 있습니다.

결론:

• 바이러스 데이터: 위치별 평균 점수 차이는 크지만, 한 위치 안에서의 변동성 (FHVS) 이 너무 적었습니다. 즉, "어떤 돌연변이가 오든 그 위치의 점수는 비슷해"라는 뜻입니다. AI 가 배울 게 없었던 것입니다.
• 세포 데이터: 한 위치 안에서도 돌연변이에 따라 점수가 크게 변했습니다. AI 가 학습할 "교과서"가 풍부했던 것입니다.

🚫 4. 데이터 나누기 방식의 함정: "시험지 유출"

지금까지 많은 연구에서 데이터를 나눌 때, 같은 위치의 돌연변이를 훈련 세트와 시험 세트에 섞어서 넣었습니다.

비유: 시험지 유출

• 훈련 세트: "3 번 자리 (위치) 의 학생은 평균 80 점이다"라고 배움.
• 시험 세트: "3 번 자리 (위치) 의 학생이 나왔어. 답은 80 점!"이라고 찍음.

이렇게 하면 AI 가 진짜 능력을 발휘한 게 아니라, **시험지를 미리 본 것 (데이터 유출)**과 같아서 점수가 높게 나옵니다.

연구진은 "같은 위치의 돌연변이는 훈련과 시험에 절대 섞이지 않게" 나누는 새로운 방식을 적용했습니다. 그랬더니 AI 의 점수가 뚝 떨어졌습니다. 특히 바이러스 데이터에서는 단순한 평균 예측보다도 못 하는 경우가 많았습니다.

💡 5. 결론 및 시사점

이 논문의 결론은 다음과 같습니다.

1. AI 가 못 한 게 아니라, 데이터가 문제였다: 바이러스 단백질은 돌연변이에 대한 반응이 너무 일정해서 (변동성이 적어서), AI 가 배울 수 있는 정보가 부족했습니다.
2. 과대평가된 성능: 기존의 많은 연구는 데이터를 잘못 나누어 AI 가 실제로는 못 하는 일을 잘하는 것처럼 과대평가했습니다.
3. 단순한 평균이 더 나을 수도 있다: 데이터의 특성에 따라, 복잡한 AI 모델보다 "그 위치의 평균 점수"를 예측하는 단순한 방법이 더 나을 때가 많습니다.
4. 미래의 방향: 앞으로는 AI 모델의 구조를 더 복잡하게 만들기보다, **데이터의 특성 (어떤 위치에서 얼마나 변하는가)**을 잘 파악하고, 데이터를 더 엄격하게 나누어 (같은 위치를 섞지 않고) 평가해야 합니다.

한 줄 요약:
"지금까지 우리가 칭찬했던 AI 의 뛰어난 예측 능력은, 사실 데이터의 '단순한 규칙'을 외운 것에 불과했을 가능성이 큽니다. 특히 바이러스 데이터에서는 AI 가 배울 게 없어서, 단순한 평균값을 예측하는 것보다 못 할 때도 많았습니다."

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

단백질 언어 모델 (pLMs) 은 대규모 단백질 서열 데이터로 사전 학습되어 돌연변이 효과 (Mutational Effect) 나 단백질 적합도 (Fitness) 를 예측하는 데 널리 사용되고 있습니다. 그러나 pLM 의 성능은 데이터셋에 따라 극도로 변동성이 크며, 특히 바이러스 단백질 데이터셋과 세포 단백질 (Cellular) 데이터셋 사이에서 성능 격차가 명확하게 관찰됩니다.

• 핵심 문제: 기존 연구들은 pLM 의 낮은 성능을 모델의 아키텍처나 학습 전략의 부재로 해석하는 경향이 있었습니다. 그러나 바이러스 데이터셋에서의 성능 저하가 왜 발생하는지, 그리고 모델이 실제로 서열 문맥 (Sequence Context) 을 학습하고 있는지, 아니면 단순한 데이터 특성에 의존하는지에 대한 근본적인 원인이 불분명했습니다.
• 데이터 분할의 문제: 기존 벤치마크 연구들 (예: ProteinGym) 은 주로 '풀링 (Pooled)' 분할 방식을 사용하여 훈련과 테스트 데이터에 동일한 위치 (Site) 의 돌연변이가 섞이도록 했습니다. 이는 모델이 실제 돌연변이 패턴을 학습하는 것이 아니라, 단순히 특정 위치의 평균 적합도 값을 암기 (Memorization) 하여 테스트 성능을 부풀리는 '데이터 누출 (Data Leakage)'을 유발할 수 있습니다.

2. 연구 방법론 (Methodology)

저자들은 41 개의 바이러스 및 33 개의 세포 Deep Mutational Scanning (DMS) 데이터셋을 대상으로 포괄적인 평가를 수행했습니다.

• 모델 및 전략:

  • 다양한 pLM (ESM-2, ESM C, 도메인 적응 (Domain Adaptation) 모델 등) 을 사용했습니다.
  • 지도 학습 전이 학습 (Supervised Transfer Learning): 사전 학습된 pLM 의 임베딩을 추출하여 Lasso 회귀를 수행하거나, LoRA (Low-Rank Adaptation) 를 통해 모델을 파인튜닝 (Finetuning) 하는 방식을 비교했습니다.
  • 데이터 분할 전략 비교:
    1. 풀링 분할 (Pooled Split): 개별 돌연변이 단위로 무작위 분할 (기존 방식).
    2. 위치 계층화 분할 (Site-stratified Split): 특정 위치의 모든 돌연변이를 훈련 또는 테스트 세트 중 하나에만 할당하여, 모델이 훈련 세트에서 보지 못한 새로운 위치 (Unseen Sites) 에 대한 일반화 능력을 평가.

• 새로운 데이터셋 지표 도입:
  모델 성능을 데이터셋의 내재적 특성과 연관시키기 위해 두 가지 지표를 정의했습니다.

  1. RVSM (Relative Variability of Site Means): 위치별 평균 적합도의 표준편차를 전체 데이터의 표준편차로 나눈 값. (위치 간 변동성이 전체 변동성에서 차지하는 비율)
  2. FHVS (Fraction of Highly Variable Sites): 위치 내 변동성이 전체 변동성의 70% 이상인 위치들의 비율. (위치 내에서의 민감도)

• 비교 기준 (Baseline):
  단순한 '위치 평균 (Site Means)' 예측 모델 (훈련 데이터에서 각 위치의 평균 적합도를 계산하여 테스트 데이터에 적용) 을 pLM 과 비교했습니다.

3. 주요 결과 (Key Results)

A. 바이러스 vs 세포 데이터셋 성능 격차

• pLM 은 바이러스 데이터셋에서 세포 데이터셋보다 일관되게 낮은 성능을 보였습니다.
• 도메인 적응 (Viral 데이터로 파인튜닝) 이나 모델 크기 증가 (ESM-2 3B 등) 는 이 격차를 완전히 해소하지 못했습니다.
• 놀라운 발견: 많은 바이러스 데이터셋에서, 복잡한 pLM 보다 단순한 '위치 평균' 예측 모델이 동등하거나 더 좋은 성능을 보였습니다. 이는 모델이 서열 패턴을 학습하기보다 위치별 평균 효과에 의존하고 있음을 시사합니다.

B. 데이터 분할 전략의 영향 (데이터 누출)

• 풀링 분할을 사용할 때 모델 성능 ($R^2$) 이 높게 나왔으나, 위치 계층화 분할을 적용하자 성능이 급격히 하락했습니다.
• 이는 기존 벤치마크가 모델이 위치별 평균을 암기하여 높은 점수를 받는 '속임수'를 허용하고 있었음을 의미합니다. 위치 계층화 분할에서는 바이러스와 세포 데이터셋 간 성능 격차가 사라졌으며, 모든 모델이 유사하게 낮은 일반화 성능을 보였습니다.

C. RVSM 과 FHVS 의 예측력

• RVSM: 위치 간 변동성이 클수록 (RVSM 높음) 모델 성능이 좋았습니다. 이는 모델이 위치별 평균 차이를 활용하여 예측하기 때문입니다.
• FHVS: 모델 성능은 FHVS 가 중간 정도일 때 가장 높았으며, 너무 낮거나 높을 때는 성능이 떨어졌습니다.
  • 바이러스 데이터: FHVS 가 매우 낮음 (대부분의 위치가 돌연변이에 둔감함).
  • 세포 데이터: FHVS 가 높음 (위치 내 변동성이 큼).
• 결론: 바이러스 데이터셋의 낮은 성능은 모델의 한계가 아니라, 데이터 내 '고변동성 위치 (Highly Variable Sites)'가 부족하여 학습할 신호가 부족하기 때문입니다. 고변동성 위치만 남기고 데이터를 필터링하면 바이러스와 세포 데이터 간 성능 격차가 사라졌습니다.

D. ProteinGym 벤치마크 재평가

• ProteinGym 의 다양한 모델 (Kermut, Tranception 등) 도 풀링 분할 시 높은 성능을 보였으나, 위치 계층화 분할 시 성능이 크게 떨어졌습니다.
• RVSM 과 FHVS 는 ProteinGym 의 모델 성능을 높은 설명력 ($R^2$ up to 61%) 으로 예측할 수 있었습니다. 이는 모델 성능이 복잡한 상호작용 학습보다는 데이터셋의 위치별 변동성 분포에 의해 결정됨을 의미합니다.

4. 주요 기여 (Key Contributions)

1. 모델 성능의 주된 동인 규명: pLM 의 돌연변이 예측 성능은 모델 아키텍처나 학습 전략보다 **데이터셋의 내재적 특성 (위치 간/내 변동성)**에 의해 주도된다는 것을 증명했습니다.
2. 벤치마크 방법론의 비판: 기존에 널리 사용되던 '풀링 분할' 방식이 데이터 누출을 통해 모델 성능을 과대평가하고 있음을 지적했습니다. 이를 해결하기 위해 **위치 계층화 분할 (Site-stratified split)**의 중요성을 강조했습니다.
3. 새로운 진단 지표 제안: RVSM 과 FHVS 를 도입하여 데이터셋이 머신러닝 모델에게 적합한지, 그리고 모델이 실제로 유용한 신호를 학습하고 있는지 예측할 수 있는 지표를 제공했습니다.
4. 바이러스 단백질 예측의 어려움 설명: 바이러스 단백질이 돌연변이에 대해 넓은 허용도 (Broad mutational tolerance) 를 가지며 위치 내 변동성이 낮기 때문에, 기존 pLM 이 예측하기 어렵다는 생물학적/통계적 근거를 제시했습니다.

5. 의의 및 시사점 (Significance)

• 현실적인 평가 기준: 단백질 공학 및 변이 효과 예측 분야에서 모델의 진정한 일반화 능력을 평가하려면, 훈련 세트와 테스트 세트가 서로 다른 위치를 갖도록 하는 엄격한 분할 전략이 필수적입니다.
• 모델 개발 방향: 단순히 더 큰 모델이나 더 많은 데이터를 사용하는 것만으로는 부족하며, 위치별 민감도가 높은 데이터를 포함하거나, 위치 정보를 보존하는 새로운 아키텍처 개발이 필요함을 시사합니다.
• 데이터 중심 접근: "데이터가 모델의 성능을 결정한다"는 관점을 정립하여, 향후 DMS 실험 설계 시 머신러닝 모델 학습에 유리한 변동성 분포를 고려해야 함을 강조합니다.
• 바이러스 연구 주의: 현재 공개된 주요 pLM (특히 ESM C 등) 은 바이러스 데이터에 대해 훈련되지 않았거나 적합하지 않을 수 있으므로, 바이러스 단백질 연구 시 주의가 필요하며, 단순한 평균 예측 모델이 종종 더 나은 베이스라인이 될 수 있음을 경고합니다.

이 논문은 단백질 언어 모델의 성능 평가에 있어 데이터셋의 질과 구성이 모델의 아키텍처보다 더 중요할 수 있음을 보여주며, 향후 연구 방향을 데이터 중심의 엄격한 검증 체계로 전환할 것을 촉구합니다.