Simple baselines rival protein language models in mutation-dense design tasks

본 논문은 돌연변이가 밀집된 단백질 변이의 효과를 예측하는 데 있어 기존 기준 방법들이 단백질 언어 모델과 동등하거나 더 나은 성능을 보인다고 입증하여, 단백질 설계를 효과적으로 발전시키기 위해서는 단백질 언어 모델이 생물물리학적 또는 구조적 사전 지식을 통합해야 함을 시사한다.

핵심

완벽한 쿠키를 굽고자 한다고 상상해 보세요. 당신은 레시피 (단백질) 를 가지고 있지만, 맛을 더 좋게 만들기 위해 재료를 약간 바꾸고 싶어 합니다. 아마도 설탕을 조금 더 넣거나, 다른 종류의 밀가루를 사용하거나, 새로운 향신료를 추가하는 식으로요. 이것이 과학자들이 '단백질 설계'라고 부르는 것입니다.

오랜 기간 동안 과학자들은 어떤 재료 변경이 효과를 볼지 추측하기 위해 두 가지 주요 방법을 사용해 왔습니다.

1. 오래된 방식의 셰프 (전통적 기준): 이들은 이미 테스트되고 검증되어 작동하는 것으로 알려진 레시피들을 살펴보는 방법에 기반합니다. 이들은 간단한 규칙에 의존하며, 새로운 아이디어를 오래되고 익숙한 것들과 비교합니다.
2. AI 슈퍼 셰프 (단백질 언어 모델 또는 pLMs): 이들은 수백만 개의 단백질 '레시피'로 훈련된 방대하고 복잡한 컴퓨터 프로그램들입니다. 이들은 생명의 깊고 숨겨진 문법을 이해하고, 맛을 보지 않고도 어떤 새로운 조합이 맛있는지 예측할 수 있어야 합니다.

큰 시험
이 논문의 연구자들은 이 두 그룹을 시험해 보기로 결정했습니다. 그들은 '쿠키 챌린지'를 만들었는데, 여기서 그들은 단순히 한 가지 재료만 변경한 것이 아니라 여러 재료를 한 번에 변경하여 수천 가지의 야생적이고 복잡한 변이 (돌연변이 지형) 를 생성했습니다. 그런 다음 AI 셰프들과 전통적 셰프들이 이러한 미친 듯이 새로운 쿠키 중 어떤 것이 실제로 맛을 낼지 (기능) 그리고 어떤 것이 타버릴지 (비기능) 예측하는 데 얼마나 잘하는지 확인했습니다.

놀라운 결과
이 연구는 매우 예상치 못한 것을 발견했습니다: AI 슈퍼 셰프들은 승리하지 못했습니다.

• 모든 AI 모델은 동일했습니다: AI 모델이 얼마나 크고 화려하든 상관없이, 모든 모델은 서로 대략 동일한 성능을 보였습니다.
• AI 는 기본을 이기지 못했습니다: 복잡한 AI 모델들은 통계적으로 간단한 전통적 방법들보다 더 나을 바가 없었습니다. 사실, 전통적 방법들이 어떤 변이가 작동할지 추측하는 데 똑같이 잘했습니다.
• '제로샷'의 한계: AI 가 추가 훈련 없이 스스로 추측하려 할 때조차 (제로샷), 단순히 새로운 레시피가 오래된 알려진 레시피와 얼마나 유사한지 살펴보는 것보다 더 잘할 수 없었습니다.

교훈
저자들은 이러한 AI 모델들이 사전은 외웠지만 요리하는 법은 배우지 않은 학생들과 같다고 제안합니다. 그들은 단어 (단백질의 문자 서열) 를 알고 있지만, 재료가 실제로 어떻게 상호작용하고 접혀서 붙어있는지라는 '주방의 물리법칙'을 놓치고 있을지도 모릅니다.

더 나은 단백질을 설계하는 데 진정으로 도움이 되기 위해, 이 논문은 이러한 AI 모델들이 물리법칙과 구조의 규칙을 배워야 하거나, 레시피의 텍스트에만 의존하는 것이 아니라 단백질의 3 차원 형태를 이해하는 도구들과 짝을 이루어야 한다고 제안합니다.

기술 요약

기술 요약: 단순한 베이스라인이 돌연변이 밀집 설계 작업에서 단백질 언어 모델과 경쟁

문제 제기
계산적 단백질 설계는 측정되지 않은 변이체 중 우수한 기능적 특성을 가진 변이체를 신뢰성 있게 예측하거나 생성할 수 있는 모델을 요구합니다. 최근 발전으로 인해 제로샷 스코링과 제한된 실험 데이터로부터의 전이 학습을 위한 설계 작업에 단백질 언어 모델 (pLM) 이 도입되었으나, 이러한 모델들의 평가에는 중요한 격차가 여전히 존재합니다. 기존 벤치마크들은 대부분 이러한 모델들이 저차수 변이체에서 고차수 변이체로 조합적 외삽을 수행하는 능력을 명시적으로 테스트하는 데 실패했습니다. 따라서 돌연변이 밀집 설계 시나리오에서 pLM 이 기존 방법보다 진정한 우위를 제공하는지 여부는 불분명합니다.

방법론
저자들은 널리 사용되는 pLM 과 기존 베이스라인 방법을 비교하는 엄격한 벤치마크 연구를 수행했습니다. 평가는 최근 기술된 밀집된 실험적으로 검증된 다중 변이체 지형에서 수행되었습니다. 연구는 두 가지 주요 모드로 모델을 평가했습니다:

1. 제로샷 예측: 작업별 미세 조정 없이 기능성 변이체와 비기능성 변이체를 구별하는 능력을 평가합니다.
2. 전이 학습: 제한된 실험 데이터로 훈련되었을 때의 성능을 평가합니다.

분석은 이러한 특정 조합적 맥락에서 규모나 설계가 성능에 영향을 미치는지 여부를 판단하기 위해 pLM 간의 아키텍처 차이와 파라미터 수를 통제했습니다.

주요 기여 및 결과
이 연구는 돌연변이 밀집 환경에서 pLM 의 효능에 관한 몇 가지 중요한 발견을 제시합니다:

• pLM 간의 통계적 동등성: 기반 아키텍처나 파라미터 수와 관계없이 평가된 pLM 들은 서로 통계적으로 유사하게 수행되었습니다.
• 일관된 우위의 부재: 테스트된 돌연변이 밀집 지형에서 pLM 중 어느 것도 기존 베이스라인 방법보다 일관되게 우수한 성과를 내지 못했습니다.
• 제로샷 성능: 제로샷 설정에서 pLM 이 기능성 변이체와 비기능성 변이체를 구별하는 능력은 기존 동족성 기반 방법과 비교 가능한 것으로 나타났습니다.

의의 및 주장
이 논문은 현재 세대의 pLM 이 밀집된 돌연변이 지형 내에서의 조합적 외삽이라는 특정 맥락에서 전통적 접근법을 본질적으로 능가하지 않는다고 주장합니다. 저자들은 pLM 이 단백질 기능 설계에 실질적인 기여를 하려면 생리물리학적 및 구조적 사전 지식을 통합해야 할 가능성이 있다고 논합니다. 또는 저자들은 pLM 이 고급 단백질 설계 작업에 필요한 신뢰성을 달성하기 위해 구조 기반 접근법과 결합되어야 할 수 있다고 제안합니다. 이 연구는 특정 아키텍처 적응 없이는 모델 복잡성의 증가가 돌연변이 밀집 설계에서 자동으로 향상된 성능으로 이어지지 않는다는 점을 강조하는 경계적 벤치마크 역할을 합니다.