🧬 biology

Task- and dataset-specific information in protein language models

이 연구는 단백질 언어 모델의 다운스트림 태스크를 위한 가장 정보가 풍부한 임베딩이 최종 레이어보다는 종종 중간 레이어에서 발견되며, 최적의 레이어는 해당 태스크가 개별 잔기, 전체 단백질, 또는 인공 서열을 다루는지에 따라 달라진다는 것을 밝혀냈다.

원저자: Roman Joeres, Ilya Senatorov, Olga V. Kalinina

게시일 2026-08-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Roman Joeres, Ilya Senatorov, Olga V. Kalinina

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

당신에게 모든 책이 '단백질'이라는 살아있는 기계를 만드는 레시피를 담고 있는 거대하고 마법 같은 도서관이 있다고 상상해 보세요. 수년 동안 과학자들은 컴퓨터가 이 레시피를 읽고 그 기계가 무엇을 하는지 이해하도록 가르치기 위해 노력해 왔습니다. 이를 위해 그들은 '단백질 언어 모델(Protein Language Models, PLMs)'을 만들었습니다. 이 모델들을 엄청나 많은 단백질 레시피를 읽은 아주 똑똑한 학생이라고 생각하면 됩니다. 이 학생들은 단순히 단어를 암기하는 것이 아니라, 그 언어의 숨겨진 문법과 스타일을 배웁니다. 학습을 마치면, 이 학생들은 단백질의 레시피를 다른 컴퓨터가 사용할 수 있는 비밀 코드(임베딩)로 변환할 수 있습니다. 이 코드를 통해 컴퓨터는 이 단백질이 빛을 낼 것인지, 바이러스에 달라붙을 것인지, 혹은 물에 녹을 것인지 등을 예측할 수 있습니다.

오랫동안 모든 이들은 이 똑똑한 학생 모델의 가장 영리한 부분이 뇌의 맨 끝부분, 즉 마지막 층(layer)에 있을 것이라고 가정해 왔습니다. 그것은 마치 책 한 권을 다 읽은 후, 마지막으로 읽은 문장이 가장 중요한 의미를 담고 있다고 가정하는 것과 같습니다. 하지만 만약 가장 유용한 단서들이 책의 중간 부분이나 심지어 앞부분 몇 페이지에 숨겨져 있다면 어떨까요? 이 논문은 단순하지만 까다로운 질문을 던집니다. 이 거대한 AI의 뇌 어디에서 진짜 마법이 일어나는가? 우리는 최선의 답을 얻기 위해 반드시 마지막 층을 보아야만 하는가, 아니면 그 사이의 층들을 무시함으로써 중요한 무언가를 놓치고 있는 것은 아닌가?

이 연구의 연구자들은 탐정이 되기로 했습니다. 그들은 13개의 서로 다른 단백질 학습 모델을 가져와서, 단백질의 안정성을 예측하는 것부터 세포 내부 어디에 사는지 알아내는 것까지 15가지의 다양한 과제를 테스트했습니다. 그들은 단순히 최종 결과만을 본 것이 아니라, 첫 번째 층부터 마지막 층까지 모델의 사고 과정의 모든 단계 속을 들여다보았습니다.

그들이 발견한 사실은 다음과 같으며, 결과적으로 "마지막 층이 최고다"라는 기존의 규칙은 대부분 틀렸습니다.

중간이 종종 최적의 지점이다
과학자들이 전체 단백질과 관련된 작업(예: 단백질이 용해될지 또는 세포 내 어디에 위치할지 예측하는 것)에 대해 이 모델들을 테스트했을 때, 마지막 층이 승리하는 경우는 드물다는 것을 발견했습니다. 대신, "최고의" 층은 대개 중간 어딘가, 즉 모델 깊이의 10%에서 90% 사이였습니다. 이는 마치 학생이 책을 읽으며 중간 장들에서 주요 줄거리를 이해하지만, 마지막 페이지에 도달할 때쯤에는 혼란스러워하거나 과하게 분석하기 시작하는 것과 같습니다. 실제로 많은 작업에서 가장 깊은 층에서는 성능이 오히려 떨어졌습니다.

무엇을 묻느냐에 따라 달라진다
논문은 "최고의" 층이 모든 작업에 동일하지 않다는 것을 보여주었습니다. 이는 사용하는 데이터의 유형에 크게 좌우됩니다:

"변이(Mutant)" 데이터셋: 데이터가 '심층 돌연변이 스캐닝(Deep Mutational Scanning, 과학자들이 하나의 특정 단백질을 가져와 수천 개의 미세하게 조금씩 다른 버전으로 만드는 방식)'에서 온 경우, 모델은 얕은 초기 층을 사용할 때 가장 잘 작동했습니다. 초기 층은 단어의 한 글자가 바뀌면 그 의미가 어떻게 변하는지와 같은 작고 국소적인 세부 사항을 포착하는 데 탁м 뛰어납니다.
"다양한(Diverse)" 데이터셋: 데이터가 수많은 서로 관련 없는 다양한 단백질의 거대한 혼합물(예: 수천 권의 서로 다른 책이 있는 도서관)에서 온 경우, 모델은 더 깊은 층을 사용할 때 가장 잘 작동했습니다. 여기서 모델은 많은 종류의 단백질에 적용되는 크고 일반적인 규칙을 이해해야 하며, 이를 위해서는 더 많은 "생각"과 더 깊은 층이 필요합니다.

"인공적(Artificial)" 문제
가장 놀라운 발견 중 하나는 인공 단백질에 관한 것이었습니다. 연구자들은 자연에서 발견된 것이 아니라 컴퓨터에 의해 설계된 단백질로 모델을 테스트했습니다. 모델은 이들과 씨름하며 상당한 어려움을 겪었습니다. 설령 인공 단백질이 기능을 하더라도, 모델은 그 특성을 잘 예측하지 못했습니다. 이는 이 AI 모델들이 자연의 진화라는 "언어"를 이해하는 법은 배웠지만, 컴퓨터가 설계한 단백질의 "언어"는 아직 파악하지 못했음을 시사합니다. 그들은 옛날 방언에는 유창하지만, 새로운 신조어에는 비틀거립니다.

왜 마지막 층이 항상 왕이 아닌가
이 논문은 이러한 현상이 모델이 훈련되는 방식 때문에 발생한다고 설명합니다. 모델들은 먼저 문장에서 빠진 단어를 추측하도록 훈련받는데(이는 작고 국소적인 세부 사항에 집중하는 작업입니다), 이 상태에서 전체적인 그림을 보는 작업(예: 전체 단백질의 안정성 예측)을 요구하면, 마지막 층은 여전히 그 작은 단어 맞추기 작업을 수행하려 하며 이것이 방해가 됩니다. 그러나 모델을 특정 '전체적인 그림' 작업에 맞춰 특별히 '미세 조정(fine-tuning)'한다면, 층들이 순서대로 더 잘 작동하기 시작하여 마지막 층이 다시 가장 유용한 층이 됩니다. 하지만 표준적인 사전 훈련 상태에서는 중간 층이 종종 황금을 품고 있습니다.

핵심 요약
이 연구는 과학자들이 단백질 AI 모델을 사용할 때 단순히 마지막 층을 맹목적으로 가져와서는 안 된다는 점을 시사합니다. 대신, 자신의 작업에 맞는 특정 층을 찾기 위해 모델의 "뇌" 속을 더 깊이 들여다봐야 합니다. 만약 미세한 돌연변이를 보고 있다면 초기 층을 보아야 합니다. 만약 다양한 혼합 단백질을 보고 있다면 더 깊이 들어가야 합니다. 그리고 만약 컴퓨터로 설계된 단백질을 다루고 있다면, 모델이 자연의 창조물만큼 그것들을 잘 이해하지 못할 수도 있으므로 각별히 주의해야 합니다.

요약하자면, 이 논문은 이러한 AI 모델들이 복잡하고 층이 나누어진 사고를 하며, "가장 똑똑한" 부분은 당신이 어떤 질문을 던지느냐에 따라 변한다는 사실을 밝혀냈습니다. 책의 마지막 페이지가 항상 가장 중요한 페이지는 아닙니다. 때로는 가장 좋은 답이 바로 중간에 있을 수도 있습니다.

기술 요약: 단백질 언어 모델에서의 태스크 및 데이터셋 특이적 정보

문제 정의
단백질 언어 모델(PLM)은 아미노산 서열을 다양한 다운스트림 태스크(DT)를 위한 잠재 공간 임베딩으로 변환하며 계산 생물학의 중심이 되었습니다. 이 분야의 지배적인 합의는 특정 태스크에 대해 엔드 투 엔드(end-to-end)로 학습된 딥러닝 모델(예: ImageNet에 대한 ResNet-50)에서 빌려온 휴리스틱인, PLM의 마지막 레이어 임베딩이 가장 정보가 풍부하다는 가정입니다. 그러나 PLM은 일반적으로 방대한 단백질 서열 코퍼스에 대해 자기 지도 학습 목적 함수(예: Masked Language Modeling 또는 Next Token Prediction)를 통해 사전 학습된 후, 서로 다른 목적을 가진 다운스트림 태스크를 위한 특징 추출기로 사용됩니다. "마지막 레이어가 최선이다"라는 가정이 PLM에서도 유효한지, 정보가 중간 레이어에 어떻게 분포되어 있는지, 그리고 데이터셋 구성(천연 단백질 vs 인공 단백질)과 태스크 세밀도(잔기 수준 vs 단백질 수준)와 같은 요인들이 최적의 임베딩 레이어에 어떤 영향을 미치는지 여전히 불분명합니다.

방법론
저자들은 다섯 가지 모델 패밀리(ESM-2, ESMC, ProtT5, ProstT5, ProGen2)에 걸친 13개의 PLM과 네 가지 아키텍처(BERT, Transformer, T5, GPT)를 대상으로 체계적인 분석을 수행했습니다. 이 모델들은 잔기 수준 및 단백질 수준 예측을 모두 포함하는 11개의 서로 다른 데이터셋에서 유래한 15개의 다운스트림 태스크에 대해 평가되었습니다.

방법론은 두 가지 주요 접근 방식을 채택했습니다:

선형 프로빙(Linear Probing): 각 PLM의 모든 레이어 임베딩에 대해 프로브 모델(선형 분류기 및 $k$ -최근접 이웃)을 학습시켜 특정 DT에 대한 성능을 평가했습니다.
잠재 공간 분석: 각 레이어의 기하학적 구조와 복잡성을 특징짓기 위해 세 가지 지표를 계산했습니다:
- 고유 차원(Intrinsic Dimension, ID): 공간을 설명하는 데 필요한 독립 변수의 수를 결정하기 위해 TwoNN 방식을 사용하여 추정했습니다.
- 이웃 중첩(Neighborhood Overlap): 연속된 레이어 간의 이웃 집합의 유사성을 측정했습니다.
- Variance@10: 첫 10개의 주성분이 설명하는 분산의 비율입니다.

또한, 본 연구에는 최적의 레이어를 식별하는 데 있어 데이터 효율성을 결정하기 위한 데이터 서브샘플링을 포함한 절제 연구(ablation studies)와 자연 단백질을 인공적으로 생성된 서열(Rosetta 및 ProGen 활용)과 비교하는 실험이 포함되었습니다.

주요 결과

마지막 레이어가 최적인 경우는 드묾: 일반적인 관행과 달리, PLM의 마지막 레이어 임베딩은 최상의 성능을 내는 경우가 드물었습니다. 마지막 레이어가 다른 모든 레이어보다 우수한 성능을 보인 경우는 17.92%에 불로 그쳤습니다. 대부분의 단백질 수준 태스크에서 성능은 중간 레이어(모델 깊이의 10~90 백분위수 사이)에서 정점에 도달한 후, 가장 깊은 레이어에서 감소했습니다.
태스크 및 데이터셋 의존성: 가장 정보가 풍부한 레이어의 위치는 데이터셋 구조에 크게 의존합니다:
- 심층 돌연변이 스캐닝(DMS) 데이터셋: 단일 단백질의 변이체들을 포함하는 데이터셋(예: Fluorescence/GFP, GB1)의 경우, 얕은 레이어의 임백딩이 가장 좋은 성능을 보였습니다.
- 다양한 천연 단백질 데이터셋: 많은 수의 서로 다른 천연 단백질로 구성된 데이터셋(예: DeepLoc2.0, DeepSol, SCOPe40)의 경우, 성능은 일반적으로 레이어 깊이에 따라 증가하다가 맨 끝부분에서 약간 감소하며 깊은 레이어에서 정점에 도달했습니다.
잔기 수준 vs 단백질 수준: 잔기 수준 태스크(예: 이차 구조 예측, 결합 부위 식별)는 레이어 깊이에 따라 성능이 지속적으로 증가하는 양상을 보였으며, 이는 잔기 수준의 사전 학습 목적과 일치합니다. 단백질 수준 태스크는 비단조적(non-monotonic)인 성능 곡선을 나타냈습니다.
사전 학습 vs 다운스트림 정렬: 성능 추세는 사전 학습 목적 함수와 다운스트림 태스크 간의 정렬 상태와 상관관계가 있습니다. 목적 함수가 일치할 때(예: 잔기 수준 태스크), 성능은 단조롭게 개선됩니다. 목적 함수가 어긋날 때(예: 잔기 수준으로 학습된 모델을 전체 단백질 태스크에 적용할 때), 깊은 레이어에서의 "드리프트(drift)" 현상으로 인해 성능이 하락합니다. 특정 태스크에 대해 PLM을 미세 조정(fine-tuning)하면 해당 태스크에 대해 레이어 전반에 걸쳐 단조로운 개선이 회복됩니다.
인공 단백질: PLM은 천연 단백질이나 그 변이체에 비해 인공적으로 생성된 단백질(예: Rosetta 설계 미니 단백질 또는 ProGen 생성 라이소자임)의 특성을 예측할 때 성능이 현저히 저하되었습니다. 이는 PLM이 추상적이고 보편적인 단백질 기능보다는 자연적으로 진화한 서열 공간의 표현을 인코딩하고 있음을 시사합니다.
데이터 효율성: 본 연구는 최적에 가까운 성능(최적의 $\ge$ 95%)을 달내는 레이어를 식별하는 데 15~20%의 훈련 데이터만으로도 충분하다는 것을 발견하였으며, 이는 레이어 선택의 견고함을 나타냅니다.

의의 및 주장
저자들은 이 연구가 다양한 아키텍처와 태스크에 걸친 PLM 레이어 동작에 대한 최초의 종합적인 연구임을 주장하며, 마지막 레이어 임베딩만을 사용하는 표준 관행에 도전합니다. 논문은 다음과 같이 상정합니다:

정보는 레이어별로 특이적임: PLM은 정보를 단순히 선형적으로 축적하지 않습니다. 초기 레이어는 미세하고 국소적인 세부 사항(DMS/변이체에 관련됨)을 포착하는 반면, 더 깊은 레이어는 일반적이고 전역적인 규칙(다양한 천연 단백질에 관련됨)을 포착합니다.
데이터셋 구조가 유용성을 결정함: 특정 레이어의 유용성은 태스크 유형 자체보다 데이터의 다양성(단일 단백질 변이체 vs 다양한 프로테옴)에 의해 더 많이 정의됩니다.
인공 서열에 대한 한계: PLM은 인공적인 단백질 설계에 대해 어려움을 겪으며, 이는 학습된 표현이 일반화 가능한 단백질 물리 또는 기능보다는 자연적 진화의 통계적 특성에 특화되어 있음을 나타냅니다.

본 논문은 최적의 임베딩 레이어를 선택하려면 데이터셋과 태스크를 신중하게 고려해야 하며, "마지막 레이어" 휴리스틱은 단백질 언어 모델링에서 종종 최적이 아니라고 결론짓습니다.

기술 요약: 단백질 언어 모델에서의 태스크 및 데이터셋 특이적 정보

유사한 논문