💻 bioinformatics

TEDlm: domain-centric protein language models with optional structural pre-training

이 논문은 구조적으로 정의된 도메인 세그먼트에 대해 사전 학습된 도메인 중심 단백질 언어 모델인 TEDLM을 소개하며, 이는 원격 상동성 탐지 및 분자 기능 예측에서 더 큰 전체 서열 모델보다 뛰어난 성능을 보임으로써, 도메인 고유의 신호에 집중하는 것이 압축적이고 구조적으로 정보가 풍부한 표현을 생성한다는 것을 입증한다.

원저자: Wei, T., Kandathil, S. M., Buchan, D. W. A., Jones, D. T.

게시일 2026-07-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Wei, T., Kandathil, S. M., Buchan, D. W. A., Jones, D. T.

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

단백질을 거대하고 정교한 레고 성(castle)이라고 상상해 보세요. 오랫동안 단백질의 설계도(아미노산 서열)를 읽어 단백질을 이해하려 했던 과학자들은 한 번에 '전체 책'을 읽는 방식을 취해왔습니다. 문제는 이 책들이 매우 지저�스럽다는 점입니다. 이 책에는 성을 만드는 데 필요한 지침뿐만 아니라, 다리나 정원, 그리고 전체를 하나로 묶어주는 무작위한 낙서들(링커 및 무질서 영역)에 대한 지침도 포함되어 있습니다. 전체적으로 지저�스러운 책을 통해 특정 탑의 모양을 배우려고 하면, 신호가 소음에 묻혀버리게 됩니다.

이때 등장한 것이 바로 TEDlm입니다. 이들은 전체 책을 읽는 대신, 개별적이고 완벽하게 형성된 레고 탑(이를 "도메인"이라 부릅니다)만을 읽기로 결심한 새로운 AI 탐정 팀입니다.

핵심 아이디어: 더 작은 책, 더 똑똑한 두뇌

연구진(David T. Jones와 Tiejun Wei 주도)은 TEDlm이라는 새로운 종류의 AI를 구축했습니다. 연구진은 전체 길이의 단백질 서열로 학습시키는 대신, '도메인의 백과사전(The Encyclopedia of Domains, TED)'이라는 거대한 라이브러리에서 추출한 수백만 개의 깨끗하고 고립된 "도메인" 조각들을 모델에 입력했습니다.

이렇게 생각하면 쉽습니다. 만약 당신이 완벽한 초콜릿 케이크를 굽는 법을 배우고 싶다면, 케이크 레시피와 함께 수프 레시피, 자동차 매뉴얼, 밀가루의 역사까지 들어있는 요리책을 읽을 필요가 없습니다. 그저 케이크 챕터만 읽으면 됩니다. TEDlm이 바로 그 일을 했습니다. 이 모델은 전체 단백질의 지저�스러운 부분(수프 레시피)에 방해받지 않고, 특정 도메인의 "케이크 레시피"(특정 형태와 접힘 구조)를 학습했습니다.

결과: 작지만 강하다

여기에는 놀라운 반전이 있습니다. 크기가 전부가 아니라는 것입니다.

보통 AI의 세계에서는 '거거익선'입니다. 30억 개의 뉴런을 가진 거대한 뇌(유명한 ESM2 3B 모델 같은)가 6억 5천만 개의 뉴런을 가진 작은 뇌를 압도할 것으로 예상됩니다. 하지만 이 경주에서는 더 작고 도메인에 집중한 뇌가 승리했습니다.

TEDlm 650M 모델(작고 집중된 모델)은 단백질 간의 먼 친척 관계를 찾아내는 능력을 측정하는 까다로운 테스트인 CATH S40에서 0.28의 AUROC1을 기록했습니다.
거대한 ESM2 3B 모델은 겨우 0.22를 기록했습니다.

이 논문은 더 깨끗한 데이터로 학습함으로써, 작은 모델이 전체적인 노이즈에 방해받은 거대 모델보다 단백질의 "접힘(fold)"을 훨씬 더 잘 학습했다는 점을 시사합니다. 이는 마치 단서에만 집중한 작은 탐정이, 사건 파일의 모든 페이지를 다 읽으려 했던 거대한 탐정보다 문제를 더 빨리 해결한 것과 같습니다.

초능력: 보이지 않는 구조를 보다

연구진은 또한 TEDlm3D라는 강화된 버전을 만들었습니다. 이 모델은 단순히 레고 설명서를 읽는 것에 그치지 않고, 브릭들이 3D 공간에서 어떻게 서로 맞닿아야 하는지에 대한 비밀 치트 시트(구체적으로는 구조의 핵심 브릭인 '알파 탄소' 사이의 거리)를 제공받았습니다.

이 추가적인 학습은 게임 체인저가 되었습니다.

TEDlm3D는 0.50의 AUROC1에 도달했습니다.
이는 실제 3D 구조를 사용하여 일치하는 대상을 찾는 도구인 Foldseek(점수 0.53)에 매우 근접한 수치입니다.

놀라운 점은, TEDlm3D가 작동할 때 오직 텍스트(서열)만 필요하다는 것입니다. 테스트 시점에 3D 구조가 필요하지 않습니다. 이 모델은 학습 과정에서 3D 규칙을 배웠고, 이제 글자만 읽고도 그 형태를 "봅니다". 논문은 이러한 구조적 신호가 별도의 "출력 헤드"(뇌에 부착된 계산기 같은 것)에 저장되는 것이 아니라, 뇌의 사고 과정 자체에 직접 엮여 있다는 것을 보여줍니다.

다른 작업들은 어떠한가?

연구진은 단백질이 무엇을 하는지(분자 기능) 또는 금속에 얼마나 잘 결합하는지와 같은 다른 작업들에 대해서도 이 모델들을 테스트했습니다.

분자 기능(Molecular Function): 도메인에 집중한 모델들(TEDlm)은 이 분야에서 뛰어난 성능을 보이며 큰 ESM2 모델들을 이겼습니다. 이는 단백질의 주요 역할이 대개 하나의 레고 탑(도메인)에 의해 수행된다는 점에서 타당합니다.
생물학적 과정 및 위치(Biological Process & Location): 이 분야에서는 거대한 ESM2 모델들이 우위를 유지했습니다. 왜일까요? 단백질이 세포 내 어디에 사는지 혹은 유기체 전체를 어떻게 돕는지 알기 위해서는, 하나의 탑이 아닌 성 전체를 보는 관점이 필요하기 때문입니다. 도메인 전용 모델들은 이러한 거시적인 맥락을 놓쳤습니다.

"중간 층(Middle Layer)"의 발견

가장 흥кси로운 발견 중 하나는 AI가 지식을 어디에 저장하는지에 관한 것이었습니다. 많은 AI 모델에서 마지막 층이 가장 "똑똑합니다". 하지만 여기서 연구진은 TEDlm 모델의 중간 층이 구조적 관계를 포착하는 데 실제로 가장 뛰어나다는 것을 발견했습니다. 마지막 층은 단순히 서열의 다음 글자를 예측하는 데 너무 집중한 나머지, 거대한 구조적 그림을 잊어버리는 경향이 있었습니다. 이는 마치 시험 공부를 마친 학생이 챕터의 마지막 문장을 암기하는 데 너무 몰두한 나머지, 이야기의 전체 줄거리를 잊어버리는 것과 같습니다.

이 논문이 배제하는 것들

저자들은 자신들이 하지 않은 일에 대해서도 명확히 밝히고 있습니다. 그들은 이러한 모델을 훈련시키기 위해 다중 서열 정렬(진화적 가계도를 살펴보는 방식)을 사용하지 않았으며, 순수하게 서열과 입력된 구조 데이터에 의존했습니다. 또한, 그들의 모델이 구조적 친척을 찾는 데는 뛰어나지만, 열 안정성(열에 얼마나 잘 견디는지)처럼 전체 단백질의 맥락에 의존하는 것을 예측하는 데는 완벽하지 않다는 점을 언급했습니다. 열 저항성은 보통 탑들 사이의 상호작용에 의해 결정되지, 탑 자체만으로는 결정되지 않기 때문입니다.

결론

이 논문은 단백질을 이해하기 위해 반드시 더 크고 비싼 AI의 뇌를 만들 필요는 없다는 점을 시사합니다. 대신, 더 깨끗하고 집중된 데이터를 제공하는 것이 중요할 수 있습니다. AI에게 단백질을 한 번에 하나의 "도메인" 단위로 보도록 가르침으로써, 연구진은 실제 3D 청사진이 필요한 도구들만큼이나 단백질의 형태와 기능을 잘 예측할 수 있는 작고 스마트한 모델을 만들어냈습니다. 이는 때때로 전체 그림을 보기 위해서, 세부 사항에 초점을 맞춰야 한다는 점을 상기시켜 줍니다.

기술 요약: TEDlm 및 TEDlm3D

문제 정의
ESM 제품군과 같은 기존의 단백질 언어 모델(pLM)은 일반적으로 전체 길이의 단백질 서열을 대상으로 사전 학습됩니다. 이러한 서열은 종종 여러 기능적 도메인이 무질서한 영역(disordered regions) 및 링커(linker)와 함께 혼재되어 있습니다. 저자들은 전체 길이 서열로 학습하는 것이 구조적으로 이질적인 긴 문맥 속에서 패턴을 학습해야 하기 때문에, 폴드 특이적(fold-specific) 신호를 희석시킨다고 주장합니다. 또한, 최근의 이중 모드(bimodal) 모델(예: ProstT5, SaProt)은 명시적인 구조 토큰을 포함하지만, 학습 시에 정답 구조(ground-truth structures)에 의존하거나 추론 시에 구조적 입력을 필요로 하므로, 서열 전용 시나리오에서의 적용성이 제한됩니다. 따라서 다중 서열 정렬(MSA)이나 추론 시 명시적인 구조적 입력 없이도 원격 상동성(remote homology)을 탐지하고 기능을 예측할 수 있는, 구조적으로 정보가 풍부하면서도 압축된 pLM을 개발하는 것이 과제로 남아 있습니다.

방법론
본 논문은 전체 길이 단백질이 아닌, 구조적으로 정의된 도메인 세그먼트에 대해 사전 학습된 트랜스포머 기반 단백질 언어 모델인 TEDlm과 TEDlm3D를 소개합니다.

데이터 소스: 이 모델들은 3억 6,500만 개 이상의 구조적으로 정의된 도메인을 포함하는 AlphaFold 단백질 구조 데이터베이스(AFDB) 유래 데이터셋인 **The Encyclopedia of Domains (TED)**를 활용합니다. 저자들은 중복성을 관리하기 위해 도메인들을 클러스터링하여 특정 서브셋(TED50 및 TED90)을 큐레이션했습니다.
TEDlm 아키텍처: 이 모델은 표준 BERT 스타일의 마스크드 언어 모델링(Masked Language Modeling, MLM) 목적 함수를 채택합니다. 이는 개별 도메인의 아미노산 서열만을 대상으로 사전 학습되어, 도메인 간 링커의 노이즈 없이 특정 폴드와 슈퍼패밀리에 내재된 모티프 및 장거리 의존성을 포착하는 것을 목표로 합니다.
TEDlm3D 아키텍처: 이 변형 모델은 구조적 보조 손실(structural auxiliary loss)을 추가하여 TEDlm 프레임워크를 확장합니다. 사전 학습 중에 MLM 목적 함수와 더불어, 잔기(residue) 간의 C $\alpha$ 거리를 예측하도록 최적화됩니다. 이 접촉 가이드 손실(contact-guided loss)은 어텐션 맵(attention maps)을 감독하여, 모델이 도메인 구조로부터 유도된 잔기-잔기 근접성 및 기하학적 관계를 명시적으로 인코딩하도록 유도합니다.
평가 전략: 모델들은 다음과 같은 여러 제로샷(zero-shot) 및 전이 학습 태스크에서 평가되었습니다:
- 상동성 탐지(Homology Detection): CATH S40 데이터셋(원격 상동성, <40% identity)을 사용하였으며, 지표로는 AUROC1을 사용했습니다.
- 접촉 예측(Contact Prediction): 범주형 자코비안 분석(categorical Jacobian analysis)과 어텐션 맵 프로빙(attention map probing)을 사용하여 잔기-잔기 접촉의 인코딩 여부를 평가했습니다.
- 기능 예측: CAFA3 및 Swiss-Prot 벤치마크에서 KNN 레이블 전이를 통한 제로샷 유전자 온톨로지(GO) 항(분자 기능, 생물학적 과정, 세포 구성 성분) 예측을 수행했습니다.
- 생물물리학적 특성: 효소 촉매 효율( $K_{cat}$ ), 금속 이온 결합, 열 안정성 예측을 수행했습니다.

주요 결과

상동성 탐지: 도메인 중심의 사전 학습은 모델 규모에 따른 유의미한 이득을 가져왔습니다. 650M 파라미터의 TEDlm은 CATH S40 벤치마크에서 ESM2 3B(30억 파라미터 모델) 및 정렬 기반 도구인 MMseqs2보다 우수한 성능을 보였습니다. 구조 기반 검색 도구인 Foldseek(0.53)의 성능에 근접하는 AUROC1을 달성한 것은 구조적 손실을 포함한 TEDlm3D였습니다. 특히, 160M 파라미터의 TEDlm3D 변형 모델조차 모든 서열 전용 베이스라인을 능가했습니다.
계층별 분석: 연구 결과, 테스트된 모든 모델의 중간 계층(intermediate layers)이 최종 계층보다 더 풍부한 구조 정보를 포함하고 있음을 발견했습니다. 그러나 TEDlm3D 모델은 ESM2 모델에서 최종 계층의 성능이 중간 피크보다 크게 떨어지는 것과 달리, 최종 계층에서도 강력한 구조적 신호를 유지했습니다.
접촉 예측: 어텐션 맵과 범주적 자코비안에 대한 프로빙 결과, TEDlm3D가 TEDlm 또는 ESM2보다 더 강력한 공진화(coevolutionary) 및 접촉 신호를 인코딩함을 확인했습니다. TEDlm3D의 감독된 접촉 헤드는 단일 순전파(forward pass)에서 높은 정밀도(P@L/5 $\approx$ 0.789 for 1.3B)를 달성하여, 비감독 자코비안 베이스라인을 크게 앞질렀습니다.
기능 및 생물물리학적 태스크:
- 분자 기능 (MF): TEDlm 변형 모델들은 제로샷 MF 예측에서 ESM2를 실질적으로 능가했는데, 이는 많은 분자 기능이 개별 도메인에 내재되어 있다는 가설과 일치합니다.
- 생물학적 과정 (BP) 및 세포 구성 성분 (CC): ESM2 모델들이 이 태스크들에서 우위를 유지했는데, 이는 이러한 주석들이 멀티 도메인 문맥 및 단백질 상호작용에 의존하기 때문으로 보입니다.
- 생물물리학적 특성: TEDlm과 TEDlm3D는 효소 촉매 효율 및 금속 이온 결합(도메인 수준의 활성 부위로 정의된 태스크)에서 ESM2와 대등하거나 약간 상회하는 성능을 보였습니다. 그러나 ESM2는 교차 종(cross-species) 열 안정성에서 더 나은 성능을 보였는데, 이는 종 수준의 적응이 개별 도메인 특성을 넘어 확장됨을 시사합니다.

의의 및 주장
본 논문은 **도메인 중심 사전 학습(domain-centric pretraining)**이 압축적이고 구조적으로 정보가 풍부한 단백질 언어 모델을 만들기 위한 매우 효과적인 전략이라고 상정합니다. 주요 기여는 사전 학습 데이터의 품질과 세밀함(격리된, 구조적으로 일관된 도메인)이 모델 규모 확대나 전체 길이 서열 학습의 이점보다 더 중요할 수 있음을 입증한 데 있습니다.

저자들의 주장은 다음과 같습니다:

데이터 효율성: 학습을 도메인 세그먼트로 제한함으로써, 더 작은 모델(예: 650M)이 훨씬 더 큰 모델(예: 3B)보다 원격 상동성 탐지에서 더 뛰어난 성능을 낼 수 있습니다.
구조적 귀납 편향(Structural Inductive Bias): C $\alpha$ 거리 가이드 접촉 손실(TEDlm3D)을 추가하는 것은 서열 전용 모델이 구조 기반 검색 도구인 Foldseek과 경쟁할 수 있도록 표현 공간에 구조적 지식을 효과적으로 주입합니다.
세밀함의 중요성: 성능 향상은 태스크에 따라 달라집니다. 도메인 수준의 표현은 단일 도메인에 내재된 작업(폴드 인식, 분자 기능, 촉매 효율)에는 탁월하지만, 멀티 도메인 문맥(세포 내 위치, 유기체 수준의 안정성)이 필요한 작업에는 어려움을 겪을 수 있습니다.
표현 품질: 구조적 신호는 단순히 훈련된 출력 헤드뿐만 아니라 모델의 내부 표현(어텐션 맵 및 임베딩) 내에 인코딩되어 있으며, 이는 비감독 프로브의 강력한 성능을 통해 입증되었습니다.

결론적으로, 도메인 중심 사전 학습은 추론 시 구조적 입력 없이도 구조적 및 기능적 예측 작업 전반에 걸쳐 잘 일반화되는 "압축적이고 구조적으로 정보가 풍부한 단백질 언어 모델"을 위한 실행 가능한 경로을 제공합니다.