Multi-Modal Protein Representation Learning with CLASP

이 논문은 아미노산 서열, 3 차원 구조, 그리고 생화학적 기능에 대한 텍스트 설명이라는 세 가지 모달리티를 통합하여 단백질 표현 학습을 수행하는 새로운 프레임워크인 CLASP 를 제안하고, 이를 통해 기존 최첨단 모델보다 우수한 제로샷 분류 및 검색 성능을 입증했습니다.

핵심

🍳 CLASP: 단백질을 완벽하게 이해하는 '삼중 요리사'

단백질은 우리 몸의 일을 하는 아주 작은 기계들입니다. 과학자들은 이 기계들을 이해하기 위해 세 가지 다른 관점을 가지고 있습니다. 하지만 기존에는 이 세 가지를 따로따로 공부했죠.

1. 재료 (아미노산 서열): 단백질이 어떤 순서로 쌓여 있는지 (예: "소금, 후추, 고기" 순서).
2. 모양 (3D 구조): 그 재료가 어떻게 접히고 뭉쳐서 3D 모양을 이루는지 (예: "소금과 후추가 섞인 뒤 고기 위에 얹혀진 구체적인 형태").
3. 설명서 (텍스트): 이 단백질이 어떤 일을 하는지에 대한 글자 설명 (예: "이 기계는 소화를 돕습니다"라는 설명).

기존의 AI 모델들은 이 중 하나나 두 가지만 보고 추측을 했습니다. 하지만 CLASP는 이 세 가지를 동시에 보고, 서로 연결해 주는 마법 같은 요리사입니다.

🧩 CLASP 가 어떻게 작동하나요? (세 가지 시선)

CLASP 는 세 가지 전문가 팀을 한 팀으로 묶어 함께 일하게 합니다.

1. 건축가 (구조 분석가):

   • 단백질의 3D 구조 (PDB 파일) 를 보고, 마치 건축가가 건물의 설계도를 보듯 기하학적 형태를 분석합니다.
   • 이 팀은 단백질이 회전하거나 이동해도 모양이 변하지 않는다는 점을 중요하게 여깁니다. (예: 건물을 돌려도 건물이 변하지 않는 것처럼요.)

2. 언어학자 (서열 분석가):

   • 단백질의 아미노산 서열 (문자열) 을 분석합니다. 마치 책의 글자를 읽듯, 어떤 순서로 글자가 이어지는지 파악합니다.

3. 해석관 (텍스트 분석가):

   • 과학 논문이나 데이터베이스에 적힌 자연어 설명을 읽습니다. "이 단백질은 암 치료에 쓰인다" 같은 문맥을 이해합니다.

CLASP 의 핵심 비법:
이 세 팀은 서로 다른 언어를 쓰지만, CLASP 는 그들을 **하나의 공통된 언어 (공유된 공간)**로 번역해 줍니다.

• "이 3D 모양 (건축가)"과 "이 글자 순서 (언어학자)"와 "이 설명서 (해석관)"는 같은 단백질을 가리키고 있다는 것을 학습시킵니다.
• 마치 **세 개의 다른 지도 (지형도, 거리명, 위성사진)**가 모두 같은 '서울시'를 가리키고 있다는 것을 학습시키는 것과 같습니다.

🏆 CLASP 의 놀라운 성과

이 모델을 실험해 보니 기존 모델들보다 훨씬 뛰어난 결과를 보였습니다.

• 눈감고도 맞추기 (Zero-shot):

  • CLASP 는 새로운 단백질이 들어와도, 그 구조만 보고 어떤 설명서가 맞는지, 혹은 어떤 아미노산 서열인지 정확히 맞춰냅니다. 마치 요리사의 손맛을 보고 "이건 소고기 요리구나"라고 바로 알아맞히는 것과 같습니다.
  • 기존 모델들은 구조만 보고 설명을 맞추거나, 설명만 보고 구조를 맞추는 데서 많이 틀렸지만, CLASP 는 세 가지를 모두 연결했기 때문에 훨씬 정확합니다.

• 가족 찾기 (클러스터링):

  • CLASP 는 단백질들을 가족 (Family) 단위로 잘 묶어냅니다. 같은 기능을 하는 단백질들은 서로 가까이 모여 있고, 다른 기능의 단백질들은 멀리 떨어집니다. 이는 CLASP 가 단백질의 '진짜 본질'을 이해하고 있다는 증거입니다.

• 검색의 달인:

  • "소화 효소"라고만 검색해도, 수만 개의 단백질 중에서 정확한 아미노산 서열을 찾아냅니다. 심지어 전문가가 손으로 쓴 메모나 학술지 문장처럼 복잡한 설명에서도 정확한 단백질을 찾아냅니다.

💡 왜 이것이 중요한가요?

기존의 AI 는 "단백질의 모양"과 "단백질의 설명"이 서로 다른 세계라고 생각했습니다. 하지만 CLASP 는 **"모양이 기능을 결정한다"**는 생물학의 기본 원리를 AI 에 심어주었습니다.

• 약물 개발: 새로운 약을 만들 때, 특정 모양을 가진 단백질을 찾아내거나, 특정 기능을 하는 단백질을 설명만으로 찾아낼 수 있어 시간이 단축됩니다.
• 의미 있는 연결: 단순히 글자만 맞추는 게 아니라, 단백질의 물리적인 구조와 그 기능이 어떻게 연결되는지 깊이 이해하게 해줍니다.

📝 한 줄 요약

CLASP는 단백질의 모양 (구조), 순서 (서열), **설명 (텍스트)**를 동시에 보고, 이 세 가지를 하나로 묶어 단백질이 "누구이며, 무엇을 하는지"를 완벽하게 이해하는 초지능 번역가입니다.

이제 우리는 단백질이라는 복잡한 puzzle 을 세 개의 다른 조각으로 나누어 보지 않고, 하나로 통합된 그림으로 볼 수 있게 되었습니다!

기술 요약

논문 요약: CLASP (Contrastive Language–Amino acid Sequence–Structure Pretraining)

1. 문제 정의 (Problem)

단백질은 단순히 아미노산 서열 (1 차원) 로만 표현되는 것이 아니라, 3 차원 구조와 생화학적 기능에 대한 자연어 설명이 결합된 복잡한 존재입니다. 기존 연구들은 다음과 같은 한계를 가지고 있었습니다:

• 이중 모달 (Bimodal) 접근의 한계: 대부분의 기존 모델은 서열과 구조, 혹은 서열과 텍스트 중 두 가지 모달리티만 결합했습니다. 특히 3 차원 구조 정보는 단백질의 기능과 원격 동질성 (remote homology) 을 이해하는 데 결정적이지만, 많은 언어 기반 모델에서 구조 정보가 명시적으로 통합되지 않았습니다.
• 정보의 단절: 서열, 구조, 그리고 자연어 (기능 설명, 질병 연관성 등) 는 서로 다른 차원의 정보를 담고 있으며, 이를 통합하여 단백질의 포괄적인 표현 (Representation) 을 학습하는 통합 프레임워크가 부족했습니다.

이러한 배경 하에, 서열 (Sequence), 구조 (Structure), 텍스트 (Text) 세 가지 모달리티를 단일 모델에서 통합하여 단백질의 의미론적, 구조적, 기능적 특성을 모두 포착하는 새로운 접근법이 필요했습니다.

2. 방법론 (Methodology)

저자들은 CLASP (Contrastive Language–Amino acid Sequence–Structure Pretraining) 라는 통합 삼중 모달 (Tri-modal) 프레임워크를 제안했습니다.

• 아키텍처 구성:
  1. 구조 인코더 (Structure Encoder):
     • PDB 파일을 그래프 형태로 변환 (Graphein 라이브러리 사용). 노드는 원자 (Meiler 기술자 및 3D 좌표 포함), 에지는 공간적 거리로 정의됩니다.
     • E(3)-불변 그래프 신경망 (EGNN) 을 사용하여 3D 구조를 인코딩합니다. EGNN 은 회전 및 병진 변환에 불변 (invariant) 하여, 단백질의 고유한 기하학적 형태만 학습하도록 보장합니다.
  2. 서열 및 텍스트 인코더 (Sequence & Text Encoders):
     • 서열: 사전 학습된 단백질 언어 모델 (pLM) 인 ProtT5를 사용하여 아미노산 서열 임베딩 (1024 차원) 을 생성합니다.
     • 텍스트: 생물학 특화 대형 언어 모델 (LLM) 인 BioGPT를 사용하여 UniProt 의 기능 설명 및 이름 텍스트를 임베딩 (1024 차원) 합니다.
     • 참고: ProtT5 와 BioGPT 는 고정 (Frozen) 상태로 사용되며, CLASP 는 학습 가능한 선형 프로젝션 레이어를 통해 이들을 조정합니다.
  3. 정렬 모듈 (Alignment Module):
     • 세 가지 모달리티의 임베딩을 공통의 512 차원 벡터 공간으로 매핑합니다.
     • 3 차원 대비 학습 (3D Contrastive Learning): CLIP(Contrastive Language-Image Pre-training) 및 CG3D(3D 확장) 에서 영감을 받았습니다. 동일한 단백질에 해당하는 (구조, 서열, 텍스트) 세 쌍의 임베딩은 가깝게, 다른 단백질의 임베딩은 멀어지도록 손실 함수를 최적화합니다.
     • 손실 함수는 세 가지 대칭적인 교차 엔트로피 대비 손실 (서열 - 구조, 구조 - 텍스트, 서열 - 텍스트) 과 정규화 항으로 구성됩니다.

3. 주요 기여 (Key Contributions)

1. 최초의 통합 삼중 모달 프레임워크: 단백질의 서열, 3D 구조, 자연어 설명을 동시에 학습하여 통합 임베딩 공간을 구축한 최초의 모델 중 하나입니다.
2. 기하학적 깊이 학습과 언어 모델의 융합: E(3)-불변 GNN 을 통해 구조적 정보를 정밀하게 포착하고, 이를 대규모 언어 모델의 의미론적 정보와 대비 학습을 통해 정렬했습니다.
3. 제로샷 (Zero-shot) 능력 입증: 추가적인 미세 조정 (Fine-tuning) 없이도 구조 - 서열 매칭, 구조 - 텍스트 매칭, 텍스트 - 서열 검색 등 다양한 크로스 모달 태스크에서 우수한 성능을 발휘함을 증명했습니다.
4. 생물학적 의미 보존: 학습된 임베딩이 단백질 가족 (Family) 및 기능 클래스별로 명확하게 군집화 (Clustering) 됨을 확인하여, 모델이 단순한 통계적 패턴이 아닌 생물학적으로 유의미한 관계를 학습했음을 보여줍니다.

4. 결과 (Results)

• 서열 - 구조 정렬 (Sequence-Structure Alignment):
  • CLASP 는 Progres, COLLAPSE, ProstT5 등 기존 최첨단 모델들을 압도적으로 능가했습니다.
  • AUROC: 0.976 (기존 모델 대비 약 5~7% 향상), MCC: 0.841.
  • 구조와 서열의 매칭에서 CLASP 는 명확한 결정 경계를 가지며, 다른 모델들은 클래스 간 분포가 겹치는 경향이 있었습니다.
• 텍스트 - 구조 정렬 (Description-Structure Alignment):
  • 단백질의 기능 설명과 3D 구조를 매칭하는 작업에서도 CLASP 가 가장 높은 정확도 (AUROC 0.858) 를 기록했습니다.
• 텍스트 기반 서열 검색 (Text-to-Sequence Retrieval):
  • 35,911 개의 후보 서열 중 주어진 텍스트 설명 (UniProt, 학술 논문, 자유 형식 설명) 에 해당하는 서열을 찾는 작업에서 98% 이상의 상위 순위 (Percentile Rank) 를 달성했습니다.
  • 특히 훈련 데이터와 다른 스타일 (Freehand description) 의 텍스트에서도 강력한 일반화 성능을 보였습니다.
• 군집화 성능 (Clustering Performance):
  • CLASP 의 임베딩은 키네이스, GPCR, 이온 채널 등 5 가지 주요 단백질 가족별로 Silhouette Score, Calinski-Harabasz Index 등 다양한 지표에서 기존 모델보다 우수한 군집화를 보여주었습니다.
• Ablation Study:
  • EGNN 을 일반 GNN 으로 대체하거나 삼중 모달 학습을 이중 모달 (CLIP 스타일) 로 변경할 경우 성능이 크게 저하되어, 기하학적 인코더와 삼중 모달 학습의 시너지가 필수적임을 입증했습니다.

5. 의의 및 결론 (Significance)

• 해석 가능한 단백질 이해: CLASP 는 단백질의 물리적 결정 요인 (구조) 과 고차원적인 생물학적 문맥 (자연어 설명) 을 연결하여, 단백질 기능에 대한 더 해석 가능하고 포괄적인 이해를 가능하게 합니다.
• 범용 임베딩 프레임워크: 특정 태스크에 대한 지도 학습 없이도 (Zero-shot) 다양한 응용 (단백질 주석, 신약 개발, 자동화된 문헌 분석 등) 에 적용 가능한 범용 임베딩을 제공합니다.
• 미래 방향: 이 연구는 단일 모델 내에서 분자 정보와 의미론적 정보를 통합하는 새로운 패러다임을 제시하며, 향후 진화적 맥락이나 조직 특이적 발현 데이터와 같은 추가 모달리티 통합의 기초를 마련했습니다.

결론적으로, CLASP 는 단백질 과학 분야에서 구조, 서열, 텍스트 정보를 통합하여 더 강력하고 일반화 가능한 표현 학습을 가능하게 하는 획기적인 모델입니다.