기술 요약: 단백질 언어 모델에서 표현의 형태 이해를 위한 연구

문제 제기

진화 규모 모델링 (ESM) 계열과 같은 단백질 언어 모델 (PLM) 은 de novo 단백질 설계, 구조 예측, 기능 주석 분야에서 상당한 가능성을 입증해 왔습니다. PLM 표현이 접힘 모델에 효과적인 초기화 역할을 한다는 것은 경험적으로 알려져 있지만, 이러한 은닉 표현 내에 인코딩된 정보의 정확한 본질은 여전히 잘 이해되지 않고 있습니다. 기존 해석 가능성 연구는 주로 개별 시퀀스가 잠재 벡터로 변환되는 방식에 초점을 맞추거나, 단일 시퀀스 내의 특정 특징 (예: 결합 모티프, 공진화 통계) 을 식별하는 데 집중해 왔습니다. 그러나 이러한 접근법들은 단백질 표현의 전체 공간에 대한 기하학적 구조와 이 잠재 공간 내에서 서로 다른 단백질들이 어떻게 상호 연관되는지를 간과합니다. 또한, 표준 관행은 종종 시퀀스 차원을 평균화하는 방식으로 축소하여 전체 텐서 표현에 내재된 "형태" 정보를 폐기합니다. 본 논문은 PLM 표현 공간의 글로벌 메트릭 기하학과 구조적 특징이 인코딩되는 구체적인 컨텍스트 길이에 대한 이해의 공백을 해소하는 것을 목표로 합니다.

방법론

저자들은 두 가지 주요 수학적 접근법을 사용하여 표현 공간을 메트릭 공간에 매핑함으로써 단백질 표현의 "형태"를 분석하는 프레임워크를 제안합니다.

1. 제곱근 속도 (SRV) 표현

표현 공간의 글로벌 기하학을 분석하기 위해 저자들은 단백질 시퀀스와 해당 PLM 임베딩을 순서 있는 점 구름으로 간주합니다.

• 곡선 보간: 점 구름 (3D 구조 또는 PLM 임베딩을 나타냄) 을 2 차 스플라인으로 보간하여 $\mathbb{R}^m$ 내의 연속적인 곡선 $\gamma(t)$를 형성합니다.
• SRV 변환: 이러한 곡선을 제곱근 속도 (SRV) 표현인 $q(t) = \dot{\gamma}(t)/\sqrt{\|\dot{\gamma}(t)\|^2}$로 변환하여 무한차원 구 $S^\infty$ 위에 투영합니다.
• 몫 공간 형성: 병진 및 회전 ($SE(m)$의 등거리 변환) 에 대한 불변성을 강제하기 위해, 저자들은 특이값 분해 (SVD) 를 사용하여 두 곡선을 정렬하는 최적의 회전을 찾아 회전군 $SO(m)$을 몫으로 취합니다.
• 메트릭 공간: 이 과정은 단백질 간 거리를 계산할 수 있는 리만 기하학적 형태 공간을 생성합니다. 저자들은 이 공간을 활용하여 다음을 계산합니다.
  • 프레셰 반경: 모든 표현이 그들 자신의 프레셰 평균으로부터 가지는 평균 거리로, 형태 분포의 퍼짐 정도를 측정합니다.
  • 유효 차원: 형태 공간 매니폴드에서 접선 주성분 분석 (Tangent PCA) 을 통해 계산되며, 형태 변이의 고유 차원을 측정합니다.

2. 그래프 여과 (Graph Filtrations)

PLM 의 컨텍스트 길이 민감성을 조사하기 위해 저자들은 위상 데이터 분석 (Topological Data Analysis) 에서의 그래프 여과 접근법을 사용합니다.

• 그래프 구성: 주어진 단백질과 해당 PLM 표현에 대해 아미노산 잔기 간 유클리드 거리를 기반으로 $k$-최근접 이웃 그래프를 구성합니다.
• 여과: 이웃 수 $k$(또는 거리 임계값 $t$) 를 변화시킴으로써 그래프의 여과 (filtration) 를 생성합니다.
• 메트릭 비교: 저자들은 실제 3D 단백질 구조 그래프의 인접 행렬과 PLM 표현 그래프의 인접 행렬을 비교합니다.
• 그래프 여과 모멘트: 단백질 구조와 그 PLM 임베딩 간의 거리와, 단백질 구조와 무작위 점 구름 간의 거리의 비율로 정규화된 메트릭을 정의합니다. 이는 PLM 이 다양한 스케일 (컨텍스트 길이) 에서 구조적 근접성을 얼마나 잘 보존하는지 정량화합니다.

이 분석은 SCOPe 데이터셋에서 샘플링된 1,377 개의 단백질을 대상으로 다양한 크기의 ESM2 모델과 Ankh 모델을 통해 수행되었습니다.

주요 결과

1. PLM 형태 공간의 기하학

• 차원 확장 및 수축: 형태 공간의 유효 차원은 레이어를 따라 비선형적인 패턴을 따릅니다. 초기 레이어는 특히 대형 모델에서 차원성이 크게 확장된 후, 깊은 레이어에서 수축합니다.
• 저차원 부분 공간: 최종 레이어에서 유효 차원은 매우 낮아져 주변 임베딩 차원보다 현저히 낮습니다. 이는 PLM 이 고차원 공간을 spanning 하더라도 단백질 형태의 변이는 몇 가지 특정 형태 기술자 (descriptor) 로 설명될 수 있음을 시사합니다.
• 프레셰 반경: 프레셰 반경은 일반적으로 깊이에 따라 감소하여 표현이 형태 공간에서 더 군집화됨을 나타냅니다. 주목할 점은 모든 모델 간 형태 변이가 낮으며, 반경이 모델 크기에 따라 크게 변하지 않는다는 것입니다.
• 일반화 가능성: 이러한 확장 - 수축 패턴은 ESM2 모델과 Ankh 모델 모두에서 관찰되었으며, 이는 PLM 아키텍처의 근본적인 속성임을 시사합니다.

2. 컨텍스트 길이 민감성

• 이모달 인코딩: 그래프 여과 분석은 구조적 인코딩에서 이모달 패턴을 드러냅니다. PLM 은 두 가지 뚜렷한 스케일에서 3D 구조적 특징을 최적화하여 인코딩합니다.
  1. 즉각적인 이웃: 매우 짧은 컨텍스트 길이 (약 2 잔기) 에서.
  2. 국소 이웃: 약간 더 긴 컨텍스트 길이 (약 8 잔기) 에서.
• 레이어 의존성: 구조적 인코딩은 네트워크 전반에 걸쳐 존재하지만 최종 레이어에서는 최적화되지 않습니다. 가장 높은 구조적 충실도는 마지막 레이어 바로 이전의 레이어에서 발견됩니다.
• 클래스 변이: 서로 다른 단백질 클래스는 구조적 충실도에서 다양한 정도를 보입니다. 알파/베타 단백질은 PLM 표현과 3D 구조 간 가장 높은 유사성을 보인 반면, 소형 및 설계된 단백질은 더 뚜렷한 형태를 보입니다.
• 길이 무관성: 깊은 레이어에서는 국소 컨텍스트 구조의 인코딩이 전체 단백질 길이와 무관하게 나타납니다.

중요성과 주장

본 논문은 개별 시퀀스 분석을 넘어 표현 공간의 집단적 구조를 이해하기 위해 PLM 표현에 대한 새로운 기하학적 관점을 제공한다고 주장합니다.

• 해석 가능성: 이 연구는 명시적인 구조적 감독 없이 마스킹 언어 모델링 작업만으로 훈련되었음에도 불구하고 PLM 이 단백질 구조를 암시적으로 인코딩함을 보여줍니다. 구조가 특정 컨텍스트 길이 (2 및 8 잔기) 에서 인코딩된다는 발견은 모델이 시퀀스 예측의 부산물로서 국소 및 준국소 기하학적 제약을 학습함을 시사합니다.
• 모델 아키텍처 통찰: 유효 차원에서 관찰된 확장 - 수축 패턴은 초기 레이어의 고차원 추상화 영역과 후기 레이어의 구체적이고 의미적으로 풍부한 영역에 대한 이론과 부합합니다. 깊은 레이어에서의 낮은 유효 차원은 복잡한 단백질 접힘 작업이 소수의 형태 변환을 통해 탐색 가능함을 의미합니다.
• 접힘에 대한 실용적 함의: 저자들은 마지막 레이어의 비최적 구조적 인코딩과 이전 레이어의 높은 충실도 대비가 단백질 접힘 모델을 개선할 수 있는 잠재적 경로를 제공한다고 제안합니다. 구체적으로, 최종 레이어 자체가 아닌 바로 이전 레이어의 표현으로 접힘 모델을 초기화하는 것이 더 나은 성능을 낼 수 있습니다. 그러나 저자들은 선형 모델이나 소형 네트워크를 사용한 초기 검증 시도들이 일반화되지 않았음을 지적하며, 더 큰 모델을 통한 추가 연구가 필요하다고 강조합니다.

요약하자면, 본 논문은 PLM 표현 공간이 확장에 이어 수축을 특징으로 하는 독특한 기하학적 구조를 가지며, 이러한 표현이 특히 최종 출력 이전의 레이어에서 특정하고 짧은~중간 길이의 컨텍스트에서 단백질 구조적 특징을 가장 효과적으로 포착함을 확립합니다.