A geometric atlas of how ESM3 organizes modalities across depth

기술 요약: ESM3 양상 조직의 기하학적 지도 (A Geometric Atlas of ESM3 Modality Organization)

문제 정의

단백질 언어 모델(PLM)은 대규모 데이터셋으로부터 범용적인 표현을 학습함으로써 단백질 구조 및 기능 예측을 발전시켜 왔다. ESM3와 같은 멀티모달 모델은 아미노산 서열, 3D 구조, 이차 구조(SS8), 용매 접근성(SASA), 그리고 이산적 기능 주석을 포함한 여러 입력 채널을 하나의 잔차 스트림(residual stream)으로 합산하여 동시에 입력받는다. 기존의 해석 가능성 연구는 서열 전용 모델의 어텐션 헤드와 학습된 특징들을 조사해 왔으나, 이러한 멀티모달 아키텍처 내에서 서로 다른 입력 양상(modality)들이 어떻게 기계적으로 조직되는지에 대해서는 알려진 바가 거의 없다. 특히, 이러한 양상들이 별도의 부분 공간(subspace)을 점유하는지, 어느 깊이에서 융합되는지, 그리고 이러한 융합이 아키텍처의 산물인지 아니면 학습된 속성인지 여부는 여전히 불분명하다.

방법론

저자들은 ESM3(구체적으로 esm3-sm-open-v1 모델: 14억 개의 파라미터, 48개 트랜스포머 레이어, 1536차원 임베딩)의 깊이에 따른 양상 조직의 지도를 만들기 위해 "기하학 우선(geometry-first)" 기술적 접근 방식을 채택하였다.

실험 설계:

• 격리 및 집계: 데이터셋의 각 단백질에 대해, 모델을 다섯 가지 단일 양상 조건(서열, 구조, SS8, SASA, 기능)과 하나의 "모든 양상" 조건에 대해 각각 독립적으로 실행한다.
• 데이터 수집: 모든 레이어(1~48)에서 잔차 스트림을 읽어낸다. 표현형은 평균 풀링된 단백질 수준의 벡터로 분석되며, 일부에 대해서는 개별 잔기(residue) 수준의 활성화 값으로도 분석된다.
• 데이터셋: 주요 결과 분석에는 892개의 인간 단백질 세트가 사용되었으며, 보편성을 테스트하기 위해 12개 생물종(Eukaryota, Bacteria, Archaea를 포괄)에서 유래한 5,555개의 다양한 단백질 세트가 사용되었다. 실험적(X-ray/cryo-EM) 구조를 가진 177개의 단백질 제어 세트가 AlphaFold 예측 좌표에 대한 검증을 수행한다.
• 측정 지표:
  • 실루엣 점수(Silhouette Score): 각 레이어에서 양상 조건 간의 분리도를 측정한다.
  • 중심 커널 정렬(Centered Kernel Alignment, CKA): 쌍별 조건 간의 정렬도를 추적하여 융합 시점을 결정한다.
  • 통합 지수(Integration Index): 모든 물리적 양상에 대한 평균 쌍별 CKA 값이다.
  • 유효 랭크(Effective Rank): 표현 클라우드 내 분산의 차원을 측정한다.
  • 선형 프로브(Linear Probes): 스트림으로부터 양상 정체성을 디코딩하도록 학습된 로지스틱 프로브이다.
• 대조군: 구조 인코더는 보존하되 트렁크와 임베딩의 학습된 가중치는 초기화한 무작위 초기화 모델을 포함하여, 학습된 융합과 아키텍처적 합산 산물을 구분한다.

주요 결과

1. 물리적 양상의 날카롭고 질서 있는 융합

네 가지 물리적 양상(서열, 구조, SS8, SASA)은 입력 단계에서 서로 구별되는 부분 공간에서 시작된다. 이들은 네트워크의 전반부 동안 최대 분리 상태를 유지하며, 레이어 24 부근에서 정점 분리(실루엣 점수 ~0.42)에 도달한다. 레이어 25와 35 사이에서 급격한 전이가 발생하며, 여기서 이 양상들은 공유된 저차원 부분 공간으로 붕괴된다.

• 융합 순서: 융합은 질서 있게 일어난다. 구조 유래 양상들(구조, SS8, SASA)은 입력(레이어 0)부터 상호 정렬되어 있다. 구조로부터 유도될 수 없는 정보를 담고 있는 서열은 가장 마지막에 융합에 참여하며, 레이어 28 이후에 유의미하게 통합된다.

2. 기능적 주석의 지속적인 직교성

물리적 양상과 달리, 기능 주석 양상은 물리적 부분 공간과 결코 융합되지 않는다.

• 직교성: 기능 채널과 물리적 양상 사이의 쌍별 CKA는 모든 48개 레이어에 걸쳐 0.01–0.07 근처를 유지한다.
• 그래뉼러티 독립성: 이러한 분리는 전체 단백질 주석이 아닌 잔기 수준의 기능 주석(InterPro 유래)을 사용할 때도 유지되며, 이는 분리가 토큰화의 입도(granularity) 문제가 아니라 내용에 의한 것임을 나타낸다.
• 정보 보존: 직교성에도 불구하고 기능 정보는 손실되지 않는다. 선형 프로브는 융합된 물리적 부분 공간으로부터 효소 클래스와 폴드 클래스를 높은 정확도로 디코딩할 수 있으며, 이는 네트워크가 명시적인 기능 채널을 별도의 얇은 축에 유지하면서도 물리적 부분 공간으로 기능적 내용을 추출함을 시사한다.

3. 융합은 학습된 속성이다

동일한 아키텍처를 가진 무작위 초기화 모델은 깊이에 따른 융합을 보이지 않는다. 조건 간 분리는 높고 일정하게 유지되며, 통합 지수는 깊이에 따라 변하지 않는다. 이는 관찰된 융합이 단순히 임베딩을 합산하는 수학적 결과가 아니라 훈련의 결과임을 확인시켜 준다.

4. 등방성 없는 분산 재구성

융합은 단일 점으로의 붕괴나 등방성(isotropy)으로의 확산을 초래하지 않는다.

• 유효 랭크: 표현 클라우드의 유효 랭크는 정점 분리(레이어 24)에서 약 3으로 붕괴되었다가, 융합 구역(레이어 25–35)에서 약 85차원으로 확장된 후 다시 수축한다.
• 분산 변화: 융합은 분산을 조건 *간(between)*의 분산에서 조건 *내(within)*의 분산으로 이동시킨다. 융합 후에도 양상 정체성은 디코딩 가능하며(전체 공간에서 정확도 ~1.0), 이는 정보의 손실이 아닌 통제된 재구성이 일어나고 있음을 나타낸다.

5. 보편성 및 구조적 의존성

• 보편성: 융합 패턴은 다양한 생물종에 걸쳐 보편적이다. 연구된 모든 상위 계통(Eukaryota, Bacteria, Archaea)과 개별 생물종은 정확히 레이어 35에서 정점 융합(최소 분리)에 도달한다.
• 구조적 의존성: 융합 깊이는 단백질 길이와는 무관하지만, 구조적 무질서(disorder)에 의해 지연된다. 코일(coil) 비율이 높은 단백질은 늦게 융합되는 반면, 잘 접힌 헬릭스 단백질은 더 빨리 융합된다. 이 효과는 AlphaFold 신뢰도 점수(pLDDT)와는 상관관계가 없다.

의의 및 주장

본 논문은 단백질 언어 모델에서 멀티모달 정보가 어떻게 조직되는지에 대한 최초의 종합적인 기하학적 지도를 제공한다고 주장한다. 주요 의의는 ESM3가 입력을 두 가지 뚜렷한 체제로 조직함을 밝혀낸 데 있다:

1. 통합된 물리적 체제: 서열과 구조적 특징이 중간 깊이에서 공유된 저차원 부분 공간으로 병합되는 체제로, 이는 네트워크가 이차 구조가 해결되기 전까지 양상 특이적 특징을 구축함을 시사한다.
2. 분리된 기능적 체제: 이산적 기능 라벨이 물리적 양상과의 중복 여부와 관계없이 전체 네트워크 동안 직교하는 축에 유지되는 체제이다.

저자들은 이러한 깊이 고정된 조직이 특정 프로테옴이나 예측 좌표의 산물이 아니라 훈련된 모델의 고유한 특성이라고 결론짓는다. 연구 결과는 네트워크의 "추론"이 구조적 일관성이 확립된 후 서열 정보가 완전히 통합되는 특정 시간적 순서의 통합 과정을 포함한다는 것을 보여준다. 이 연구는 멀티모달 생물학적 모델을 위한 기계론적 해석 가능성의 기준을 세우며, 융합이 학습되고 보편적이며 질서 있는 현상임을 입증한다.