Where in the spectrum does biology live? A confound audit and a compaction law for gene embeddings of single-cell foundation models

기술 요약: "생물학은 스펙트럼의 어디에 존재하는가? 단일 세포 파운데이션 모델의 유전자 임베딩에 대한 교란 감사 및 압축 법칙"

문제 제인 (Problem Statement)
단일 세포 파운데이션 모델(scFMs)은 미세 조정(fine-tuning) 없이도 생물학적 구조(예: 세포 내 구획, 단백질 복합체, 경로)를 복구하는 데 유용함을 입증한 유전자 벡터 임베딩을 생성한다. 최근 문헌들은 임베딩의 주요 스펙트럼 축(leading spectral axes)이 특정 생물학적 특성(예: 국소화)에 따라 유전자를 조직한다고 제안해 왔다. 그러나 자연어 처리(NLP)에서 주요 임베딩 방향이 의미론적 정보보다는 토큰 빈도를 인코딩하는 경우가 많다는 교훈에 기반하여, 본 논문은 scFM 유전자 임베딩의 주요 축이 생물학적 의미보다는 기술적 공변량(technical covariates), 구체적으로는 유전자 발현량(abundance)과 검출 폭(detection breadth)을 인코딩하는지 조사한다. 또한, 본 논문은 선행 연구에서 확인된 "저차원 경계(low-rank boundary)"(예: rank 64)가 보편적인 생물학적 속성인지 아니면 모델 특유의 인위적 결과(artifact)인지에 대해 의문을 제기한다.

방법론 (Methodology)
본 연구는 8개의 공개된 모델(발현 데이터로 학습된 7개의 단일 세포 트랜스포머: scGPT, Geneformer 변형들, AIDO.Cell, scFoundation, tGPT 및 네거티브 컨트롤로 사용된 단백질 언어 모델 ESM2-15B)의 정적 유전자-토큰 임베딩 행렬을 분석한다. 모든 분석은 공통된 17,846개 유전자로 제한된다.

방법론은 크게 두 부분으로 구성된다:

1. 교란 감사 (Part A):

   • 스펙트럼 회귀 (Spectral Regression): 저자는 임베딩 행렬의 모든 스펙트럼 축을 두 가지 풍부도 공변량(평균 발현 수준 및 검출 폭: 유전자가 검출되는 세포 유형의 비율)의 유연한 3차 B-스플라인 기저(cubic B-spline basis)에 대해 회귀 분석한다. 각 축의 $R^2$를 계산하여 풍부도가 설명하는 분산을 정량화한다.
   • 선형 제거 (Linear Erasure): 영공간 투영(nullspace projection, 스플라인 기저에 대해 잔차를 구함)을 사용하여 임베딩 행렬에서 풍부도 하위 공간을 선형적으로 제거하고, 재검색 벤치마크를 다시 실행한다.
   • 풍부도 매칭 네거티브 (Abundance-Matched Negatives): 네거티브 예시를 풍부도와 검출 폭 측면에서 포지티브 예시와 일치하도록 재구성된 벤치마크를 구축한다. 이는 모델이 우연히 풍부도 점수에만 의존할 경우의 성능을 보장한다.
   • 벤치마크: 5가지 관계 유형을 평가한다: 세포 내 국소화, 복합체 멤버십, 경로 멤버십, 조절자-타겟 연결, 그리고 의도적으로 교란된 공발현(co-expression) 컨트롤.

2. 압축 법칙 (Part B):

   • 대역폭 정의 ($k^*$): 각 관계와 모델에 대해, 모델의 최대 검색 성능(천장값, ceiling)의 95%를 복구하는 데 필요한 최소한의 주요 스펙트럼 축의 수인 $k^*$를 정의한다.
   • 분산 분해 (Variance Decomposition): $\log_2(k^*)$에 대해 "관계(relation)"와 "모델(model)"을 요인으로 하는 이원 배치 분산 분석(two-way ANOVA)을 수행하여, 필요한 대역폭이 생물학의 속성(모든 모델에서 일관됨)인지 아니면 모델 아키텍처의 속성인지 결정한다.
   • 곡선 분석 (Curve Analysis): 압축 곡선을 신장 지수 함수(stretched exponential function)에 피팅하여, 유지된 랭크(rank)에 따라 성능이 어떻게 확장되는지 특징짓는다.

주요 결과 (Key Results)

• 주요 축에서의 풍부도 지배력: 카운트 기반으로 학습된 6개 모델의 경우, 주요 스펙트럼 축 하나가 풍부도에 의해 지배되며 ($R^2 = 0.51–0.76$), 이는 순열 널 모델(permutation null)을 유의미하게 상회한다. 발현 카운트를 본 적이 없는 단백질 언어 모델(ESM2)은 미미한 풍부도 로딩($R^2 \approx 0.009$)을 보인다. 이 로딩은 매우 집중되어 있으며, 축 64를 넘어서면 풍부도 설명력이 0.01 미만으로 떨어진다.
• "All-But-The-Top" 효과: 상위 2~4개의 스펙트럼 축을 삭제하면, 풍부도가 매칭된 네거티브 조건 하에서 큐레이션된 생물학적 관계(복합체, 경로)에 대한 검색 성능이 향상되는 반면, 공발현 컨트롤에 대한 성능은 하락한다. 이는 워드 임베딩에서 관찰된 "all-but-the-top" 현상을 재현한다.
• 생물학적 신호의 위치: 대역 제한된 검색(band-limited retrieval)은 스펙트럼의 최상단이 아니라 $[32, 64)$ 대역에서 정점을 찍는다. 주요 축들은 주로 풍부도를 위한 "장부 기록(bookkeeping)" 역할을 하며, 생물학적 구조는 스펙트럼의 중간 부분에 존재한다.
• 교란의 범위:
  • 공발현 (Co-expression): 풍부도만으로도 충분히 해결 가능하다. 풍부도를 통제하면 검색 성능이 붕괴된다.
  • 복합체/경로 (Complex/Pathway): 표준 프로토콜에서 나타나는 겉보기 검색 마진(margin)의 약 1/3은 풍부도에 기인한다.
  • 국소화 (Localization): 쌍별(pairwise) 검색은 약하고 정보력이 거의 없다. 그러나 지도 학습 프로브(supervised probe)를 통해 세포 구획 정보가 실제이며 풍부도에 의한 것이 아님을 확인했다. 다만, 이 정보는 단일한 지배적 축이 아니라 많은 축(수십 개)에 걸쳐 분산되어 있다.
• 모델별 대역폭: $k^*$가 생물학의 보편적 속성이라는 가설은 기각되었다. $\log_2(k^*)$의 분산 분해에서 "모델" 요인은 "관계" 요인만큼 혹은 그 이상의 분산을 설명한다 (예: 풍부도 매칭 조건 하에서 관계 $\eta^2 = 0.17$ 대비 모델 $\eta^2 = 0.62$). 절대적인 압축 예산은 아키텍처 간에 전이되지 않는다.
• 재현 가능한 순서: 절대적인 $k^*$ 값은 모델마다 다르지만, 대역폭에 따른 관계의 순서는 아키텍처 전반에 걸쳐 재현 가능하다 (Kendall's $W = 0.64$). 공발현과 같은 관계는 더 적은 축을 필요로 하는 반면, 복합체 멤버십과 조절자-타겟 연결은 더 많은 축을 필요로 한다.
• Rank 64의 충분성: 랭크 64 절단은 대부분의 관계에서 평균적으로 85–95%의 천장값을 유지하지만, 이것이 손실 없는 것은 아니다. 복합체 멤버십 및 TF-타겟 검색의 경우, 최악의 시나리오에서 천장값의 13–26%를 잃을 수 있다.

의의 및 주장 (Significance and Claims)
본 논문은 단일 세포 파운데이션 모델의 스펙트럼 축을 해석하기 위한 필수적인 재교정(recalibration)을 제공한다고 주장한다. 저자는 주요 축에 기반한 "생물학적 좌표계" 주장은 반드시 풍부도 회귀 지표($R^2$)와 풍부도 매칭 네거티브 하에서의 성능 측정을 동반하여, 생물학적 신호와 기술적 공변량을 구분해야 한다고 주장한다.

저차원 압축과 관련하여, 본 논문은 보편적인 생물학적 압축 법칙이라는 개념을 반박한다. 비록 서로 다른 관계의 상대적 어려움은 모델 간에 일관되지만, 이를 포착하기 위해 필요한 절대적인 축의 수는 모델 의존적이라는 것이다. 따라서 실무자들은 고정된 랭크(예: 64)가 모든 관계와 모든 모델에 충분하다고 가정해서는 안 되며, 대신 관심 있는 관계에 대한 대역폭을 직접 측정해야 한다. 저자는 교란 통제(제거 및 매칭)가 일관되게 필요한 대역폭을 증가시킨다는 점을 강조하며, 이는 기존의 저차원 충분성 추정치가 지나치게 낙관적이었을 수 있음을 시사한다.

결론적으로, "실행 가능한 저차원 경계(viable low-rank boundary)"는 데이터의 상수(constant)가 아니라, 관계와 모델에 따라 측정되어야 하는 트레이드오프 관계이다. 저자는 풍부도 회귀와 매칭 네거티브와 같은 교란 통제 방법이 유전자 임베딩의 향후 평가를 위한 저렴하고 기본이 되는 체크리스트로 제시된다.