Do Single-Cell Models Learn Real Biology? An Empirical Analysis of Physical Interaction Signal in Pretrained scGPT Gene Embeddings

기술 요약: 사전 학습된 scGPT 유전자 임베딩 내 물리적 상호작용 신호에 대한 경험적 분석

문제 정의
scGPT와 같은 단일 세포 파운데이션 모델(scFM)은 수백만 개의 전사체를 학습하여 재사용 가능한 구조를 배우지만, 이들의 내부 표현(representation)이 명시적인 학습 레이블로 제공되지 않은 생물학적 관계를 포함하고 있는지 여부는 여전히 불분명하다. 기존의 벤치마크는 모델이 다운스트림 작업(예: 세포 유형 주석)을 위해 그 표현을 어떻게 사용할 수 있는지, 또는 단순한 베이스라인보다 성능이 우수한지를 테스트하는 데 집중한다. 그러나 이러한 작업들은 모델의 정적 가중치가 특정 생물학적 구조, 즉 물리적 단백질-단백질 상호작용(PPI)을 인코딩하고 있다는 것을 결정적으로 증명하지는 못한다. 본 논문은 좁고 통제된 질문을 다룬다: 사전 학습된 scGPT 모델의 정적 유전자-토큰 임베딩이 정교하게 매칭된 비상호작용 유전자 쌍보다 독립적으로 큐레이션된 물리적 단백질 상호작용의 순위를 더 높게 매기는가?

연구 방법론
본 연구는 추가적인 미세 조정(fine-tuning)이나 추가 학습 없이, 공식적인 전체 인간 대상 scGPT 체크포인트를 사용하여 엄격하고 레이블이 없는 평가를 수행한다.

• 데이터 소스:
  • 모델: 사전 학습된 scGPT 체크포인트에서 추출한 512차원 유전자-토큰 임베딩 행렬.
  • 양성 쌍 (Ground Truth):
    • BioGRID 5.0.259: 다중 검증된 인간 물리적 상호작용(여러 실험 체계 또는 출판물에 의해 지지됨) 89,187개.
    • STRING v12: 세 가지 신뢰도 임계값(400, 700, 900)에서 복제를 위해 사용된 물리적 연결로, 각각 207,943개, 85,452개, 44,484개의 쌍을 생성함.
  • 음성 쌍 (대조군): 모든 양성 쌍에 대해 "비-에지(non-edge)"를 샘플링하였다. 결정적으로, 이 음성 쌍들은 **차수 매칭(degree-matched)**되었다. 즉, 한 엔드포인트는 유지하되 다른 하나는 허브 상태가 지름길(shortcut)로 작용하는 것을 방지하기 위해 동일한 차수 계층(총 20개 계층) 내의 유전자로 교체하였다.
• 표현 처리:
  • 기본 분석은 모델의 학습된 LayerNorm 파라미터에 의해 변환되고 단위 길이로 정규화된 토큰 벡터($z_g$)를 사용하였다.
  • 민감도 분석에서는 원시 토큰(raw tokens), 중심화된 토큰(centered tokens), 그리고 무작위 512차원 가우시안 벡터를 대조군으로 테스트하였다.
• 평가 지표:
  • 유사도 점수: 유전자 쌍 임베딩 간의 코사인 유사도.
  • 판별력: ROC-AUC(Receiver Operating Characteristic Curve 아래 면적) 및 AP(Average Precision).
  • 불확실성 추정: 유전자-유전자 간의 의존성을 고려하기 위해, 표준 쌍 수준 부트스트래핑 대신 "유전자-블록 잭나이프(gene-block jackknife)" 방식(특정 유전자 블록에 인접한 쌍을 삭제)을 사용하여 95% 신뢰 구간을 계산하였다.

주요 결과
연구 결과, 사전 학습된 scGPT 임베딩의 정적 기하학 구조는 물리적 단백질 상호작용의 재현 가능한, 비록 미미하지만 유의미한 신호를 포함하고 있음을 발견하였다.

1. BioGRID 성능:

   • 상호작용하는 쌍은 차수가 매칭된 비-에지보다 높은 코사인 유사도를 보였다 (평균: 0.090 vs. 0.055).
   • ROC-AUC: 0.581 (95% CI: 0.573–0.589).
   • Average Precision: 0.604.
   • 농축도는 단계적이었다: 관찰된 상호작용 중 상위 5% 점수에 포함된 비율은 80.1%였으며, 가장 낮은 유사도 데사일(decile)에서 가장 높은 데사일로 갈수록 단조 증가하였다.

2. STRING 신뢰도 구배(Gradient):

   • STRING 데이터베이스의 신뢰도 임계값이 높아짐에 따라 판별력이 단조롭게 개선되었으며, 이는 높은 신뢰도의 생물학적 증거가 더 강한 임베딩 신호와 상관관계가 있다는 가설을 뒷받침한다.
   • ROC-AUC: 0.561 (임계값 400) $\rightarrow$ 0.657 (임계값 700) $\rightarrow$ 0.686 (임계값 900).
   • 양성 쌍의 평균 코사인 유사도는 신뢰도가 높아짐에 따라 0.097에서 0.148로 증가한 반면, 음성 쌍의 유사도는 안정적으로 유지되었다 (~0.05–0.06).

3. 강건성 및 대조군:

   • 표현 민감도: 원시 토큰 벡터(BioGRID에 대해 ROC-AUC 0.582)를 사용했을 때와 LayerNorm 변환 벡터를 사용했을 때의 결과가 거의 동일했다. 중심화(Centering)는 성능을 약간 감소시켰으나 신호는 유지되었다.
   • 무작위 대조군: 무작위 512차원 벡터는 우연 수준의 성능(ROC-AUC $\approx$ 0.50)을 보였으며, 이는 해당 신호가 scGPT의 학습된 기하학에 특이적임을 확인시켜 준다.
   • 샘플링 안정성: 결과는 10번의 독립적인 음성 샘플링 추출에서도 안정적으로 유지되었다.
   • 차수 계층화: 신호는 모든 유전자 차수 사분위수에서 지속되었으나, BioGRID 성능은 낮은 차수 사분위수에서 가장 강했고 가장 높은 차수 사분위수에서는 약해졌다.

의의 및 주장
본 논문은 **생물학적 함유(biological containment)**에 대해 정밀하고 겸허한 주장을 하며 결론을 맺는다:

• 함유 vs. 인과성: 결과는 사전 학습된 단일 세포 모델의 정적 토큰 기하학이 물리적 상호작용 구조를 포함하고 있다는 직접적인 증거를 제공한다. 이는 모델이 생물학적 관계를 "포함"하고 있다는 주장을 뒷받침한다. 그러나 저자들은 이것이 모델이 인과적 이해, 조절 로직, 또는 다운스트림 상호작용 예측 작업에서 감독 학습된 모델보다 뛰어난 성능을 보일 것임을 증명하는 것은 아니라고 명시적으로 밝힌다.
• 유용성: 효과 크기(ROC-AUC ~0.58–0.69)는 단독 상호작용 예측기로서 사용하기에는 불충분하다. 저자들은 이 기하학이 전수 분류(exhaustive classification)보다는 우선순위 지정(상위 꼬리 부분의 농축)에 더 유용하다고 제안한다.
• 메커니즘: 가능한 메커니즘은 상호작용하는 단백질들이 공유된 복합체 및 경로에 참여하여, 다양한 세포 상태에 걸쳐 공발현(co-expression) 패턴을 형성한다는 것이다. 자가 지도 학습 기반의 전사체 예측 작업은 상호작용 데이터베이스를 전혀 보지 않고도 이러한 반복되는 의존성을 토큰 기하학으로 압축한다.
• 평가 프레임워크: 본 논문은 3단계 평가 시퀀스를 옹호한다: (1) 표현이 특정 생물학적 관계를 포함하는지 테스트한다; (2) 다운스트림 판독(readout)이 이를 활용하는지 테스트한다; (3) 전체 시스템을 작업 특화 베이스라인과 비교한다. 이는 미미한 표현적 결과를 일반적인 생물학적 지능으로 과장하는 것을 방지한다.

요약하자면, 본 연구는 "표현 속에 실제 생물학이 존재함"을 입증하지만, 그 강도와 유용성은 작업별로 측정되어야 하며, 생물학적 구조의 존재와 모델이 이를 활용하여 우수한 다운스트림 성능을 내는 능력 사이를 구분해야 함을 보여준다.