Mechanistic Interpretability of Biological Foundation Models: An Empirical Analysis of scGPT Gene-Embedding Geometry

기술 요약: 생물학적 파운데이션 모델의 기계론적 해석 가능성 (Mechanistic Interpretability)

문제 정의
scGPT와 같은 생물학적 파운데이션 모델(biological foundation models)은 구조화된 생물학적 지식을 학습하고 있다고 널리 주장되지만, 해석 가능성 연구는 내부 표현(internal representations)에 대한 직접적인 분석보다는 정성적인 사례나 다운스트림 태스크의 성능 점수에 의존하는 경우가 많습니다. 세포 특이적 맥락화(cell-specific contextualization)가 일어나기 전, 모델의 정적 내부 파라미터 내에 특정 물리적 단백질-단백질 상호작용과 같은 알려진 생물학적 구조가 인코딩되어 있는지에 대한 이해에는 중요한 격차가 존재합니다. 본 논문은 다음과 같은 좁은 범위의 경험적 질문을 다룹니다: scGPT의 학습된 유전자 토큰 임베딩 공간(gene-token embedding space)은 인간 유전자 산물 간의 알려진 물리적 상호작용 구조를 인코딩하고 있는가?

연구 방법론
본 연구는 공공 scGPT 휴먼 체크포인트를 대상으로 경험적 분석을 수행하며, 특히 트랜스포머 레이어의 계산이나 세포 특이적 발현값이 적용되기 전의 정적 입력 유전자 토큰 임베딩 행렬(60,694개 유전자, 512차원)을 분리하여 분석합니다.

1. 데이터 소스:
   • 모델: scGPT 휴먼 체크포인트 (Cui et al., 2024a).
   • 상호작용 정답(Ground Truth): 두 가지 독립적인 데이터베이스가 사용되었습니다:
     • STRING v12.0: 유전자 심볼로 매핑된 인간 물리적 연결(physical links), 18,441개 유전자에 걸친 726,387개의 고유 쌍 생성.
     • BioGRID 5.0.259: 인간 물리적 상호작용, 11,250개 유전자에 걸친 89,187개의 고유 쌍 생성.
2. 실험 설계:
   • 코사인 유사도 분석 (Cosine Similarity Analysis): 저자들은 알려진 물리적 상호작용 파트너의 임베딩 벡터와 비상호작용 쌍 사이의 쌍별 코사인 유사도를 계산했습니다.
   • 네거티브 샘플링 (Negative Sampling): "허브(hub)" 편향(연결성이 높은 유전자가 인위적으로 유사도를 높일 수 있는 현상)을 제어하기 위해, 양성 집합과 엔드포인트 빈도(endpoint-frequency)를 일치시킨 동일한 유전자 우주 내에서 네거티브 쌍을 샘플링했습니다.
   • 베이스라인 (Baselines): 신호가 샘플링 절차나 전역적 기하학(global geometry)의 인위적 결과물이 아님을 확인하기 위해, 임베딩 행을 무작위로 섞는 유전자 라벨 순열(permutation) 베이스라인을 설정했습니다.
   • 계층화 (Stratification): STRING 상호작용을 신뢰도 점수 빈(bin) (≥400, ≥700, ≥900)에 따라 분석하여 도즈-리스폰스(dose-response) 관계를 테스트했습니다.
   • 최근접 이웃 농축 (Nearest-Neighbor Enrichment): 임베딩 공간 내의 최근접 이웃 중 알려진 상호작용 파트너의 정밀도(Precision@k, k=10, 50, 100)를 계산하고, 이를 유전자 차수(degree)에 기반한 무작위 기대치와 비교했습니다.

주요 결과
분석 결과, scGPT의 정적 임베딩이 물리적 상호작용 정보를 포함하고 있다는 일관되지만 중간 정도 수준의 신호가 발견되었습니다:

• 엣지 복구 (Edge Recovery, AUROC): 알려진 물리적 상호작용 파트너는 매칭된 비엣지(nonedges)보다 유의미하게 높은 코사인 유사도를 보였습니다.
  • STRING: 신뢰도가 높아짐에 따라 AUROC가 0.622(점수 ≥400)에서 0.704(점수 ≥900)까지 증가했습니다.
  • BioGRID: AUROC는 0.589였습니다.
  • 베이스라인: 순열 베이스라인은 일관되게 ~0.50으로 돌아갔으며, 이는 신호가 학습된 공간 내의 유전자 정체성에 의존함을 확인시켜 줍니다.
• 단조성 (Monotonicity): STRING 신뢰도 점수가 상승함에 따라 평균 임베딩 코사인이 단조 증가했습니다 (비엣지 0.011에서 점수 900–1000 엣지 0.111로). 이는 기하학적 구조가 단순히 이진(binary) 엣지 상태가 아니라 상호작용 신뢰도를 추적함을 시사합니다.
• 최근접 이웃 농축 (Nearest-Neighbor Enrichment): 국소적 이웃 구조가 물리적 파트너에 대해 농축되어 있습니다.
  • STRING 점수 ≥700의 경우, Precision@10은 무작위 기대치 대비 52.9배 농축을 보였습니다.
  • BioGRID의 경우, Precision@10은 17.3배 농축을 보였습니다.
  • 높은 농축 비율에도 불구하고, 절대적인 정밀도는 여전히 낮습니다 (예: STRING ≥700의 경우 상위 10개 이웃 중 기록된 물리적 파트너는 5% 미만임).

주요 기여

• 직접적인 경험적 증거: 본 논문은 단일 세포 파운데이션 모델(scGPT)의 정적 입력 임베딩 레이어가 세포 맥락화된 활성화와 무관하게 이미 탐지 가능한 물리적 상호작용 구조를 인코딩하고 있다는 정량적 증거를 제공합니다.
• 수렴적 검증 (Convergent Validation): 이 신호는 두 가지 독립적인 상호작용 리소스(STRING 및 BioGRID)를 통해 검증되었으며, 엄격한 엔드포인트 빈도 매칭을 통과하였고, 상호작용 신뢰도와 도즈-리스폰스 관계를 보여줍니다.
• 해석 가능성 범위의 정교화: 본 연구는 "생물학적 조직화(biological organization)"와 "인과적 메커니즘(causal mechanism)" 사이의 경계를 구분 짓습니다. 즉, 모델이 물리적 상호작용에 의해 유전자를 조직화하고는 있지만, 이것이 인과적 조절 로직을 학습했음을 의미하지는 않는다는 점을 보여줍니다.

의의 및 주장
저자들은 의도적으로 겸손한 태도로 결론을 제시합니다. 본 논문은 제한적인 기계론적 주장을 뒷받침합니다: 즉, scGPT의 입력 유전자 토큰 기하학은 맥락적 처리가 시작되기 전부터 이미 생물학적으로 조직되어 있습니다. 이는 다운스트림 트랜스포머 레이어가 임의의 유전자 식별자에서 시작하는 것이 아니라, 이미 분자 상호작용 데이터에 의해 약하게 구조화된 벡터로부터 시작함을 시사합니다.

그러나 저자들은 결과가 입증하지 못하는 것 또한 명시적으로 밝힙니다:

• 이 신호는 단독 물리적 상호작용 예측을 하기에는 불충분합니다 (AUROC 0.59–0.70은 강력한 예측 도구가 아닙니다).
• 정적 임베딩에 물리적 상호작용 신호가 존재하는 것이 모델이 인과적 조절 메커니즘이나 방향성을 학습했음을 의미하지 않습니다.
• 본 연구는 scGPT가 이러한 임베딩을 섭동 예측(perturbation prediction)을 위해 인과적으로 사용한다고 주장하지 않습니다.

본 연구의 의의는 생물학적 파운데이션 모델에 대한 기계론적 해석 가능성의 기준을 세우는 데 있습니다: 즉, "룩업 테이블(lookup table)" 자체에 생물학적 구조가 포함되어 있다는 것입니다. 저자들은 향후 연구가 이 입력 신호가 어떻게 활용되는지 이해하기 위해 인과적 개입(causal interventions)과 특징 수준의 회로 분석(feature-level circuit analysis)에 집중해야 한다고 제안합니다.