Do Geometric Outliers Identify Important Genes in Single-Cell Foundation Models?

기술 요약: 기하학적 이상치(Geometric Outliers)가 단일 세포 파운데이션 모델에서 중요한 유전자를 식별하는가?

문제 정의
단일 세포 파운데이션 모델(scFMs)은 생성된 유전자 임베딩을 통해 생물학적 추론 및 유전자 우선순위 지정에 점점 더 많이 활용되고 있다. 그러나 서로 다른 scFM 아키텍처가 유전자 공간을 일관되게 구성하는지, 혹은 임베딩 내의 기하학적 극단값(이상치)이 생물학적으로 중요한 유전자를 신뢰성 있게 식별하는지는 여전히 불분명하다. 유전자의 "예외적인" 위치가 고유한 생물학적 특성을 반영하는 것인지, 아니면 특정 모델의 아키텍처, 학습 목적 함수, 그리고 발현 인코딩에 의한 단순한 인위적 결과물(artifact)인지를 구분하는 데 결정적인 공백이 존재한다. 기존의 평가들은 주로 다운스트림 태스크 수행 능력에 초점을 맞추었으며, 기하학적 이상치가 모델 간에 일관되지를 않거나 진정한 기능적 유의성을 갖는지에 대해서는 간과해 왔다.

방법론
본 연구는 세 가지 서로 다른 scFM인 Geneformer(순위가 매겨진 토큰에 대한 BERT 스타일 인코더), scGPT(유전자 토큰과 발현 값을 가진 생성형 트랜스포머), scFoundation(연속적 발현의 학습된 자동 이산화를 사용하는 비대칭 인코더-디코더)에 적용되는 "가중치 전용(weight-only)" 기하학적 스크리닝 기법을 사용한다.

1. 기하학적 스크리닝: 저자들은 포워드 패스(forward pass)나 공유된 발현 데이터 없이 정적인 유전자 임베딩 행렬에 적용되는 4가지 지표 스크린을 적용한다. 지표는 다음과 같다:
   • 임베딩 노름(norm).
   • 어휘집 중심(vocabulary centroid)까지의 유클리드 거리.
   • 중심과의 코사인 유사도.
   • $k=10$ 근접 이웃까지의 평균 거리(고립도).
     Genes는 어떤 지표에서든 $|z| > 3$을 초과할 경우 이상치로 분류된다.
2. 강건성 및 대조군:
   • 콜러 안정성(Caller Stability): "극단적"이라는 정의에 대한 민감도를 평가하기 위해, 각 모델의 이상치 집합을 다양한 통계적 콜러(MAD 기반 및 순위 매칭 방식)를 사용하여 재도출한다.
   • 비전사체 대조군(Non-Transcriptomic Control): 기하학적 이상치가 단백질 서열 공간에서도 재발하는지 확인하여, 모델 특이적 인위적 결과물인지 아니면 고유한 단백질 특성인지를 구분하기 위해 ESM-2 단백질 서열 임베딩에 동일한 스크린을 적용한다.
   • 매칭된 대조군 삭제(Matched-Control Deletion): Geneformer의 경우, 가장 높은 이상치를 보이는 50개 유전자를 PBMC3k 및 Tabula Sapiens 데이터셋에서 "삭제"한다. 성능은 발현량, 폭(breadth), 유전자 길이, 유전자 클래스가 매칭된 200개(또는 100개)의 대조군 세트에 대한 macro-F1 세포 유형 주석(annotation)을 통해 측정된다.
   • 공변량 조정 연관성(Covariate-Adjusted Association): 발현, 폭, 길이, 제약(pLI/LOEUF) 및 유전자 클래스를 조정하면서 ClinVar 멤버십(질병 관련성)에 대해 이상치 상태를 회귀 분석한다.

주요 결과

• 모델별 기하학적 구조: 세 모델은 상당히 다른 이상치 프로필을 생성했다. 모든 모델에서 리보솜 농축(ribosomal enrichment)이 나타났으나, 강력한 미토콘드리아 농축은 Geneformer와 scGPT에서만 국한되었으며 scFoundation에서는 나타나지 않았다. 유전자 수준의 일치도는 낮았다. Geneformer와 scGPT는 72개의 이상치를 공유했으나(우연에 의한 기대치보다 34배 많지만 낮은 Jaccard 지수 0.172를 기록), scGPT와 scFoundation은 단 하나의 유전자만을 공유했다.
• 콜러 민감도: Geneformer와 scFoundation은 다양한 통계적 콜러에 대해 이상치 순위에서 높은 안정성을 보였다. 반면, scGPT의 개별 이상치 멤버십은 호출 방법에 따라 매우 민감하게 변했는데, 이는 scGPT의 양봉(bimodal) 임베딩 노름 분포 때문인 것으로 분석되었다.
• 서열 재발의 부재: 대부분의 기하학적 이상치는 ESM-2 단백질 서열 공간에서 재발하지 않았으며(Jaccard $\approx$ 0.054), 이는 기하학적 구조가 고유한 단백질의 특성이 아니라 주로 모델 특이적임을 나타낸다. 예외적으로 미토콘드리아 유전자는 재발하였는데, 이는 이들의 독특한 유전 코드와 소수성(hydrophobic) 특성 때문으로 보인다.
• 다운스트림 활용 능력 부재: Geneformer에서 가장 높은 이상치를 보이는 50개 유전자를 삭제해도 PBMC3k 또는 Tabula Sapiens 데이터셋에서 매칭된 대조군 유전자를 삭제했을 때보다 세포 유형 주석 성능이 더 저하되지 않았다.
• 조정된 질병 연관성 부재: 발현, 폭, 길이, 제약 및 클래스를 조정한 후, 어떤 모델의 이상치 집합도 ClinVar 멤버십과 유의미한 연관성을 보이지 않았다. 특히 scGPT는 조정 전에는 강한 연관성(OR 2.95)을 보였으나 조정 후에는 사라졌으며(OR 1.21), 이는 초기 신호가 기하학적 점수 자체가 아니라 상관관계가 있는 공변량에 의해 유도되었음을 시사한다.

의의 및 주장
본 논문은 임베딩 기하학이 모델 특이적 구조를 특징짓는 것이지, 다운스트림 활용도나 질병 관련성에 대한 독립적인 증거를 제공하는 것이 아니라고 결론짓는다. 저자들은 다음과 같이 주장한다:

1. 기하학적 극단성은 생물학적 중요성의 대리 지표가 아니다: 이상치로 식별된 유전자들은 종종 중심적인 유전자들(예: 리보솜, 미토콘드리아, 제약된 유전자)이지만, 이러한 중심성은 이미 표준적인 발현 및 유전자 클래스 지표를 통해 관찰 가능하다. 기하학적 점수는 이러한 공변량을 통제했을 때 세포 유형 주석 손실이나 질병 연관성을 예측하기 위한 새로운 정보를 추가하지 않는다.
2. 모델 감사(Audit)와 유전자 우선순위 지정은 구별되어야 한다: 기하학적 스크리닝은 서로 다른 모델이 어휘집을 어떻게 표현하는지 비교하고 모델 특이적 편향을 감사하는 데 유용하지만, 실험적 후속 조치를 위한 유전자를 지명하는 용도로 단독 사용되어서는 안 된다.
3. 가치는 감사 설계에 있다: 본 연구의 주요 기여는 포워드 패스나 발현 데이터가 필요 없는 저렴한 체크포인트 수준의 스크리닝 방법이다. 이를 통해 모델 출시 즉시 모델 특성을 파악할 수 있으며, 단, 생성된 가설(예: "이 유전자들이 중요하다")은 모델이 표준적인 생물학적 사전 지식 이상의 정보를 학습했는지 검증하기 위해 반드시 매칭된 대조군 및 공변량 조정된 통제를 거쳐야 한다.

본 연구는 한 scFM에서의 발견이 아키텍처 및 인코딩의 상당한 차이로 인해 다른 모델로 전이될 것이라고 가정해서는 안 된다는 점을 강조하며, 주석 체계(중첩형 vs 상호 배타형)를 명시하지 않은 채 보고된 유전자 클래스 농축 결과는 오해의 소지가 있음을 지적한다.