Beyond Gene Reconstruction: Learning Cell Representations through Complementary Transcriptomic Views

기술 요약: 유전자 재구성을 넘어: 상보적 전사체 뷰를 통한 세포 표현형 학습

문제 정의
단일 세포 전사체학을 위한 현재의 파운데이션 모델들은 주로 마스크된 발현값 예측(Masked Language Modeling, MLM)을 통해 사전 학습됩니다. 이러한 목적 함수는 유전자 수준의 의존성과 잠재적 공발현 구조를 효과적으로 학습하지만, 개별 유전자 수준의 감독(supervision)만을 제공합니다. 결과적으로, 이러한 모델들은 세포 유형 주석(cell-type annotation)이나 유전자 조절 네트워크(GRN) 추론과 같은 다운스트림 태스크에 필수적인 전체 세포 표현형(whole-cell representations)을 직접적으로 최적화하지 못합니다. 또한, 강력한 재구성 성능이 반드시 변별력 있거나 전이 가능한 세포 임베딩을 보장하는 것은 아닙니다.

또한, 단일 세포 데이터에 표준 대조 학습(contrastive learning)을 적용할 때는 두 가지 도메인 특유의 과제가 존재합니다:

1. 양의 쌍(Positive-Pair) 구축: 객체의 정체성을 보존하는 이미지 증강(예: 크롭)과 달리, 유전자 발현값을 섭동(perturbing)시키는 것은 근본적인 생물학적 상태나 세포 정체성을 변화시킬 수 있어, 유효한 양의 쌍을 구성하기 어렵게 만듭니다.
2. 음의 쌍(Negative-Pair) 지름길: 희소한 전사체 입력에서 서로 다른 세포들은 종종 서로 다른 유전자 집합의 부분집합을 유지합니다. 표준 대조 학습은 모델이 특정 유전자와 그 발현값 사이의 대응 관계를 학습하는 대신, 단순히 유전자 집합의 구성(유전자 정체성)만으로 음의 쌍을 구별하는 지름길을 택할 위험이 있습니다.

방법론: CoCoS
저자들은 상보적인 전사체 뷰를 통해 세포 표현형을 학습하도록 설계된 프레임워크인 CoCoS(Co-expression-guided Contrastive pretraining for Single-cell)를 제안합니다. 이 방법은 위의 과제들을 해결하기 위해 세 가지 특정 적응 방식을 통합합니다:

1. 공발현 가이드 유전자 분할(Co-expression-Guided Gene Partitioning):
   세포 정체성을 변경하지 않으면서 생물학적으로 유효한 양의 쌍을 구축하기 위해, CoCoS는 공발현 그래프를 기반으로 각 세포의 유전자를 두 개의 상보적인 뷰로 분할합니다. 높은 발현 상태에서 빈번하게 함께 나타나는 유전자들은 서로 다른 뷰에 할당됩니다. 각 세포에 대해 모델은 첫 번째 유전자 집합의 발현값을 마스킹한 뷰와, 두 번째 집합의 발현값을 마스킹한 뷰, 총 두 개의 뷰를 생성합니다. 이는 모든 유전자 값이 한쪽 뷰에서는 관찰되고 다른 쪽 뷰에서는 마스킹되도록 보장하여, 원래의 유전자 정체성과 발현값을 보존하면서도 상보적인 정보를 제공합니다.

2. 발현 인지 대조 집합 구축(Expression-Aware Contrast-Set Construction):
   모델이 유전자 집합의 정체성을 지름길로 사용하는 것을 방지하기 위해, CoCoS는 유전자 정체성과 마스킹 패턴은 그대로 유지한 채 발현값만을 치환(permuting)하여 정체성이 일치하는 하드 네거티브(hard negatives)를 생성합니다. 원래의 입력과 치환된 입력은 정확히 동일한 유전자 집합을 포함하므로, 모델은 유전자 구성만으로 이들을 구별할 수 없으며, 반드시 유전자와 특정 발현값 사이의 구체적인 대응 관계를 학습해야 합니다. 대조 집합은 이러한 하드 네거티브와 다른 세포들로부터 온 표준 인배치(in-batch) 네거티브를 함께 포함합니다.

3. 역량 게이트형 대조 시작(Competence-Gated Contrastive Onset):
   이 프레임워크는 대조 목적 함수를 활성화할 시점을 결정하는 데이터 의존적 컨트롤러를 도입합니다. 학습 초기에는 모델이 마스크된 재구성을 통해 안정적인 교차 유전자 의존성을 아직 학습하지 못한 상태입니다. 이때 대조 손실을 즉시 도입하면, 모델이 생물학적 대응 관계가 아닌 기술적 단서(예: 라이브러리 크기 또는 희소성)를 사용하여 뷰를 정렬할 위험이 있습니다. CoCoS는 고정된 라벨 없는 "센티넬(sentinel)" 코호트를 사용하여 유전자 프로그램 일치도(paired vs. mismatched 뷰의 분리), 재구성 오차, 임베딩 다양성(repertoire)의 세 가지 지표를 모니터링합니다. 대조 가중치는 모델이 안정적인 재구성 역량과 교차 뷰 구조를 달성했다는 지표가 나타날 때까지 0으로 유지되며, 이후 부드럽게 증가합니다.

주요 기여

• 불일치 식별: 저자들은 마스크된 발현값 재구성과 전체 세포 표현형 학습 사이의 불일치를 규명하고, 단일 세포 사전 학습에 대조 학습을 적용하기 위한 세 가지 구체적인 요구사항(생물학적으로 유효한 양의 뷰, 네거티브에서의 유전자 정체성 지름길 완화, 적절한 대조 감독 타이밍)을 정의했습니다.
• CoCoS 프레임워크: 공발현 가이드 뷰, 고정된 정체성 값 변위(derangements)를 가진 발현 인지 대조 집합, 그리고 역량 게이트형 시작 메커즘을 결 함께 설계된 사전 학습 프레임워크를 소개합니다.
• 실증적 검증: 제한된 전체 세포 대조 감독이 순수 재구성 기반 방식보다 더 변별력 있고 전이 가능한 표현형을 생성한다는 것을 광범적인 실험을 통해 입증했습니다.

결과
저자들은 동결된 전체 세포 임베딩을 사용하여 다운스트림 태스크에 대해 CoCoS(특히 CoCoS-GPC 변형)를 평가했습니다:

• 세포 유형 주석: 통합된 10개 데이터셋 세포 순방향 평가 프로토콜 하에서, CoCoS-GPC는 비교된 변형 모델들 중 가장 높은 평균 k-NN 정확도(74.82%)와 선형 프로브 정확도(78.85%)를 달 기록하며, scGPT 및 Geneformer V2-104M과 같은 기존 모델들을 능가했습니다.
• 유전자 조절 네트워크(GRN) 추론: 6개 네트워크 GRN 평가에서 CoCoS-GPC는 가장 높은 평균 AUROC(0.8733) 및 AUPRC(0.7120) 추정치를 기록했습니다. 저자들은 평균값은 가장 높지만, 개별 네트워크마다 최적의 성능을 보이는 변형 모델은 다를 수 있다고 언급했습니다.
• 어블레이션 연구(Ablation Studies):
  • 뷰 디자인: 발현 인지 샘플링이 균등 샘플링(uniform sampling) 및 균형 잡힌 무작위 패널(balanced-random panels)보다 우수한 성능을 보였습니다.
  • 네거티브 구축: 진단 테스트를 통해 고정 정체성 네거티브가 유전자 집합 구성에 대한 의존성을 성공적으로 완화했으며, 일반 네거티브와 정체성 일치 변위 간의 신뢰 격차를 좁혔음을 확인했습니다.
  • 시작 타이밍: 역량 게이트형 시작(93,000 스텝에서 트리거됨)이 즉각적인 대조 및 고정 웜업 스케줄(1 또는 2 에포크)보다 우수한 성능을 보여, 대조 감독을 도입하기 전 재구성 역량을 기다리는 것의 필요성을 입증했습니다.

의의 및 주장
본 논문은 보완적 뷰 대조 학습이 유전자 재구성을 넘어 단일 세포 사전 학습을 확장하는 효과적인 방향임을 주장합니다. 양의 쌍의 유효성, 네거티브 지름길, 그리고 훈련 타이밍이라는 구체적인 과제들을 해결함으로써, CoCoS는 더 변별력 있고 전이 가능한 세포 표현형을 생성하는 방법을 확립합니다. 저자들은 이 연구를 단순한 재구성을 대체하는 것이 아니라, 전체 세포 임베딩의 기하학적 구조를 최적화하여 평가된 데이터셋 및 프로토콜 내에서 세포 유형 주석 및 GRN 추론과 같은 다운스트림 태스크의 성능을 개선하는 필수적인 보완책으로 포지셔닝합니다. 결과는 적절히 제한된 전체 세포 대조 감독이 순수 재구성 기반 접근 방식보다 전이 가능한 세포 표현형을 학습하는 데 더 우수함을 시사합니다.