Improving scDiffusion with Sparsity-Biased Classifier-Free Guidance

기술 요약: 희소성 편향 분류기-자유 가이던스(Sparsity-Biased Classifier-Free Guidance)를 통한 scDiffusion 개선

문제 정의
단일 세포 RNA 시퀀싱(scRNA-seq) 데이터는 80~90%의 영(zero) 항목을 포함하는 극도로 높은 희소성을 특징으로 합니다. scDiffusion 프레임워크와 같은 확산 모델(diffusion models)은 합성 scRNA-seq 데이터를 생성하는 데 유망한 성능을 보여주었으나, 이들은 희소성 문제에 취약한 가이던스 전략에 의존하고 있습니다. 표준 분류기-자유 가이던스(Classifier-Free Guidance, CFG) 및 분류기 가이던스는 무조건부 모델 출력($\epsilon_{uncond}$)이 조건별 정보를 포함하지 않는 "중립적인" 사전 분포를 나타낸다고 가정합니다. 그러나 scRNA-seq에서 무조건부 모델은 전체 데이터셋의 경험적 주변 분포(empirical marginal distribution)를 학습합니다. 이 분포는 강력한 유전자별 구조(예: 특정 유전자가 지속적으로 0이거나 특정 전역 평균을 가짐)를 유지하기 때문에 $\epsilon_{uncond}$는 중립적이지 않습니다. 결과적으로, 조건부 예측과 무조건부 예측의 차이($\epsilon_{cond} - \epsilon_{uncond}$)로 계산되는 가이던스 신호가 약화됩니다. 무조건부 분기가 조건별 신호를 억제하는 조건 불가지론적(condition-agnostic) 희소성 패턴을 의도치 않게 인코딩함으로써, 샘플링 과정 중 가이던스의 효과를 제한하게 됩니다.

방법론: 희소성 편향 분류기-자유 가이던스 (SB-CFG)
저자들은 모델을 재학습시키지 않고도 희소한 데이터 영역에서 가이던스의 효과를 복구하기 위해 설계된 학습 불필요(training-free) 샘플링 수정 방식인 SB-CFG를 제안합니다. 핵심 아이디어는 유전자별 정체성은 제거하되 전역 희소성 통계는 보존하는, 의도적으로 "정보량이 적은" 참조 모델을 사용하는 것입니다.

이 방법은 다음과 같이 작동합니다:

1. 희소 베이스라인 구축: 원시 무조건부 노이즈 예측값($\epsilon_{uncond}$) 대신, 확률적 이진 마스크를 적용하여 희소 버전($\epsilon_{sparse}$)을 생성합니다. 각 유전자 차원 $i$에 대해, 훈련 데이터 내 해당 유전자의 경험적 영 발현 확률인 $\pi_i$를 사용하여 예측값을 제로화합니다.
   $$\epsilon_{sparse} = m \odot \epsilon_{uncond}, \quad m_i \sim \text{Bernoulli}(1 - \pi_i)$$
2. 블렌딩(Blending): 원래의 무조건부 예측값을 혼합 계수 $\beta \in [0, 1]$를 사용하여 이 희소 버전과 혼합합니다.
   $$\epsilon_{uncond\_bias} = (1 - \beta)\epsilon_{uncond} + \beta\epsilon_{sparse}$$
   $\beta=0$일 때, 이 방법은 표준 CFG로 회귀합니다. $\beta=1$일 때, 무조건부 분기는 희소 베이스라인으로 완전히 대체됩니다.
3. 가이드 샘플링: 최종 가이드된 예측은 편향된 무조건부 분치를 사용하여 계산됩니다.
   $$\tilde{\epsilon}_{SB} = \epsilon_{uncond\_bias} + w(\epsilon_{cond} - \epsilon_{uncond\_bias})$$
   이 접근 방식은 참조 모델이 조건부 신호를 상쇄할 수 있는 유전자별 편향을 더 이상 포함하지 않으므로, 조건부 예측과 무조건부 참조 사이의 대비(contrast)를 증폭시킵니다.

주요 기여

• CFG의 한계 분석: 본 논문은 표준 CFG의 "중립적 사전 분포" 가정과 scRNA-seq에 내재된 고도로 희소하고 유전자 특이적인 주변 분포 사이의 구조적 불일치를 식별하고 분석했습니다.
• SB-CFG 메커니즘: 저자들은 가이던스 대비를 높이기 위해 퇴화되었으나 희소성을 보존하는 참조 모델을 구축하는, 생물학적으로 동기화된 학습 불필요 샘플링 전략을 도입했습니다.
• 실증적 검증: 이 방법은 다섯 가지 다양한 공공 scRNA-seq 데이터셋(Baron Human/Mouse, Human Lung, Mizrak, PBMC68k)에서 일관된 개선 성능을 입증하며 SB-CFG의 효용성을 검증했습니다.

실험 결과
저자들은 동일한 사전 학습된 확산 모델 가중치를 사용하되 샘플링 절차만을 변경하여 SB-CFG를 표준 CFG와 비교 평가했습니다. 주요 지표에는 평균 유전자 발현의 피어슨 상관계수, 세포 유형 분류 정확도, 영 비율(zero-rate) 차이, 마커 유전자 특이성이 포함되었습니다.

• 성능 향상: SB-CFG는 다섯 가지 데이터셋 모두에서 표준 CFG보다 일관되게 우수한 성능을 보였습니다. 예를 들어, Baron Human 데이터셋에서 피어슨 상관계수는 0.81에서 0.91로 개선되었고, 세포 유형 분류 정확도는 0.27에서 0.73으로 크게 증가했습니다.
• 마커 유전자 충실도: 히트맵과 특이도 점수는 SB-CFG가 표준 CFG에 비해 특정 세포 유형의 뚜렷한 마커 유전자 발현 패턴을 더 잘 보존함을 나타냈습니다.
• 절제 연구(Ablation Study): 혼합 계수 $\beta$를 변화시킨 결과 트레이드오프가 발견되었습니다. $\beta$를 높이면 일반적으로 전역 발현 충실도(피어슨 $r$)는 향상되지만, 매우 높은 값은 미세한 세포 유형을 가진 데이터셋에서 세포 유형 식별 정확도를 감소시킬 수 있습니다. 모든 지표와 데이터셋에서 견고한 균형을 제공하는 최적의 값은 $\beta=0.5$로 나타났습니다.

의의 및 주장
본 논문은 SB-CFG가 희소한 생물학적 데이터를 위한 조건부 확산 샘플링의 원칙적인 향상 방안임을 주장합니다. scRNA-seq의 무조건부 모델이 중립적이지 않고 특정 희소성 패턴을 인코딩한다는 점을 인정함으로써, SB-CFF는 생물학적으로 의미 있는 유전자 발현 패턴을 더 잘 포착하도록 가이던스 신호를 교정합니다. 이 방법은 구조적 변경이나 추가 학습 없이 훈련 데이터에서 도출된 통계량만을 활용하여 생성 품질과 생물학적 충실도를 개선한다는 점에서 의의가 있습니다. 저자들은 이 방법이 효과적이지만, 향후 연구에서는 조건별 영 확률 벡터와 적응형 $\beta$ 선택 방식을 탐구할 수 있다고 언급했습니다.