기술 요약: DREAMS – 차원 축소에서 국소 및 전역 구조의 동시 보존

문제 정의

차원 축소(Dimensionality Reduction, DR)는 고차원 데이터를 시각화하는 데 필수적이지만, 기존 방법론들은 일반적으로 국소 구조(Local Structure) 또는 전역 구조(Global Structure) 중 하나만을 효과적으로 보존하며, 두 가지를 동시에 수행하는 경우는 드뭅니다.

• 국소 구조: t-SNE 및 UMAP과 같은 방법은 이웃 관계와 미세한 클러스터(예: 특정 세포 유형)를 효과적으로 보존하지만, 전역적인 배치(예: 광범위한 클래스 분리 또는 발달 궤적)를 왜곡하는 경우가 많습니다.
• 전역 구조: PCA 및 MDS는 거시적인 데이터 패턴과 분산을 보존하지만, 미세한 국소 관계를 해결하는 데 실패하여 서로 다른 클러스터를 병합해 버리는 경우가 많습니다.

단일 세포 전사체학과 같은 실제 데이터셋에서 두 가지 척도의 구조는 모두 의미가 있으며 상호 보완적입니다. 한쪽 척도를 무시하면 불완전하거나 편향된 해석으로 이어질 수 있습니다. 현재의 하이브리드 접근 방식들은 이러한 상충하는 목표 사이의 균형을 효과적으로 맞추는 데 어려움을 겪거나, 최적화 스펙트럼 내에서 순수한 극단값(표준 PCA 또는 t-SNE)을 복구하지 못하는 경우가 많습니다.

방법론: DREAMS

저자들은 t-SNE의 국소 민감도와 PCA의 전역 구조 보존 능력을 단순한 정규화 항을 통해 결합한 비매개변수(non-parametric) 방법인 DREAMS(Dimensionality Reduction Enhanced Across Multiple Scales)를 제안합니다.

핵심 메커니즘

DREAMS는 표준 t-SNE 손실 함수에 사전 계산된 전역 참조 임베딩(기본값: PCA)에 저차원 임베딩이 정렬되도록 유도하는 이차 펜널티(quadratic penalty)를 추가합니다.

목적 함수는 다음과 같이 정의됩니다:
$$L(Y) = (1 - \lambda)L_{t-SNE}(Y) + \lambda \frac{1}{n} \|Y - \alpha \tilde{Y}\|_F^2$$

여기서:

• $Y$는 최적화되는 저차원 임베딩입니다.
• $L_{t-SNE}(Y)$는 표준 t-SNE 손실(고차원과 저차원 유사도 분포 간의 Kullback–Leibler 발산)입니다.
• $\tilde{Y}$는 사전 계산된 전역 참조 임베딩(예: PCA)입니다.
• $\lambda \in [0, 1]$은 국소 보존과 전역 보존 사이의 트레이드오프를 조절하는 하이퍼파라미터입니다.
• $\alpha$는 선형 PCA 스케일과 비선형 t-SNE 스케일 간의 호환성을 보장하기 위해, 매 경사 하강법 반복 단계마다 t-SNE 임베딩($Y$)의 스케일을 참조 임베딩($\tilde{Y}$)에 맞추기 위해 계산되는 스칼라 스케일링 인자입니다.

구현 세부 사항

• 참조 임베딩: 기본적으로 DREAMS는 속도와 해석 가능성 때문에 PCA를 사용합니다. 그러나 이 프레임워크는 다른 전역 방법인 MDS(DREAMS-MDS로 지칭)를 지원합니다.
• 최적화: 이 방법은 openTSNE 라이库리를 기반으로 구현되었으며, 경사 하강법 최적화 과정에 정규화 항을 추가합니다.
• 대안적 접근: 저자들은 또한 원래 데이터를 임베딩으로부터 재구성하기 위해 훈련 가능한 선형 디코더를 사용하는 "선형 디코딩" 변형(DREAMS-CNE-Decoder)을 탐구했으나, 사전 계산된 참조 방식을 사용하는 것이 국소 구조 보존에 더 우수하다는 것을 발견했습니다.
• 스펙트럼: $\lambda$를 변화시킴으로써 DREAMS는 다음과 같은 연속적인 임베딩 스펙트럼을 생성합니다:
  • $\lambda = 0$: 표준 t-SNE를 복구합니다.
  • $\lambda = 1$: 스케일링된 PCA 임베딩을 복구합니다.
  • $0 < \lambda < 1$: 국소 및 전역 보존 사이의 균형 잡힌 트레이드오프를 제공합니다.

주요 기여

1. 정규화 전략: 전역 구조 보존(PCA/MDS를 통해)을 t-SNE 목적 함수에 직접 통합하는 단순하고 효과적인 정규화 항을 도입했습니다.
2. 시각화 스펙트럼: 국소 및 전역 구조 보존 사이의 최첨단 트레이드오프를 제공하는 튜너블(tunable) 스펙트럼의 임베딩을 입증했습니다.
3. 포괄적인 벤치마킹: 단일 세포 전사체학, 유전체 데이터, 이미지 데이터셋을 포함한 11개의 실제 데이터셋에 대해 10개의 알고리즘을 평가했습니다.
4. 오픈 소스 구현: openTSNE 및 CNE(Contrastive Neighbor Embedding) 라이브러리를 기반으로 한 오픈 소스 구현을 제공합니다.

실험 결과

저자들은 10개의 데이터셋에 대해 t-SNE, UMAP, PCA, MDS와 같은 베이스라인 및 TriMap, PaCMAP, PHATE, SQuadMDS-hybrid, StarMAP와 같은 하이브리드 방법과 DREAMS를 비교 평가했습니다. 평가는 두 가지 주요 지표를 사용했습니다:

• KNN (국소): k-최근접 이웃 재현율(k-nearest neighbor recall).
• CPD (전역): 쌍별 거리의 상관관계(Spearman 상관계수).

주요 결과

• 우수한 트레이드오프: 11개 데이터셋 중 10개에서 DREAMS(기본 $\lambda=0.15$ 설정 시)는 가장 높은 통합 국소-전역 점수를 달성했습니다. DREAMS는 t-SNE에 근접한 KNN 점수를 유지하면서 PCA에 근접한 CPD 점수를 일관되게 달성했습니다.
• 하이브리드 방법과의 비교: DREAMS는 StarMAP 및 SQuadMDS-hybrid와 같은 다른 하이브리드 방법보다 우수한 성능을 보였습니다. 구체적으로, DREAMS는 StarMAP(UMAP 사용)보다 국소 구조를 훨씬 더 잘 보존했으며, SQuadMDS-hybrid보다 더 유리한 전역-국소 트레이드오프를 제공했습니다.
• 스펙트럼 품질: DREAMS가 생성한 임베딩 스펙트럼은 경쟁 방법들이 순수한 PCA 또는 MDS 극한을 복구하지 못하거나 극한에서 성능 저하를 겪는 것과 달리, 국소 및 전역 극단 사이의 더 부드럽고 효과적인 전환을 제공했습니다.
• 한계점: 뚜렷한 전역 구조가 부족한 데이터셋(예: MNIST)의 경우, 전역 구조 자체가 약하기 때문에 DREAMS가 두 지표를 동시에 최대화할 수는 없었습니다. 이러한 경우 성능은 다른 방법들과 유사했습니다.

의의 및 주장

본 논문은 DREAMS가 상당한 타협 없이 국소 및 전역 구조를 동시에 보존할 수 있게 함으로써 차원 축소의 중요한 공백을 메운다고 주장합니다.

• 해석 가능성: DREars는 t-SNE 최적화를 PCA 참조 모델에 고정함으로써, 국소적으로 상세하며(미세 클러스터 노출) 전역적으로 일관된(광범위한 클래스 분리 보존) 시각화 결과물을 만들어내어 데이터 계층 구조에 더 충실하게 만듭니다.
• 유연성: 이 방법은 적응력이 뛰어납니다. 사용자는 특정 분석 요구에 따라 국소적 또는 전역적 특징의 우선순위를 정하기 위해 $\lambda$를 조정할 수 있으며, 특정 데이터셋에 대해 PCA가 최적이 아닌 경우 참조 임베딩(예: MDS)을 변경할 수 있습니다.
• 실용성: 저자들은 DREAMS가 정규화 항으로 인해 약간의 계산 오버헤드를 발생시키지만, 기본 설정($\lambda=0.15$)은 광범위한 데이터셋에서 과도한 하이퍼파라미터 튜닝 없이 견고하게 작동한다고 언급했습니다.

저자들은 DREAMS가 특히 여러 규모의 구조가 존재하는 계층적 데이터셋에서 더 충실하고 해석 가능한 시각화 도구를 제공한다고 결론지었습니다.