기술 요약: 클러스터링 후 임베딩: 시각화를 위한 모듈형 접근 방식

문제 정의

차원 축소 방법, 특히 t-SNE와 UMAP은 잠재적인 클러스터 구조를 가진 고차원 데이터를 시각화하는 데 널리 사용됩니다. 이러한 방법들은 데이터 포인트를 효과적으로 그룹화하고 국소적 정보를 보존하지만, 데이터의 기저에 깔린 전역적 기하학적 구조를 왜곡하는 것으로 알려져 있습니다. 구체적으로, 이들은 서로 다른 클러스터 간의 상대적 위치, 거리 및 크기를 보존하는 데 자주 실패합니다. 이러한 한계는 "크라우딩 문제(crowding problem)"에서 기인하는데, 저차원 임베딩 공간이 원래의 고차원 거리 척도에 있는 모든 포인트를 수용할 수 있는 충분한 용량을 갖추지 못해, 멀리 떨어진 포인트들이 붕괴되거나 별개의 클러스터가 겹치는 현상이 발생합니다. 기존 방법들은 국소 구조 보존(클러스터 분리)과 전역 거리 보존 사이에서 흔히 트레이드오프를 강요합니다.

방법론: Cluster+Embed (C+E) 프레임워크

저자들은 국소적 충실도와 전역적 충실도 사이의 트레이드오프를 해결하기 위해 **Cluster+Embed (C+E)**라고 불리는 모듈식 3단계 프레임워크를 제안합니다. 이 접근 방식은 클러스터링, 국소 임베딩, 그리고 전역 정렬을 분리하여, 분석가가 시각화 목표에 따라 각 단계에 특정 알고리즘을 선택할 수 있도록 합니다.

1단계: 클러스터링 (Clustering)

데이터 $\{x_i\}_{i=1}^n$은 먼저 선택된 클러스터링 알고리즘(예: Leiden, DBSCAN, k-means)을 사용하여 $\kappa$개의 클러스터($C_1, \dots, C_\kappa$)로 분할됩니다. 이 단계는 데이터에 존재하는 클러스터 구조를 명시적으로 드러냅니다. 노이즈로 식별된 포인트들은 이 단계에서 제거될 수 있습니다.

2단계: 개별 클러스터 임베딩 (Individual Cluster Embedding)

각 클러스터 $C_l$은 선택된 임베딩 방법(예: PCA, Isomap, TriMap)을 사용하여 저차원 공간(일반적으로 $\mathbb{R}^2$)으로 별도로 임베딩됩니다.

• 근거: 클러스터를 개별적으로 임베딩하면 전체 데이터셋을 한꺼번에 임베딩할 때보다 왜곡이 줄어듭니다. 이는 더 작고 국소화된 하위 집합 내에서는 "크라우딩 문제"가 완화되기 때문입니다.
• 스케일링: 만약 임베딩 방법이 서수적(ordinal) 정보에 의존한다면, 임베딩된 거리와 원래의 비유사성 사이의 이차 손실(quadratic loss)을 최소화하기 위해 각 클로스터에 스케일링 인자 $\gamma_l$이 적용됩니다.

3단계: 전역 정렬 (Global Alignment)

임베딩된 클러스터들은 오직 강체 변환(rigid transformations: 평행 이동, 회전, 반사)만을 사용하여 하나의 전역 임베딩으로 정렬됩니다. 목표는 서로 다른 클러스터 내 포인트들 간의 쌍별 비유사성이 최대한 충실하게 보존되도록 클러스터들을 배치하는 것입니다.

• 최적화: 정렬은 다음과 같이 정의된 스트레스 함수(Kruskal's stress)를 최소화합니다:
  $$\min_{T_1, \dots, T_\kappa} \sum_{1 \le i < j \le \kappa} \sum_{l \in C_i} \sum_{m \in C_j} (\delta_{lm} - \|T_i(y_l) - T_j(y_m)\|)^2$$
  여기서 $\delta_{lm}$은 원래의 비유사성이고, $T$는 강체 변환을 나타냅니다.
• 스케일링($\alpha$)을 통한 크라우딩 완화: 최종 시각화에서 겹침을 방지하기 위해, 저자들은 $\alpha \ge 1$인 튜닝 파라미터를 도입합니다. 클러스터 간의 목표 거리는 $\alpha \delta_{lm}$으로 스케일링됩니다. 이는 저차원 맵에서 클러스터 사이의 공간을 효과적으로 팽창시켜, 크라우딩 문제를 피하고 클러스터들이 겹치지 않게 합니다.
  • $\alpha$는 수동으로 튜닝하거나 자동으로 설정할 수 있습니다. 자동 휴리스틱으로 $\alpha = \max(1, \frac{\kappa \tau}{2\pi \Delta})$가 제안됩니다. 여기서 $\tau$는 평균 클러스터 직경이고 $\Delta$는 평균 클러스터 간 거리입니다.

주요 기여

1. 모듈형 프레임워크: 본 논문은 클러스터링, 임베딩, 정렬이 각각 별개의 단계인 투명하고 모듈화된 접근 방식을 소개합니다. 이를 통해 사용자는 특정 시각화 특성을 타겟팅하기 위해 각 단계에서 특정 알고리즘을 선택할 수 있습니다 (예: kNN 재현율을 위해 TriMap을 사용하거나 거리 보존을 위해 PCA를 사용하는 것).
2. 전역 기하학에 대한 명시적 제어: 힘 기반 역학(force-directed dynamics)을 통해 암묵적이고 종종 불투명하게 전역 구조를 처리하는 t-SNE 및 UMAP과 달리, C+E는 강체 정렬을 통해 클러스터 간 거리를 명시적으로 최적화합니다.
3. 크라우딩 문제의 해결: 이 방법은 커널을 변경하는 방식(t-SNE가 Cauchy 커널을 사용하는 방식)이 아니라, 파라미터 $\alpha$를 통해 클러스터 간 거리를 명시적으로 스케일링함으로써 크라우딩 문제를 해결하며, 이를 통해 별개의 클러스터들이 겹치지 않고도 상대적인 조직을 유지하도록 보장합니다.
4. 투명성: 이 접근 방식은 국소 구조(클러스터 내부)의 보존과 전역 구조(클러스터 간)의 보존이 별도의 제어 가능한 메커니즘에 의해 처리되므로, 엔드 투 엔드(end-to-end) 방식보다 더 해석 가능합니다.

실험 결과

저자들은 MNIST, 인간 뇌 오가노이드 데이터, 마우스 피질 데이터를 포함한 합성 및 실제 데이터셋에 대해 t-SNE, UMAP, PCA, Isomap, PHATE, TriMap을 포함한 베이스라인들과 C+E를 비교 평가했습니다.

• 합성 도형 데이터셋: C+E는 완벽한 국소 지표(정확한 클러스터 구성 복구)를 달성하고 전역 방향성을 유지한 반면, t-SNE와 UMAP은 상당한 국소 왜곡을 유발했습니다.
• MNIST: C+E는 클러스터를 성공적으로 분리하고 의미 있는 그룹(예: 유사한 숫자의 그룹화)으로 조직했습니다. t-SNE가 작은 $k$에 대해 우수한 kNN 재현율을 보인 반면, C+E는 전역 지표(클래스 보존 및 클러스터 간 거리 보존)에서 t-SNE와 UMAP보다 뛰어난 성능을 보였습니다.
• 인간 뇌 오가노이드 데이터: C+E 임베딩은 명확한 시간적 발달 궤적과 뚜렷한 세포 유형 그룹을 드러냈습니다. 이는 PCA 및 L-Isomap과 대등하거나 더 나은 수준의 전역 지표를 보존하면서도, t-SNE나 UMAP보다 개선된 국소 구조와 덜한 붕괴 현상을 보여주었습니다.
• 마우스 피질 데이터: C+E는 다른 방법들에서는 나타나지 않았던 조립(coarse-to-fine) 구조(억제성/흥분성 뉴런 및 비뉴런의 분리)를 드러냈습니다. 임베딩의 스케일이 팽창되어 (높은 정규화된 스트레스를 유발함에도 불구하고), 스케일 불변 전역 지표들은 UMAP과 t-SNE보다 C+E를 선호했습니다.

의의 및 주장

본 논문은 C+E가 충실한 국소 임베딩과 충실한 전역 조직 사이의 균형을 맞춤으로써 기존 시각화 방법들에 대한 경쟁력 있는 대안을 제공한다고 주장합니다.

• 트레이드오프 관리: 이 방법은 국소적 보존과 전역적 보존 사이의 내재적 트레이드오프를 인정하지만, 파라미터 $\alpha$를 통해 이를 명시적으로 관리할 수 있는 메커니즘을 제공합니다.
• 유연성: 이 프레임워크를 통해 사용자는 전역적인 클러스터 배치를 희생하지 않으면서 특정 지표(예: kNN 재현율을 위한 TriMap 또는 거리 보존을 위한 PCA)를 우선시할 수 있습니다.
• 한로사항: 저자들은 t-SNE가 작은 $k$에 대한 kNN 재현율을 극대화하는 데 여전히 최첨단(state-of-the-art)임을 겸허히 언급했습니다. 그들은 $\alpha$를 높이거나 더 많은 클러스터를 생성함으로써 C+E의 kNN 재현율을 개선할 수 있다고 제안하지만, 이는 잘못된 클러스터를 생성할 위험이 있습니다. 정렬 단계의 계산 복잡도는 포인트 수에 따라 이차적으로 증가하지만, 이를 완화하기 위해 서브샘플링 전략이 사용됩니다.

결론적으로, 저자들은 C+E가 클러스터링된 데이터를 시각화하기 위한 더 투명하고 제어 가능한 접근 방식을 제공하며, 인기 있는 비선형 차원 축소 기법에서 흔히 소실되는 클러스터 내부의 기하학적 구조와 클러스터 간의 상대적 위치 모두를 보존한다고 주장합니다.