기술 요약: FloDR – 정규화 흐름(Normalising Flow)에 기반한 가역적 차원 축소 방법론

1. 문제 정의

고차원 데이터는 흔히 2차원 임베딩(예: t-SNE, UMAP)을 통해 시각화됩니다. 그러나 이러한 방법들은 독자들이 결과물인 지도를 통계적 근거를 넘어 해석하도록 강요하는 경우가 많습니다. 클러스터 간의 거리, 빈 공간의 유의성, 특정 지점에 숨겨진 구조의 양 등은 표준적인 방법들의 최적화 과정이 해석에 필요한 정보를 폐기하기 때문에 일반적으로 보이지 않습니다. 또한, 기존 방법들은 트레이드오프 문제에 직면해 있습니다: 이웃 임베딩(neighbor embeddings)은 국소적 구조(local structure)를 보존하지만 전역적 기하학(global geometry)을 왜곡하며, 선형 방법(PCA 등)은 전역적 구조를 보존하지만 국소적 이웃 관계를 흐립니다. 아울러, 외삽(out-of-sample) 임베딩을 허용하는 파라미터 방식들은 진정한 역함수가 아닌 별도의 근사적인 인코더-디코더 쌍에 의존하며, 이로 인해 모델 오류가 설명에 섞여 들어갑니다.

2. 방법론

FloDR(Flow-based Dimensionality Reduction)은 비가역적 투영 대신 가역적 정규화 흐름(invertible normalising flow, 즉 전단사 함수 $f_\theta: \mathbb{R}^D \to \mathbb{R}^D$)을 통해 데이터를 임베딩함으로써 이러한 문제를 해결합니다.

아키텍처

• 매핑(Mapping): 핵심은 혼합 층(mixing layers)이 없는 $L=4$개의 아핀 결합 층(affine coupling layers, RealNVP 스타일)의 합성입니다. 입력은 먼저 고정된 선형 변환을 통해 백색화(whitening) 및 회전되어 첫 두 개의 주성분(principal components) 상에 레이아웃을 초기화합니다.
• 임베딩 vs 잔차(Embedding vs. Residual): 모델은 $D$개의 좌표를 출력합니다. 처음 두 좌표($y \in \mathbb{R}^2$)는 2D 임베딩 역할을 합니다. 나머지 $D-2$개의 좌표($r \in \mathbb{R}^{D-2}$)는 버려지는 대신 **잔차(residual)**로서 유지됩니다.
• 가역성(Invertibility): 이 맵은 전단사 함수(bijection)이므로, 어떤 쌍 $(y, r)$도 정확한 역함수 $f^{-1}_\theta$를 통해 입력 $x$로 매핑될 수 있습니다(부동 소수점 반올림 오차 제외). 이를 통해 변수 변환 공식(change of variables formula)을 통한 정확한 밀도 추정이 가능합니다.

학습 목표

레이아웃은 2D 좌표 $y$에 대해서만 적용되는 복합 손실 함수를 사용하여 학습됩니다:

1. 국소 구조(Local Structure): 퍼지 $k$-최근접 이웃 그래프($k=15$)를 구축하여 인력(attraction) 및 척력(repulsion) 항을 사용하는 UMAP 방식을 따릅니다.
2. 전역 구조(Global Structure):
   • 척력을 상쇄하기 위한 유계된 중간 범위 인력(bounded mid-range attraction) 항을 포함합니다.
   • 서수 항(Ordinal Term): 입력 공간과 임베딩 공간 사이의 거리 비교의 *부호(sign)*를 최적화하는 비메트릭(non-metric) MDS 항입니다. 이 항은 사용자 조정 가능한 가중치 $w$에 의해 제어됩니다.
3. 밀도 항(Density Term): 역함수가 잔차 좌표를 과도하게 늘리는 것을 방지하기 위해 학습 중에 선택적으로 도입되는 음의 로그 가능도(negative log-likelihood) 항입니다.

외삽 배치(Out-of-Sample Placement)

새로운 데이터 포인트는 단일 순방향 패스($y' = f_\theta(x')_{1:2}$)를 통해 임베딩됩니다. 이는 전역 구조를 보존하지만, 국소 이웃 관계를 보존하는 데는 실패할 수 있습니다. 이를 해결하기 위해 FloDR은 학습된 이웃의 인력 항에 대해 200단계 동안 새로운 점의 위치를 최적화하는 배치 단계(UMAP의 transform과 유사)를 옵션으로 제공하며, 이때 학습된 맵은 고정된 상태를 유지합니다.

3. 핵심 기여: 인증된 진단(Certified Diagnostics)

FloDR의 주요 혁신은 진단 필드(diagnostic fields)가 보조 모델의 인위적인 산물이 아니라, 주어진 2D 위치로 투영된 입력 분포의 속성이라는 점입니다. 이 필드들은 정확한 역함수와 잔차 분포 $p(r|y)$로부터 도출됩니다.

두 가지 진단 필드

1. 조건부 확산(Conditional Spread, $\sigma(y)$):

   • 정의: $\sigma(y) = \sqrt{\text{trace}(\text{Cov}(x | y))}$.
   • 의미: 특정 임베딩 위치 $y$에서 원래의 입력 데이터가 얼마나 결정되지 않은 상태로 남아 있는지를 측정합니다. 높은 값은 레이아웃이 원래 고차원 공간에서 구별되었던 입력들을 병합했음을 나타냅니다.
   • 추정: 적합된 $p(r|y)$로부터 잔차를 추출하고 이를 정확한 역함수를 통해 매핑하여 계산합니다.

2. 숨겨된 대비(Hidden Contrast, $h(y)$):

   • 정의: $h(y) = I(G; R | Y=y)$, 즉 임베딩 위치 $Y=y$가 주어졌을 때 라벨링된 대비 $G$(예: 세포 유형)와 잔차 $R$ 사이의 상호 정보량입니다.
   • 의미: 2D 좌표가 디스카드한 정보에 대한 레이블 정보를 측정합니다. 높은 값은 서로 가까이 그려진 점들이 잔차를 통해서는 여전히 구별될 수 있는 서로 다른 그룹에 속해 있음을 나타냅니다.
   • 추정: $p(G|y)$와 $p(G|y, r)$을 추정하기 위해 용량 매칭 분류기(capacity-matched classifiers)를 사용하여 계산합니다.

인증 프로세스

오해를 방지하기 위해 모든 필드는 **홀드아웃 인증 과정(held-out certification process)**을 거칩니다.

• 필드는 훈련 세트에서 적합(fit)되고 홀드아웃 세트에서 검증됩니다.
• 검증은 임베딩 공간을 빈(bin)으로 나누고, 필드의 예측값을 실제 홀드아웃 측정값에 대해 회귀 분석하는 과정을 포함합니다.
• 기준: 필드가 기울기 $b \in [0.7, 1.3]$와 $R^2 \geq 0.6$를 만족하며 검증 타겟을 추적할 때 "인증"됩니다.
• 영가설 테스트(Null Testing): 숨겨진 대비의 경우, 빈 내에서 라벨을 셔플링한 영가설과 필드를 비교합니다.
• 결과: 이러한 테스트를 통과하지 못한 필드는 시각화에서 "거부(refused)"로 명시되어, 사용자가 신뢰할 수 없는 진단을 믿지 않도록 보장합니다.

4. 결과

저자들은 네 가지 벤치마크 데이터셋(MNIST, Fashion-MNIST, Paul15 myeloid progenitors, Schneider reaction data)과 세 가지 단일 세포 아틀라스(인간 태아 골수, 생쥐 소뇌, Arabidopsis 종자)를 통해 FloDR을 평가했습니다.

• 전역 vs 국소 트레이드오프: FloDR은 거의 수직에 가까운 트레이드오프 곡선을 달성합니다. 서수 가중치 $w$를 조정함으로써, 국소 이웃 재현율(local neighborhood recall)의 손실을 거의 없이 전역 구조 보존 성능(쌍별 거리의 Spearman 상관계수, CPD로 측정)을 크게 높일 수 있습니다 (예: MNIST에서 0.337에서 0.562로 증가).
• 베이스라인과의 비교:
  • vs. UMAP: FloDR은 모든 벤치마크에서 전역 및 국소 축 모두에서 UMAP보다 우수한 성능을 보입니다.
  • vs. openTSNE: openTSNE는 국소 구조를 약간 더 잘 보존하지만 전역 구조에서 큰 비용을 치릅니다.
  • vs. PCA: PCA는 전역 구조를 잘 보존하지만 국소 이웃 관계에서는 실패합니다. FloDR은 PCA의 전역 성능과 대등하거나 능가하면서도 국소 구조를 유지합니다.
  • vs. SQuadMDS: SQuadMDS는 단일 세포 아틀라스에서 더 높은 전역 CPD를 달로는 하지만, 국소 이웃 정보는 거의 보존하지 못합니다 (재현율 $\approx 0$).
• 외삽 성능: FloDR의 순방향 패스는 전역 구조를 효과적으로 보존합니다. 옵션인 배치 단계를 사용할 경우, 벤치마크에서 openTSNE와 대등한 수준으로 국소 충실도(local fidelity)를 회복합니다.
• 효율성: FloDR은 계산 효율성이 뛰어나며, GPU를 사용하여 $10^6$개의 포인트를 222초 만에 임베딩합니다. 이는 UMAP(403초) 및 t-SNE(273초)보다 빠릅니다.

5. 의의 및 주장

이 논문은 FloDR이 차원 축소를 해석하는 방식의 변화를 나타낸다고 주장합니다.

• 단일 객체 일관성(Single-Object Consistency): 별도의 인코더와 디코더를 사용하는 방법과 달리, FloDR의 레이아웃, 역함수, 밀도는 단일하게 학습된 전단사 함수의 속성입니다. 이는 진단 시각화가 근사적인 보조 네트워크가 아니라, 레이아웃을 생성한 모델의 정확한 역함수로부터 도출됨을 보장합니다.
• 측정 가능한 주장(Measurable Claims): 이 방법은 단순히 지도를 "읽는" 것을 넘어, 지도에 대한 측정 가능한 주장을 할 수 있게 합니다. 조건부 확산 및 숨겨진 대비 필드를 도입함으로써, FloDR은 2D 투영에서 무엇이 숨겨져 있는지를 정량화합니다.
• 반증 가능성(Falsifiability): 인증 프로세스의 포함은 진단 필드가 단순한 시각적 오버레이가 아니라 경험적으로 검증된 것임을 의미합니다. 필드가 홀드아웃 테스트를 통과하지 못하면 거부되므로, 사용자가 근거 없는 결론을 내리는 것을 방지합니다.
• 제한적 범위(Modest Scope): 저자들은 자신들이 우수한 재구성 품질(디코더가 역함수보다 뛰어날 것임)을 주장하거나, 다른 모든 방법보다 특정 축(국소 또는 전역)에서 압도적이라고 주장하지 않음을 명시합니다. 대신, FloDR은 두 축 모두에서 매우 경쟁력 있는 성능을 동시에 보여주며, 결과물인 2D 맵의 한계를 해석하기 위한 엄격한 프레임워크를 제공하는 방법론으로 제시됩니다.