DR-SNE: Density-Regularized Stochastic Neighbor Embedding

技術的サマリー：DR-SNE（密度正則化確率的近傍埋め込み）

問題定義
標準的な次元削減手法、特に t-SNE とその変種は、局所的な近傍関係を保持することを目的とした幾何学的問題として定式化されている。条件付き構造（局所的な類似性）の維持には効果的であるが、これらの手法はデータセット全体にわたる確率質量の分布を暗黙的に無視している。その結果、疎な領域が拡大し、密な領域が圧縮されるなど、データ密度に深刻な歪みが生じることが多い。これは、データ分布を誤って表現する埋め込みをもたらし、誤ったクラスターサイズや空間的関係を生み出す。既存の密度を考慮するアプローチ（DensMAP や DenSNE など）は、局所近傍のスケール（半径や帯域幅など）の一貫性を強制することでこれを緩和しようとする。しかし、本論文は、これらのスケールに基づく代理変数は局所サンプリング密度と間接的にしか関連しておらず、埋め込みスケールや近傍の定義に対して敏感になり得ると主張している。

手法
著者は、次元削減を 2 つのコンポーネントの共同アライメントとして再定式化した DR-SNE（Density-Regularized Stochastic Neighbor Embedding） を提案する。

1. 条件付き構造: 局所的な関係性の捕捉（SNE/t-SNE の標準的機能）。
2. 相対密度構造: 局所密度統計量を通じた確率質量の変動の捕捉。

理論的には、これは結合分布間のカルバック・ライブラー（KL）ダイバージェンスを条件付き成分と周辺成分に分解することに基づいている。標準的な SNE は周辺分布を均一に固定することで条件付き項のみを最適化する。DR-SNE は、周辺密度をアライメントするための補完的な目的関数を導入する。

アルゴリズム的実装:

• 密度推定: 高次元空間（$X$）と低次元空間（$Z$）の両方における局所密度は、$k$ 最近傍（$k$-NN）距離を用いて推定される。
• 正規化: スケール不変性を確保するため、これらの密度推定値（$\rho$）は平均 1 に正規化される。
• 目的関数: 総損失 $L$ は、標準的な疎な KL ダイバージェンス（$L_{KL}$）と密度正則化項（$L_{dens}$）を組み合わせる。
  $$L = L_{KL} + \lambda L_{dens}$$
  ここで、$L_{dens}$ は正規化された対数密度推定値間の二乗差を最小化する。
  $$L_{dens} = \frac{1}{n} \sum_{i=1}^{n} \left( \log \tilde{\rho}^{high}_i - \log \tilde{\rho}^{low}_i \right)^2$$
• 最適化: この手法は、早期の誇張（early exaggeration）を用いたウォームアップ段階 followed by Adam による最適化（勾配クリッピング付き）を行う。パラメータ $\lambda$ は、近傍忠実度と密度保持の間のトレードオフを制御する。

主要な貢献

1. 理論的再定式化: 本論文は、次元削減を条件付き構造と周辺密度の共同アライメントとして明示的に位置づけ、周辺項の無視が標準的手法における密度歪みの根本原因であることを特定した。
2. 直接密度アライメント: 以前の研究がスケールに基づく代理変数に依存していたのに対し、DR-SNE は正規化された対数密度推定値を直接アライメントする。これにより、相対的な密度変動を保持するスケール不変なメカニズムが提供される。
3. 新しい評価指標: 著者は、密度保持を定量的に評価するために、元の空間と埋め込み空間における正規化された対数密度推定値間の相関として定義される**密度相関（Density Correlation: DC）**を導入した。
4. 実証的検証: 広範な実験により、DR-SNE が t-SNE、UMAP、PaCMAP、DensMAP、DenSNE と比較して優れた密度保持を達成しつつ、競争力のある近傍忠実度を維持することが示された。

結果

• 密度保持: 多様なデータセット（Digits、Fashion-MNIST、MNIST、PBMC、Shuttle、および合成スパイラル）において、DR-SNE は一貫して最高の密度相関スコアを達成した。例えば、MNIST データセットでは、DR-SNE は DC 0.991 を達成し、DensMAP の 0.987 や標準的な t-SNE の 0.118 を上回った。
• トポロジー対密度のトレードオフ: 除去実験（アブレーションスタディ）は、明確なパレートフロンティアを明らかにした。$\lambda$ を増加させると密度相関は単調に改善されるが、信頼性（局所構造）は徐々に低下する。注目すべきは、小さな非ゼロ値の $\lambda$ が、安定化剤として機能し、密度保持と局所構造の両方を改善することが多いことである。
• 下流タスクのパフォーマンス: 異常検出タスク（kNN、LOF、Isolation Forest、重心ベースの検出器を使用）において、DR-SNE は特に密度駆動型の領域（Shuttle、Thyroid など、異常が低密度領域に対応する場合）で利益をもたらす。特定のスコアリング関数にのみ優れる手法と比較して、異なる検出器に対して堅牢性を示した。
• 計算コスト: 密なペアワイズ相互作用により、DR-SNE は標準的な t-SNE と同様に反復あたり $O(n^2)$ の時間複雑性を維持する。ただし、著者は既存の高速化技術（Barnes-Hut など）を適用可能であると指摘している。

意義と主張
本論文は、DR-SNE が広く使用されている可視化ツールの根本的な限界に対処する「シンプルで原理的な拡張」を提供すると主張している。密度情報を明示的に組み込むことで、DR-SNE は、特に離散クラスターと連続的な変動の両方を含むハイブリッドデータセット（単一細胞 RNA-seq データなど）において、基礎となるデータ分布をより忠実に表現する。

著者は、次元削減は単なる幾何学的問題としてではなく、データ分布の相補的なコンポーネントのアライメントとして捉えるべきであると強調している。幾何学に焦点を当てた手法は、純粋にクラスター化されたまたは多様体が支配的な設定では依然として好ましいが、密度を保持する埋め込みは、統計的解析、異常検出、およびデータ点の相対密度が意味のある情報を担うタスクにおいて不可欠であると論じている。この手法は制御可能なトレードオフを提供し、実践者がデータの特定の構造領域に基づいて埋め込みを調整することを可能にする。