🤖 machine learning

DR-SNE: Density-Regularized Stochastic Neighbor Embedding

本文介绍了 DR-SNE，这是一种降维方法，通过在标准随机邻域嵌入目标函数中引入密度正则化项，在保持局部邻域结构的同时显式保留相对数据密度变化，从而提升在异常检测等对密度敏感任务上的性能。

原作者： Maksim Kazanskii

发布于 2026-05-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Maksim Kazanskii

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个巨大而杂乱的房间，里面堆满了成千上万种不同的物体。有些物体堆积成密集、沉重的簇（就像一座书山），而另一些则稀疏地散落在地板上（就像几件零散的玩具）。

你的目标是从高处拍摄这个房间，但你只能捕捉到一张扁平的二维照片。你希望这张照片看起来“正确”。

旧方法的问题
现有的用于拍摄这张照片的工具（如 t-SNE 或 UMAP）非常擅长让邻居保持邻近。如果两本书在房间里紧挨着，它们在照片中也会紧挨着。然而，这些工具有一个奇怪的副作用：它们将每一堆物体都视为大小相同。

如果你有一座巨大、密集的书山和一小堆稀疏的玩具，旧工具会将书山压扁，并将玩具拉伸，使它们在照片中看起来大小大致相同。这就像拍了一张照片，其中拥挤的城市街区和空旷的沙漠田野看起来拥有完全相同的人数。你失去了房间真实的“密度”。你可以看到群体在哪里，但无法分辨哪些群体实际上很大，哪些很小。

新解决方案：DR-SNE
作者马克西姆·卡赞斯基（Maksim Kazanskii）介绍了一种名为 DR-SNE（密度正则化随机邻域嵌入）的新工具。

将 DR-SNE 想象成一位携带特殊“密度计”的摄影师。这位摄影师不仅确保邻居保持邻近，还会检查：“这个特定地点有多拥挤？”

旧方法：“让这两本书紧挨着。”（结果：书山被压扁；玩具被拉伸）。
DR-SNE 方法：“让这两本书紧挨着，并且确保这座书山看起来仍然比那小堆玩具大得多、密集得多。”

工作原理（比喻）
想象你试图将山脉的三维地图压平到一张纸上。

标准方法可能会拉伸山谷并缩小山峰，使一切看起来平坦且均匀。
DR-SNE 增加了一条规则：“不要过度拉伸山谷，也不要过度缩小山峰。保持高度（密度）的相对差异可见。”

它通过在其数学计算中添加一个简单的“惩罚”来实现这一点。如果该工具试图过度压扁密集区域或过度拉伸稀疏区域，它就会受到“皱眉”（数学惩罚），并必须重新尝试。

论文发现
作者在各种数据集（衣物图像、生物细胞和合成形状）上测试了这台新相机，发现：

更好的密度表现：DR-SNE 在显示哪些区域实际上拥挤、哪些区域空旷方面要好得多。在照片中，密集簇保持紧凑，稀疏区域保持分散，就像在真实的三维房间中一样。
邻居关系依然良好：它没有失去让邻居聚集在一起的能力；它只是在此基础上增加了这项额外的“密度”技能。
权衡：存在一种平衡。如果你将“密度计”调得太高，照片在簇的确切形状方面可能会变得有点模糊。但如果你只将其调高一点点，你就能得到两全其美的效果：清晰的邻居关系以及准确的群体规模。

为何重要（根据论文）
论文表明，这种看待数据的新方法有助于特定任务，特别是异常检测（找出“异类”）。

如果你正在人群中寻找一个罕见、孤独的对象（异常值），那么拥有一张人群看起来密集、空旷空间看起来空旷的照片会有所帮助。如果你的照片压扁了人群并拉伸了空旷空间，那个“孤独”的对象可能会丢失，或者看起来属于一个实际上并不存在的群体。DR-SNE 保持了密度的真实性，使计算机程序更容易在诸如"Shuttle"（系统监控数据集）或"Thyroid"（医疗数据集）等数据集中发现罕见项目。

总结
DR-SNE 是一种将三维数据压平为二维图片的更智能的方法。它不仅让朋友聚在一起，还尊重社区的拥挤程度，确保数据点的“城市”在最终照片中不会被缩小到“村庄”的大小。

技术摘要：DR-SNE（密度正则化随机邻域嵌入）

问题陈述
标准的降维方法，特别是 t-SNE 及其变体，被表述为旨在保持局部邻域关系的几何问题。虽然这些方法在保持条件结构（局部相似性）方面行之有效，但它们隐式地忽略了数据集中概率质量的分布。因此，它们经常引入严重的数据密度失真，扩张稀疏区域并压缩密集区域。这导致嵌入结果歪曲了底层数据分布，产生误导性的簇大小和空间关系。现有的密度感知方法，如 DensMAP 和 DenSNE，试图通过强制局部邻域尺度（例如半径或带宽）的一致性来缓解这一问题。然而，本文认为，这些基于尺度的代理指标仅与局部采样密度间接相关，并且可能对嵌入尺度和邻域定义敏感。

方法论
作者提出了DR-SNE（密度正则化随机邻域嵌入），将降维重新表述为两个组件的联合对齐：

条件结构：捕捉局部关系（SNE/t-SNE 中的标准做法）。
相对密度结构：通过局部密度统计捕捉概率质量的变化。

理论上，这基于联合分布之间 Kullback–Leibler (KL) 散度分解为条件分量和边际分量。标准 SNE 通过固定边际分布为均匀分布，仅优化条件项。DR-SNE 引入一个互补目标以对齐边际密度。

算法实现：

密度估计：使用 $k$ -近邻 ( $k$ -NN) 距离估计高维 ( $X$ ) 和低维 ( $Z$ ) 空间中的局部密度。
归一化：将这些密度估计 ( $\rho$ ) 归一化为单位均值，以确保尺度不变性。
目标函数：总损失 $L$ 将标准稀疏 KL 散度 ( $L_{KL}$ ) 与密度正则化项 ( $L_{dens}$ ) 相结合：
$L = L_{KL} + \lambda L_{dens}$
其中 $L_{dens}$ 最小化归一化对数密度估计之间的平方差：
$L_{dens} = \frac{1}{n} \sum_{i=1}^{n} \left( \log \tilde{\rho}^{high}_i - \log \tilde{\rho}^{low}_i \right)^2$
优化：该方法使用带有早期夸张（early exaggeration）的预热阶段，随后通过带有梯度裁剪的 Adam 进行优化。参数 $\lambda$ 控制邻域保真度与密度保持之间的权衡。

主要贡献

理论重构：本文明确将降维框架化为条件结构与边际密度的联合对齐，指出标准方法中边际项的忽视是密度失真的根本原因。
直接密度对齐：与依赖基于尺度代理指标的先前工作不同，DR-SNE 直接对齐归一化的对数密度估计。这提供了一种保持相对密度变化的尺度不变机制。
新评估指标：作者引入了密度相关性 (DC)，定义为原始空间与嵌入空间中归一化对数密度估计之间的相关性，以定量评估密度保持效果。
实证验证：大量实验表明，与 t-SNE、UMAP、PaCMAP、DensMAP 和 DenSNE 相比，DR-SNE 实现了更优越的密度保持，同时保持了具有竞争力的邻域保真度。

结果

密度保持：在多样化的数据集（Digits、Fashion-MNIST、MNIST、PBMC、Shuttle 和合成螺旋）上，DR-SNE 始终获得最高的密度相关性得分。例如，在 MNIST 数据集上，DR-SNE 的 DC 得分为 0.991，而 DensMAP 为 0.987，标准 t-SNE 为 0.118。
拓扑与密度的权衡：消融研究揭示了清晰的帕累托前沿。增加 $\lambda$ 会单调地提高密度相关性，但会逐渐降低可信度（局部结构）。值得注意的是，小的非零 $\lambda$ 值通常能同时改善密度保持和局部结构，起到稳定器的作用。
下游性能：在异常检测任务（使用 kNN、LOF、孤立森林和基于质心的检测器）中，DR-SNE 带来了提升，特别是在密度驱动的场景（例如 Shuttle、Thyroid）中，其中异常对应于低密度区域。与仅在特定评分函数下表现优异的方法相比，它在不同检测器之间表现出鲁棒性。
计算成本：由于密集的成对交互，DR-SNE 保留了标准 t-SNE 每迭代 $O(n^2)$ 的时间复杂度，尽管作者指出可以应用现有的加速技术（例如 Barnes-Hut）。

意义与主张
本文声称，DR-SNE 为随机邻域框架提供了一个“简单且合乎原则的扩展”，解决了广泛使用的可视化工具的一个根本局限性。通过显式地纳入密度信息，DR-SNE 提供了对底层数据分布更真实的表示，特别是在包含离散簇和连续变化（例如单细胞 RNA-seq 数据）的混合数据集中。

作者强调，他们的工作表明降维不应仅仅被视为一个几何问题，而应被视为数据分布互补组件的对齐。他们主张，虽然专注于几何的方法在纯簇状或流形主导的设置中仍然更可取，但密度保持的嵌入对于统计分析、异常检测以及数据点的相对密度携带有意义信息的任务至关重要。该方法提供了一种可控的权衡，允许从业者根据其数据的具体结构机制来调整嵌入。

技术摘要：DR-SNE（密度正则化随机邻域嵌入）

类似论文