🤖 machine learning

ScaleMAP: Preserving Local Density and Neighborhood Structure in Low-Dimensional Embeddings

ScaleMAP 是一种新颖的降维方法，它通过利用局部半径对成对位移进行归一化，在低维嵌入中同时保留局部密度和邻域结构，从而有效地恢复了在 UMAP 和 DensMAP 等现有技术中经常丢失或失真的稀疏结构和广泛的密度变化。

原作者： Rajas Poorna (Georgia Institute of Technology), Marcus T. Cicerone (Georgia Institute of Technology)

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Rajas Poorna (Georgia Institute of Technology), Marcus T. Cicerone (Georgia Institute of Technology)

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个巨大的、杂乱无章的房间，里面充满了成千上万种不同的物体。有些是巨大的岩石，有些是微小的碎石，还有些是连接两堆沙子的纤细丝线。你的目标是为这个房间拍一张照片，并将其放入一张小纸片（2D 地图）上，以便你能看到所有物体是如何相互关联的。

问题在于，我们通常用来拍摄这类照片的工具（称为 UMAP 和 t-SNE）有一种奇怪的习惯：它们把每个物体都视为同样大小。它们把巨石压扁，把碎石拉长，直到所有东西看起来都差不多大。这对于观察哪些物体在彼此“附近”很有用，但它破坏了关于不同区域有多“拥挤”或多“稀疏”的信息。这就像是在拍照时，一片茂密的森林和一棵孤独的树在照片里占据的空间看起来是一样大的。

这篇论文介绍了一种名为 ScaleMAP 的新工具，它解决了这个问题。以下是它的工作原理，使用简单的类比来解释：

问题所在：“均衡器”效应

现有的工具（如 UMAP）就像一个严格的音频均衡器，强迫每种声音的音量都保持一致。

问题在于： 如果有一个密集的人群（一个“簇”）和一群在桥上散步的稀疏人群，旧工具会把人群压扁，把桥拉长，直到它们看起来一样大。
后果： 你会丢失那个“桥”。在真实数据中，这些桥代表了重要的过渡过程（例如，一个细胞从一种类型转变为另一种类型）。如果工具把桥压扁了，这种过渡就会消失，导致数据看起来是破碎的。

旧的解决方法：添加“惩罚项”

之前的一个名为 DensMAP 的工具试图通过在数学中添加一个“惩罚项”来解决这个问题。它告诉计算机：“嘿，如果人群看起来太小了，就把他们推开！”

缺陷： 这个惩罚项与保持邻居在一起的主要目标相冲突。这就像是你试图和朋友牵手，但同时又有人在不断地把你往相反的方向拉。结果是，人群变得零散，人们最终远离了他们实际的邻居，使得地图变得混乱且难以阅读。

新的解决方案：ScaleMAP（“变焦”相机）

ScaleMAP 采取了不同的方法。它不是添加一个与系统对抗的惩罚项，而是改变了相机的镜头。

想象你在城市中行走：

在拥挤的市场里： 你迈着小步，因为周围人很多。
在空旷的公园里： 你迈着大步，因为空间很充裕。

ScaleMAP 在数学上也这样做。它观察原始数据中某个区域有多拥挤，然后告诉地图：“如果这个区域很拥挤，就把点与点之间的距离视为‘小’；如果这个区域很空旷，就把距离视为‘大’。”

它本质上是在说：“不要改变游戏规则；只需根据人群的大小来改变‘游乐场’的大小。”

这实现了什么

通过使用这种“变焦”方法，ScaleMAP 能够同时实现其他工具无法做到的两件事：

让邻居聚在一起： 就像 UMAP 一样，它让朋友紧跟朋友。
保留人群规模： 就像 DensMAP 一样，它让密集的群体看起来依然密集，让稀疏的区域看起来依然稀疏。

论文中的现实世界案例

作者在三种类型的“房间”（数据集）上测试了它：

“细胞城市”（转录组学）： 在关于免疫细胞的数据中，存在连接不同细胞类型的“桥梁”（例如，从婴儿细胞到成年细胞的路径）。UMAP 会把这些路径压得极薄，以至于它们消失了。ScaleMAP 则能保持路径宽阔可见，展示细胞完整的旅程。
“光谱图像”（高光谱成像）： 想象一张关于蠕虫的照片，其中大部分是同一种颜色，但有一个非常尖锐且细小的异色峰值。UMAP 会把这个峰值抹平并融入背景中。ScaleMAP 则能保持这个峰值的尖锐和清晰，使其像大海捞针中的那根针一样清晰可见。
“流式细胞术”（细胞计数）： 这类数据具有极大的密度范围——有些区域有数百万个细胞，而有些地方几乎没有。UMAP 和 DensMAP 在面对如此巨大的差异时会感到困惑。ScaleMAP 完美地处理了它，展示了一个跨越 17 个数量级（这相当于在同一张地图上对比一颗沙粒和一个山脉的大小）的结构。

核心结论

ScaleMAP 是一种更智能的将 3D（或 100D）数据扁平化为 2D 图片的方法。它不会强迫数据看起来是均匀的。相反，它尊重不同群体的自然“大小”，确保密集的群体保持密集，稀疏的桥梁保持可见，并且没有人会在人群中迷失。它结合了以往工具的最佳特性，同时避免了它们那些混乱的副作用。

技术摘要：ScaleMAP

问题陈述
非线性降维（DR）方法，特别是 UMAP、PaCMAP 和 t-SNE，是高维数据探索性分析的标准工具。这些方法构建近似的 $k$ -最近邻（kNN）图，并使用自适应带宽归一化局部距离。虽然这种归一化确保了对密度变化的鲁棒性，但它也无意中抹除了邻域的绝对尺度。因此，这些方法无法保留簇的相对大小，并会抑制稀疏结构，例如细胞类型转换之间的桥接、高光谱图像中的窄谱峰，或跨越多个数量级的密度变化（例如流式细胞术）。

现有的修正尝试（如 DensMAP）通过在损失函数中引入惩罚项来最大化原始空间与嵌入空间局部密度之间的相关性。然而，本文指出这种方法引入了一个竞争目标：密度惩罚项会与 UMAP 内在的吸引-排斥力发生冲突。这种冲突会将点散射到远离其真实邻域的位置，导致产生高比例的“离散点”（disconnected points），并使稀疏区域难以解释。

方法论
ScaleMAP 提出了一种不同的方法：与其添加一个竞争性的损失项，不如通过在现有 UMAP 目标函数中应用变量代换（change of variables）来重新引入尺度信息。

局部半径定义： ScaleMAP 利用“局部半径”（ $r_i$ ），即一个点到其邻居的加权均方根距离，作为衡量邻域尺度的指标。
重缩放距离： ScaleMAP 不再使用欧几里得平方距离 $d_{ij}^2 = \|y_i - y_j\|^2$ 在损失函数中，而是定义了一个重缩放后的平方距离：
$\tilde{d}_{ij}^2 = \frac{d_{ij}^2}{r_i r_j}$
其中 $r_i$ 和 $r_j$ 是两个端点的局部半径。
力修改： 这种替换修改了交叉熵损失的梯度。对于吸引力（邻居）和排斥力（非邻居）的更新规则都按 $1/(r_i r_j)$ $1/ (r_{i} r_{j})$ 的因子进行了缩放。
- 对称性： 至关重要的是，这种重缩放对称地应用于吸引力和排斥力。这保留了赋予 UMAP 邻域保持特性的局部平衡。
- 效果： 处于稀疏区域（较大的 $r_i, r_j$ ）的点在单位欧几里得位移下会感受到较弱的力，从而使嵌入空间将其展开。处于密集区域的点则保持紧密排列。
归一化： 为了处理原始数据与嵌入之间独立的距离尺度，ScaleMAP 在进行代换前使用半径分布的第 95 百分位数（ $P_{95}$ ）对局部半径进行归一化。
向 PaCMAP 扩展： 该原理同样适用于 PaCMAP（称为 Scale-PaCMAP），即通过用 PaCMAP 的每个点的距离尺度（ $\sigma_i \sigma_j$ ）替换半径的几何平均值。

核心贡献

新颖的公式化： 引入了 ScaleMAP，这是一种通过变量代换而非增加损失项来注入局部尺度信息的 UMAP 修改版本。
性能平衡： 证明了 ScaleMAP 在实现 UMAP 级别的邻域保持能力的同时，达到了与 DensMAP 相当甚至更优的密度保持效果，且产生的“离散点”显著减少。
结构恢复： 成功恢复了 UMAP 会压缩的稀疏结构（例如转录组学中的桥接）以及多尺度密度结构（例如流式细胞术数据）。
泛化性： 证明了变量代换原则可以推广到其他方法，特别是 PaCMAP。

结果
作者在标准基准数据集（MNIST、Fashion-MNIST、COIL-20、Mammoth）以及三个科学数据集（Tabula Sapiens 转录组学、BCARS 高光谱成像和人类骨髓流式细胞术）上评估了 ScaleMAP。

定量指标：
- 密度保持： 在大多数数据集上，ScaleMAP 实现了与 DensMAP 相当的密度保持能力（对数-对数拟合的 $R^2$ ）（例如，Fashion-MNIST 上 $R^2 \approx 0.51$ ，而 DensMAP 为 $0.58$）。在具有极端动态范围的数据集上，ScaleMAP 优于 DensMAP（例如，流式细胞术： $R^2 = 0.80$ 对比 DensMAP 的 $0.68 $；高光谱成像：$ R^2 = 0.81$ 对比 DensMAP 的 $0.59$）。
- 邻域保持： ScaleMAP 维持了与 UMAP 相当的 kNN 召回率（例如，Fashion-MNIST 上为 14.3% 对比 UMAP 的 13.3%），且显著优于 DensMAP（7.1%）。
- 离散点： ScaleMAP 保持了较低的离散点比例，与 UMAP 相当（例如，0.19% 对比 UMAP 的 0.11%），而 DensMAP 的离散点比例高出一个数量级（3.48%）。
- 类别混合： ScaleMAP 减少了与两个基准方法相比的类别混合现象。
定性观察：
- 转录组学： ScaleMAP 恢复了细胞群体之间稀疏的桥接（例如单核细胞-中性粒细胞、B-T 细胞），而这些桥接在 UMAP 中会被压缩或变得不可见。
- 高光谱成像： 它揭示了被 UMAP 压缩或吸收进背景中的稀疏光谱峰和微小簇。
- 流式细胞术： 它忠实地呈现了跨越 17 个数量级的多尺度结构，保留了在 UMAP/DensMAP 中由于缺乏多尺度保真度而显得极小的标记物阴性细胞“球状结构”。
- 合成诊断： 在 “XOI” 和 “Bridge” 数据集上，ScaleMAP 正确保留了相对大小和稀疏连接，而 DensMAP 则会扭曲形状并散射点。

意义与主张
论文声称 ScaleMAP 代表了邻域保持型嵌入在处理尺度问题上的根本性改进。通过将重缩放视为一种变量代换而非竞争目标，ScaleMAP 避免了 DensMAP 中存在的密度保真度与邻域完整性之间的权衡。

作者断言，ScaleMAP 是唯一测试的方法，它没有为了一个维度的嵌入质量而牺牲另一个维度：它保留了 UMAP 的邻域保持能力，匹配了 DensMAP 的密度保达能力，并提升了全局距离顺序的保持能力（在具有宽动态范围的数据集上超过了 PaCMAP）。论文总结道，恢复局部尺度是邻域保持型嵌入中一个普遍缺失的关键要素，并建议在需要忠实呈现尺度时将 ScaleMAP 作为默认方法。该方法具有计算效率，仅增加了预计算半径的 $O(n)$ 开销，总运行时间约为 UMAP 的两倍。