🤖 machine learning

DREAMS: Preserving both Local and Global Structure in Dimensionality Reduction

本文介绍了 DREAMS，这是一种通过结合 t-SNE 和 PCA 的优势并引入一个简单的正则化项，从而有效平衡局部与全局结构保持的降维方法，该方法在多个真实世界数据集上均优于现有方法。

原作者： Noël Kury, Dmitry Kobak, Sebastian Damrich

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Noël Kury, Dmitry Kobak, Sebastian Damrich

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个巨大的、乱七八糟的箱子，里面装着成千上万种不同的玩具。有些是微小且精细的动作玩偶；另一些则是大型、笨重的积木。你想把它们铺在一张平坦的桌子上，以便观察它们彼此之间的关系。

问题在于，这个箱子是三维（甚至更高维度）的，而你的桌子只有二维。当你试图将其压平（降维）时，你必须做出选择：

“局部”方法 (t-SNE)： 你决定让那些微小的动作玩偶紧密地聚集在一起，以便看清它们的每一个细节。但这样做，你可能会不小心把那些大的积木散落在桌子的各处，从而丢失了对“大局观”的感知。
“全局”方法 (PCA)： 你决定让那些大的积木保持在彼此之间正确、逻辑性的位置。但这样做，那些微小的动作玩偶就会被挤压在一起，变成一个模糊的团块，你再也无法分辨它们了。

长期以来，科学家们必须在两者之间做出选择。他们无法同时拥有精细的细节和宏观的全景。

DREAMS 登场：兼顾两者的“最佳方案”

这篇论文介绍了一种名为 DREAMS（跨多尺度增强降维）的新方法。你可以把 DREAMS 想象成一个智能、可调节的镜头，它能让你在看清整个场景的同时，还能放大观察微小的细节。

它是这样工作的，这里用一个简单的类比来解释：

“橡胶片”与“磁铁”
想象你正在拉伸一张橡胶片（这就是 t-SNE 部分）。你把微小的动作玩偶拉开，使它们互不重叠，从而保留了它们的局部邻域。这对于观察微观细节非常有效。

然而，橡胶片可能会拉伸过度，导致整个布局看起来发生扭曲。为了解决这个问题，DREAMS 在橡胶片下方增加了一个磁铁（这就是 PCA 部分）。这个磁铁会轻轻地将整张橡胶片拉向一个预先确定的、逻辑性的形状（即“全局结构”）。

如果磁铁很弱： 橡胶片会自由地拉伸。你会得到一张精细的微型玩偶地图，但大局观可能会显得有些摇晃。
如果磁铁很强： 橡胶片会被紧紧拉向逻辑形状。你会得到一个完美的宏观全景，但微小的动作玩偶会被挤压在一起。
“黄金分割点”（DREAMS 的解决方案）： 作者们找到了一个磁铁强度的“金发姑娘原则”（意指恰到好处的状态）。在这个设置下，橡胶片既有足够的拉伸空间来清晰展示微型玩偶，同时磁铁又足够强大，能让大的积木保持在它们正确、逻辑性的位置。

他们发现了什么？

研究人员在 11 个不同的现实世界数据集上测试了这种“可调节磁铁”方法，包括复杂的生物数据（如脑细胞）和图像数据（如手写数字）。

它比竞争对手表现更好： 当我们将 DREAMS 与其他流行方法（如 UMAP、t-SNE 和 PCA）进行比较时，DREAMS 在保持“邻域”（局部结构）和“大陆”（全局结构）完整性方面始终表现得最好。
一个平滑的光谱： 最酷的特性之一是你可以通过滑动一个旋钮（称为 $\lambda$ ）来改变视角。你可以将它滑到最左端的“局部”侧以查看精细细节，滑到最右端的“全局”侧以查看宏观全景，或者停在两者之间的任何位置以获得完美的平衡。
现实世界的例子： 在一个脑细胞数据集中，标准方法要么只能让你看到宽泛的类别（神经元 vs 非神经元）却忽略了具体的亚型，要么能显示出具体的细胞亚型却搞乱了宽泛的分类。而 DREAMS 则能两者兼顾：宽泛的组别处于正确的位置，且在这些组别内部，特定的细胞类型也被清晰地分隔开来。

核心结论

DREAMS 是一个解决旧问题的全新工具：如何在压平复杂的多层数据时，既不丢失“森林”，也不丢失“树木”。通过在让局部细节自由呼吸的同时，加入一种向全局图谱的“轻柔拉力”，它创造出了比以往方法更准确、更易于理解的可视化效果。

作者指出，虽然运行这个“磁铁”系统需要稍多一点的计算能力，但其结果提供了一个更清晰的复杂数据图像，尤其是当数据具有层次结构时（例如家谱或具有社区和行政区的城市地图）。

技术摘要：DREAMS —— 在降维中同时保留局部与全局结构

问题陈述

降维（Dimensionality Reduction, DR）对于高维数据的可视化至关重要，然而现有方法通常只能擅长保留局部结构或全局结构，很难两者兼顾。

局部结构： 诸如 t-SNE 和 UMAP 等方法能有效保留邻域关系和细粒度聚类（例如特定的细胞类型），但往往会扭曲全局排列（例如宽泛的类别分离或发育轨迹）。
全局结构： PCA 和 MDS 保留了宏观数据模式和方差，但往往无法解析精细的局部关系，导致不同的聚类合并在一起。

在现实世界的数据集（如单细胞转录组学）中，这两种尺度的结构都是具有意义且互补的。忽视其中一个尺度可能会导致不完整或有偏见的解释。目前的混合方法通常难以有效地平衡这些相互竞争的目标，或者无法在其优化谱系中恢复出纯粹的极端情况（即标准的 PCA 或 t-SNE）。

方法论：DREAMS

作者提出了 DREAMS（Dimensionality Reduction Enhanced Across Multiple Scales，跨多尺度增强降维），这是一种非参数化方法，通过一个简单的正则化项，将 t-SNE 的局部敏感性与 PCA 的全局结构保持能力结合在一起。

核心机制

DREAMS 通过增加一个二次惩罚项来增强标准的 t-SNE 损失函数，该惩罚项旨在鼓励低维嵌入与预计算的全局参考嵌入（默认为 PCA）保持一致。

目标函数定义为：
$L(Y) = (1 - \lambda)L_{t-SNE}(Y) + \lambda \frac{1}{n} \|Y - \alpha \tilde{Y}\|_F^2$

其中：

$Y$ 是正在优化的低维嵌入。
$L_{t-SNE}(Y)$ 是标准 t-SNE 损失（高维相似度分布与低维相似度分布之间的 Kullback–Leibler 散度）。
$\tilde{Y}$ 是预计算的全局参考嵌入（例如 PCA）。
$\lambda \in [0, 1]$ 是控制局部与全局保持之间权衡的超参数。
$\alpha$ 是一个标量缩放因子，在每次梯度下降迭代时计算，用于使参考嵌入（ $\tilde{Y}$ ）的尺度与 t-SNE 嵌入（ $Y$ ）的尺度相匹配，从而确保线性 PCA 尺度与非线性 t-SNE 尺度之间的兼容性。

实现细节

参考嵌入： 默认情况下，DREAMS 使用 PCA，因为它具有速度快和可解释性强的特点。然而，该框架支持其他全局方法，如 MDS（称为 DREAMS-MDS）。
优化： 该方法基于 openTSNE 库实现，通过向梯度下降优化过程添加正则化项。
替代方案： 作者还探索了一种“线性解码”变体（DREAMS-CNE-Decoder），即使用可训练的线性解码器从嵌入中重建原始数据，但发现预计算参考的方法在保留局部结构方面表现更优。
谱系（Spectrum）： 通过改变 $\lambda$ $λ$ ，DREAMS 生成一个连续的嵌入谱系：
- $\lambda = 0$ ：恢复标准的 t-SNE。
- $\lambda = 1$ ：恢复缩放后的 PCA 嵌入。
- $0 < \lambda < 1$ ：提供平衡的权衡。

核心贡献

正则化策略： 引入了一种简单且有效的正则化项，将全局结构保持（通过 PCA/MDS）直接整合到 t-SNE 目标函数中。
可视化谱系： 展示了一个可调的嵌入谱系，在局部与全局结构的权衡方面提供了最先进的折衷方案。
全面的基准测试： 在包括单细胞转录组学、基因组数据和图像数据集在内的 11 个真实世界数据集上，对 10 种算法进行了评估。
开源实现： 提供了基于 openTSNE 和 CNE（Contrastive Neighbor Embedding）库的开源实现。

实验结果

作者使用两个主要指标对 DREAMS 及其基准方法（t-SNE, UMAP, PCA, MDS）以及混合方法（TriMap, PaCMAP, PHATE, SQuadMDS-hybrid, StarMAP）进行了评估：

KNN（局部）： k-最近邻召回率。
CPD（全局）： 成对距离的相关性（Spearman 相关系数）。

研究发现

卓越的权衡： 在 10 个数据集上，DREAMS（使用默认 $\lambda=0.15$ ）实现了最高的综合局部-全局得分。它始终能保持接近 t-SNE 的 KNN 得分，同时获得接近 PCA 的 CPD 得分。
与混合方法的比较： DREAMS 的表现优于 StarMAP 和 SQuadMDS-hybrid 等其他混合方法。具体而言，DRE_AMS 在保留局部结构方面显著优于使用 UMAP 的 StarMAP，并且比 SQuadMDS-hybrid 提供了更有利的全局-局部权衡。
谱系质量： 与竞争方法相比，DREAMS 生成的嵌入谱系提供了更平滑且更有效的局部与全局极端情况之间的过渡；而竞争方法往往无法恢复纯粹的 PCA 或 MDS 极限，或在极端情况下出现性能下降。
局限性： 在缺乏显著全局结构的数据集（如 MNIST）上，DREAMS 无法同时最大化这两个指标，因为全局结构本身较弱。在这种情况下，其表现与其他方法相当。

重要性与主张

论文声称，DREAMS 通过实现局部与全局结构的同步保留且不产生实质性妥协，填补了降维领域的一个关键空白。

可解释性： 通过将 t-SNE 优化锚定在 PCA 参考之上，DREAMS 生成的可视化既具有局部细节（揭示精细聚类），又具有全局连贯性（保留宽泛的类别分离），使其更忠实于底层数据的层次结构。
灵活性： 该方法具有适应性；用户可以调整 $\lambda$ 以根据特定的分析需求优先考虑局部或全局特征，或者在 PCA 对特定数据集的全局几何结构并非最优时，切换参考嵌入（例如使用 MDS）。
实用性： 作者指出，虽然由于正则化项的存在，DREAMS 引入了轻微的计算开销，但其默认设置（ $\lambda=0.15$ ）在不同数据集上均能稳健运行，无需进行大量的超参数调优。

作者总结道，对于存在多尺度结构的层次化数据集，DREAMS 提供了一个更忠实且更具可解释性的可视化工具。