📊 statistics

Cluster and then Embed: A Modular Approach for Visualization

本文提出了一种透明且模块化的可视化框架，该框架通过对数据进行顺序聚类、分别对每个簇进行嵌入，并随后对其进行对齐以同时保留局部结构和全局几何结构，从而改进了 t-SNE 和 UMAP 等方法。

原作者： Elizabeth Coda, Ery Arias-Castro, Gal Mishne

发布于 2026-07-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Elizabeth Coda, Ery Arias-Castro, Gal Mishne

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个装满 3D 乐高雕塑的巨大且杂乱无章的盒子。其中有些是微小、精巧的城堡；另一些则是规模宏大、平坦的城市。你的目标是为所有的雕塑拍照，并将它们铺在一张平坦的 2D 桌子上，以便观察它们之间的相互关系。

问题在于？如果你试图一次性把整个盒子里的东西都挤压到桌子上，那些平坦的城市会被压扁，而城堡则会重叠在一起，变成一个巨大且混乱的团块。这就是困扰着 t-SNE 和 UMAP 等流行工具的“拥挤问题”（crowding problem）。这些工具擅长将每个城堡的微小细节保留在一起，但它们往往会扭曲地图，使得原本遥远的城堡看起来紧挨在一起。

由此，Cluster+Embed (C+E) 方法应运而生，这是由 Elizabeth Coda、Ery Arias-Castro 和 Gal Mishne 提出的一种新方法。请不要将这种方法仅仅视为一个神奇的单体相机，而要将其视为一条三步走的流水线，它将你的数据视为一系列不同的“社区”。

第一步：社区分类（The Neighborhood Sort）

首先，该方法并不试图一次性拍摄整个盒子。相反，它像一位超级有序的图书管理员，根据形状将乐高雕塑分类到不同的堆中。如果你有一堆城堡和一堆城市，它们会被分到不同的箱子里。作者指出，你可以使用任何你喜欢的排序方法（例如流行的 Leiden 或 DBSCAN 算法），但关键在于你在拍照之前就定义好了这些组。

第二步：个体照片（The Individual Photos）

接下来，该方法会对每一堆进行单独拍照。因为图书管理员一次只看一堆城堡，他们可以完美地排列这些城堡，以展示其精细的细节，而不必担心城市会干扰到它们。这一步使用标准工具（如 PCA 或 TriMap）来仅对该特定组进行扁平化处理。结果是？你得到了一张关于城堡的高质量、清晰的照片，以及另一张同样清晰的城市照片。

第三步：全局地图（The Global Map）

这是最巧妙的部分。现在你拥有了一叠完美的、分开的照片。最后一步是将这些照片粘贴在一面巨大的墙上，制作成一张大地图。但与其随机粘贴，该方法使用了一种“刚性变换”——想象一下拿起一整张城堡堆的照片，对其进行平移、旋转或翻转，但绝不拉伸或挤压照片本身。

目标是使这些堆在墙上的位置与它们在原始盒子中的距离相匹配。为了解决拥挤问题（即墙上空间不足以容纳所有东西），该方法引入了一个“缩放旋钮”（称为 $\alpha$ ）。如果这些堆靠得太近并可能发生重叠，作者建议转动这个旋钮，轻轻地将堆推开，从而创造出足够的空间让每个人都能被清晰地看到，而不会扭曲照片内部的细节。

该方法对什么说“不”

作者非常明确地表达了他们在反对什么。他们认为，试图用一个单一的、全能的工具（如 t-SNE 或 UMAP）同时完美实现两件相互矛盾的事情是不现实的：既保持微小的局部细节完美，又保持全局距离准确。他们证明了虽然 t-SNE 在分离簇方面表现出色，但它往往会过度扭曲“地图”，导致你无法信任组与组之间的距离。他们还明确反驳了那种认为可以在没有结构化过程的情况下，直接将层次树强加于地图之上的观点；他们的这种方法是一个刻意的、透明的三步流程，而非黑盒。

他们有多大的把握？

作者并不声称这是一种能永远解决一切问题的灵丹妙药。相反，他们通过模拟和真实数据提供了有力的证据。

在合成数据上： 他们在包含 5,000 个点的 10 维高斯混合模型上测试了该方法。在这些模拟中，他们展示了通过使用缩放因子 $\alpha = 2$ ，其方法避免了困扰其他方法的重叠问题，创建了一个看起来与 t-SNE 非常相似的环状簇，但这是通过一个透明且可控的过程实现的。
在真实数据上： 他们将此方法应用于三个真实数据集：
1. MNIST（手写数字）： 一个包含 60,000 张图像的数据集。在这里，C+E 成功地将数字分成了不同的组（例如让 4 和 9 靠近），并且比倾向于将所有东西均匀分布的 t-SNE 更好地保留了全局结构。
2. 人类大脑类器官（Human Brain Organoids）： 一个包含 20,272 个细胞的数据集。该方法揭示了一个清晰的“发育轨迹”（随时间增长的路径），这在他们的地图中是可见的，而在 t-SNE 和 UMAP 中则显得更加“离散”。
3. 小鼠皮层（Mouse Cortex）： 一个包含 23,823 个细胞的数据集。在这里，C+E 揭示了一种“从粗糙到精细”的结构（大组分解为更小的组），而其他方法则忽略了这一点。

作者承认存在权衡。虽然 C+ E 在保留全局距离和局部形状方面表现优异，但有时在匹配 t-SNE 对极近邻（kNN recall）的完美保持能力（对于较小的 $k$ 值）方面会遇到困难。他们认为这是因为 t-SNE 有一种神秘的方式可以将数据分解成微小的碎片，而 C+E 并没有复制这种方式。然而，他们认为，对于一个既透明又忠实于数据整体形状的可视化方案，C+E 是一个非常有竞争力的、且更易于理解的替代方案。

简而言之，该论文表明，通过将问题分解为“分类、扁平化、再对齐”，我们可以得到一张不会在位置上撒谎的地图，即使到达那里需要更多的步骤。

技术摘要：先聚类后嵌入：一种用于可视化的模块化方法

问题陈述

降维方法，特别是 t-SNE 和 UMAP，被广泛用于可视化具有潜在聚类结构的高维数据。虽然这些方法能有效分组数据点并保留局部信息，但它们以扭曲底层数据的全局几何结构而闻名。具体而言，它们往往无法保留不同簇之间的相对位置、距离和大小。这种局限性源于“拥挤问题”（crowding problem），即低维嵌入空间缺乏足够的容量来容纳所有点在原始高维尺度下的距离，从而导致远距离点坍缩以及不同簇之间的重叠。现有方法通常需要在保留局部结构（分离簇）与保留全局距离之间进行权衡。

方法论：聚类+嵌入 (C+E) 框架

作者提出了一个名为 聚类+嵌入 (Cluster+Embed, C+E) 的模块化三步框架，旨在解决局部保真度与全局保真度之间的权衡问题。该方法将聚类、局部嵌入和全局对齐解耦，允许分析师根据其可视化目标为每个阶段选择特定的算法。

第一步：聚类

首先使用任何选定的聚类算法（例如 Leiden、DBSCAN、k-means）将数据 $\{x_i\}_{i=1}^n$ 划分为 $\kappa$ 个簇 ( $C_1, \dots, C_\kappa$ )。这一步显式地揭示了数据中存在的簇结构。在此阶段识别出的噪声点可以被丢弃。

第二步：单个簇嵌入

每个簇 $C_l$ 被单独嵌入到低维空间（通常为 $\mathbb{R}^2$ ）中，使用选定的嵌入方法（例如 PCA、Isomap、TriMap）。

原理： 单独嵌入每个簇可以减少与一次性嵌入整个数据集相比产生的失真，因为在较小的局部子集中，“拥挤问题”得到了缓解。
缩放： 如果嵌入方法依赖于序数信息，则会对每个簇应用缩放因子 $\gamma_l$ ，以最小化嵌入距离与原始差异之间的二次损失。

第三步：全局对齐

嵌入后的簇通过仅使用刚性变换（平移、旋转和反射）对齐到一个单一的全局嵌入中。目标是使各簇之间的相对位置尽可能忠实地保留彼此之间的成对差异性。

优化： 对齐过程最小化一个应力函数（Kruskal's stress），定义为：
$\min_{T_1, \dots, T_\kappa} \sum_{1 \le i < j \le \kappa} \sum_{l \in C_i} \sum_{m \in C_j} (\delta_{lm} - \|T_i(y_l) - T_j(y_m)\|)^2$
其中 $\delta_{lm}$ 是原始差异性， $T$ 代表刚性变换。
通过缩放 ( $\alpha$ ) 缓解拥挤问题： 为了防止最终可视化中的重叠，作者引入了一个调节参数 $\alpha \ge 1$ $α \geq 1$ 。簇之间的目标距离被缩放为 $\alpha \delta_{lm}$ $α δ_{l m}$ 。这有效地增大了低维图中簇之间的空间，从而避免了拥挤问题。
- $\alpha$ 可以手动调节或自动调节。作者提出了一个自动启发式算法： $\alpha = \max(1, \frac{\kappa \tau}{2\pi \Delta})$ ，其中 $\tau$ 是平均簇直径， $\Delta$ 是平均簇间距离。

核心贡献

模块化框架： 本文引入了一个透明的模块化方法，将聚类、嵌入和对齐作为独立的步骤。这允许用户选择特定算法用于每个阶段，以针对特定的可视化目标（例如，使用 TriMap 来提高 kNN 回召率，或使用 PCA 来保持距离保存）。
对全局几何结构的显式控制： 与 t-SNE 和 UMAP 不同，后者通过力导向动力学隐式且往往不透明地处理全局结构，而 C+E 通过刚性对齐显式地优化簇间距离的保存。
解决拥挤问题： 该方法并非通过改变核函数（如 t-SNE 使用 Cauchy 核）来解决拥挤问题，而是通过显式缩放簇间距离（通过参数 $\alpha$ ），确保不同的簇不会重叠，同时保持其相对组织结构。
透明度： 与端到端的方法相比，该方法更具解释性，因为局部结构（簇内）的保存和全局结构（簇间）的保存是由相互独立的、可控的机制处理的。

实验结果

作者在合成及真实世界数据集（MNIST、人类脑类器官数据、小鼠皮层数据）上对 C+E 进行了评估，基准包括 t-SNE、UMAP、PCA、Isomap、PHATE 和 TriMap。

合成形状数据集： C+E 实现了完美的局部指标（恢复了精确的簇配置）并保持了全局方向，而 t-SNE 和 UMAP 则引入了显著的局部失真。
MNIST： C+E 成功分离了簇，并将它们组织成有意义的分组（例如，将相似的数字分组）。虽然 t-SNE 在小 $k$ 值下表现出更优的 kNN 回召率，但 C+E 在全局指标（类别保存和簇间距离保存）方面优于 t-SNE 和 UMAP。
人类脑类器官数据： C+E 嵌入揭示了清晰的时间发育轨迹和独特的细胞类型分组。它保留了与 PCA 和 L-Isomap 相当甚至更好的全局指标，同时提供了比 t-SNE 或 UMAP 更优的局部结构和更少的坍缩。
小鼠皮层数据： C+E 揭示了一种粗细结合的结构（分离了抑制性/兴奋性神经元和非神经元），这在其他方法中并未体现。虽然嵌入的尺度被放大了（导致较高的归一化应力），但尺度不变的全局指标显示 C+E 优于 UMAP 和 t-SNE。

重要性与主张

论文声称 C+E 通过在忠实的局部嵌入和忠实的全局组织之间取得平衡，为现有的可视化方法提供了一个具有竞争力的替代方案。

权衡管理： 该方法承认局部保存与全局保存之间存在内在的权衡，但提供了一种机制（参数 $\alpha$ ）来显式管理这种权衡。
灵活性： 该框架允许用户在不牺牲簇全局排列的情况下，优先考虑特定的指标（例如，通过 TriMap 实现 kNN 回召率，或通过 PCA 实现距离保存）。
局限性： 作者谦虚地指出，t-SNE 在最大化小 $k$ 值的 kNN 回召率方面仍是当前最先进的技术。他们建议，可以通过增加 $\alpha$ 或创建更多簇来改进 C+E 的 kNN 回召率，尽管这可能会引入虚假簇。对齐步骤的计算复杂度随点数呈二次方增长，但采用了子采样策略来减轻这一影响。

总之，作者认为 C+E 提供了一种更透明、更可控的方法来可视化聚类数据，能够同时保留簇的内部几何结构以及簇本身的相对位置，而后者在流行的非线性降维技术中经常会丢失。