📊 statistics

Depth-Based Local Center Clustering: A Framework for Handling Different Clustering Scenarios

本文提出了基于深度的局部中心聚类（DLCC），这是一个利用局部数据深度来识别中心并形成各种形状簇的灵活框架，从而解决了传统方法在处理多峰和非凸数据结构方面的局限性。

原作者： Siyi Wang, Alexandre Leblanc, Paul D. McNicholas

发布于 2026-01-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Siyi Wang, Alexandre Leblanc, Paul D. McNicholas

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个装满了混合在一起的弹珠的大盒子。有些是红色的，有些是蓝色的，有些是绿色的，它们以各种各样的模式散落在其中：有的挤成紧密的小球状，有的呈长长的蜿蜒蛇形，还有的紧挨在一起。你的任务是根据哪些弹珠“属于”同一类来将它们分类堆放。这就是数据科学家所说的聚类（Clustering）。

几十年来，科学家们一直在制造不同的机器来对这些弹珠进行分类。有些机器寻找一堆弹珠的“中心”（就像寻找圆形的中心点）。另一些机器则寻找弹珠密集分布的区域（就像寻找一个拥挤的房间）。但问题在于，现实世界的数据是杂乱无章的。一台设计用来寻找完美圆形的机器，在面对蛇形排列的弹珠时往往会失败。而一台寻找“拥挤房间”的机器，可能会被分布不均的人群所迷惑。

这篇论文介绍了一种更智能的新型分类机器，叫做 DLCC（基于深度的局部中心聚类）。它是这样工作的，我们用简单的类比来说明：

1. “全局”规则的问题

大多数旧方法试图一次观察整个弹珠盒，并对所有人应用同一个规则。

“中心”问题： 想象一下尝试寻找甜甜圈的中心。如果你只寻找中间的点，你会落在空洞里，而不是面团上。同样，如果一个簇的形状像个圆环，那么“基于中心”的方法就会失效。
“密度”问题： 想象一个人群，其中一些人肩并肩站在一起，而另一些人则散布在公园里。一种寻找“拥挤”地点的算法可能会完全忽略掉那些在公园里散开的人。

2. DLCC 的解决方案：“局部邻域”

DLCC 不会一次观察整个盒子。相反，它表现得像一个在盒子里巡逻的侦探，它会询问：“谁是你的邻居？”

“镜像”技巧（数据深度）： 为了确定谁处于中心位置，DLCC 使用了一个聪明的技巧。想象你拿起一颗弹珠，并在它身后放一面镜子。你观察所有其他弹珠的倒影。如果你的这颗弹珠正好位于倒影的正中间，它就是一个“深层”或“中心”点。如果它在边缘，它就是“浅层”的。
局部中心： DLCC 在每一个弹珠自己的小小邻域内都进行这种操作。它会问：“在这个特定的微型群体中，谁是最中心的？”这些中心点被称为**“局部中心”**。
- 类比： 想想一座城市。一个“全局中心”可能是市政厅。但一个“局部中心”则是某个特定街区里最受欢迎的咖啡馆。DLCC 寻找的是咖啡馆，而不只是市政厅。

3. 组合这些咖啡馆

一旦 DLCC 找到了所有这些局部“咖啡馆”（局部中心），它就需要将它们组合成实际的簇。它使用两种不同的策略，就像组织派对的两种不同方式：

“Min”策略（保守的主办方）： 这适用于那些大小大致相同且重叠不多的群体。它会将彼此非常相似的咖啡馆归为一类。它很严谨，保持整洁。
“Max”策略（连点成线的主办方）： 这适用于那些形状奇特（如蛇形）或规模差异巨大的混乱情况。它只要发现两个咖啡馆之间存在任何路径上的相似性，就会将它们连接起来，即使它们相距甚远。这使得它能够找到那些其他方法会错过的蜿蜒蛇形簇。

4. 最后的清理

有时，在完成咖啡馆的分组后，仍会有一些没能完美契合的弹珠被剩下来。DLCC 不会仅仅靠猜测。它使用一个“分类”步骤（就像一个聪明的助手），观察那些已经被成功分类的弹珠，并询问：“基于你的邻居是谁，你应该属于哪一堆？”

为什么它很特别？

论文声称 DLCC 是聚类领域的“瑞士军刀”。

它能处理各种形状： 它可以找到圆形的堆、蛇形的堆和环形的堆。
它能处理不同规模： 它可以同时对 10 颗弹珠的堆和 10,000 颗弹珠的堆进行分类。
它能处理重叠： 它可以分辨出两个正在接触的群体。

缺陷（局限性）

论文也诚实地说明了它的局限：

计算量巨大： 因为它必须检查每一个弹珠的“邻域”与其他所有弹珠的关系，所以如果有数百万颗弹珠，它会消耗大量的时间和计算资源。它处理数千个数据很棒，但在处理数十亿个数据时可能会遇到困难。
需要人工干预： 你仍然需要告诉机器一些设置参数（比如“邻域”的大小）。它目前还不是完全自动化的。
“流形”问题： 如果数据的形状像一根非常细、扭曲的铁丝（3D 空间中的 1D 线条），“局部邻域”的概念可能会产生困惑，因为从近距离观察时，这根铁丝看起来可能像一个实心的块。

总结

简而言之，DLCC 是一种新的数据分类方式，它不再试图强行将一切都塞进完美的圆圈或完美的拥挤人群中。相反，它通过观察微小的局部邻域来寻找数据的“核心”，然后连接这些核心以形成群体。它灵活、稳健，非常适合处理杂乱的现实世界数据，尽管它需要一定的计算能力和人工引导来设定好参数。

技术摘要：基于深度的局部中心聚类 (DLCC)

问题陈述
聚类分析是数据科学的基础，然而现有方法往往难以应对现实世界中多样化的数据分布。传统方法通常分为两类，且各具局限性：

基于中心的方法（如 k-means）假设每个簇由一个代表点和球形形状组成，这使得它们对异常值和初始化非常敏感，且无法建模非凸几何结构。
基于密度的方法（如 DBSCAN、Mean Shift）可以处理任意形状，但依赖于密度估计或固定阈值，在处理高维空间或具有不同密度的簇时可能表现不稳定。
基于图的方法通常面临大规模数据的计算限制，或者对距离度量的选择保持敏感。

这些范式的一个核心局限在于“典型值”（exemplars，即代表点）的定义。大多数方法将典型值与距离或密度准则挂钩，而这些准则可能无法在不同维度和几何结构之间进行泛化。此外，虽然统计数据深度（statistical data depth）提供了一种稳健的、从中心向外围排序的多变量数据处理方式，但在历史上，它仅被用作辅助工具（例如用于初始化），而非作为识别局部结构和多峰性的主要机制。标准的深度函数也无法直接捕捉多峰特性。

方法论：DLCC 框架
本文提出了基于深度的局部中心聚类 (DLCC)，这是一个利用统计数据深度来定义局部中心并构建相似性度量，而不依赖于全局距离度量或密度估计的框架。

基于深度的相似性矩阵：
DLCC 不使用欧几里得距离，而是基于空间深度 (Spatial Depth, SD) 构建相似性矩阵 $S$ 。为了将深度概念局部化，该方法为每个观测值 $x_i$ 定义了一个反射数据集 $X_{Ri}$ ，该数据集由原始样本 $X$ 以及所有点相对于 $x_i$ 的反射点组成。由于 $x_i$ 是 $X_{Ri}$ 的对称中心，其深度最大（为 1）。 $x_j$ 相对于 $X_{Ri}$ 的深度（记作 $D(x_j | X_{Ri})$ ）可作为 $x_j$ 与 $x_i$ 之间的相似性度量。

效率： 作者引入了一种矩阵化实现方式来高效计算这些深度，通过预计算单位向量之和与范数来减少冗余计算，尽管其理论复杂度仍为 $O(n^3)$ 。

局部中心识别：
对于每个点 $x_i$ ，根据基于深度的相似性定义一个规模为 $s$ 的邻域 $N_i$ （包含其 $s-1$ 个最近邻）。在每个邻域内，具有最高局部排名（最深点）的点被识别为局部中心。

过滤： 并非所有的局部中心都是有用的。该方法根据两个标准对候选中心进行过滤：(1) 中心必须在其邻域内处于中心位置（排名 $\le 2$ ）；(2) 它必须在不同邻域中频繁出现（频率 $f > 1$ ）。此外，还使用了稳定性准则——平均邻域诱导深度 (Average Neighbor-Induced Depth, AND) 来进一步筛选稳健的中心。

分组策略：
经过过滤的局部中心通过两种不同的策略进行分组，以处理不同的数据几何结构：

Min 策略： 基于相互邻域的重叠情况对中心进行保守分组。这适用于平衡、分离良好或存在重叠的凸类簇。
Max 策略： 通过当邻域相似性超过阈值 $\delta$ 时的连通链对中心进行分组。该策略旨在处理非凸结构和高度不平衡的簇规模。它包含一种机制，通过识别孤立的局部中心来隔离“处处非凸”的区域（例如螺旋结构）。

簇形成与分类：
一旦形成了局部中心的组，便利用每组的唯一邻居创建临时簇。根据点对所属组内中心与其它组中心的相似性进行评分。对于模糊或未分配的点，随后使用内置分类器（k-最近邻或随机森林）基于临时簇标签进行分类，从而在无需额外超参数调优的情况下确保稳健的分配。

核心贡献

新颖框架： DLCC 是首个将数据深度置于典型值识别和相似性构建核心地位的方法，直接解决了多峰性问题。
高效计算： 本文开发了一种矩阵化实现方式，用于构建空间深度下的基于深度的相似性矩阵，与朴素实现相比显著加速了计算过程。
灵活的分组： 双策略（Min/Max）方法使框架能够适应不同的簇形状（凸 vs 非凸）和密度分布。
全面的评估： 作者提供了一个完整的端到端流程，包括参数选择指南（使用 CVDD 指数和可视化）以及广泛的实证评估。

实验结果
作者在 12 个合成数据集和 13 个真实世界基准数据集（包括高维图像和微阵列数据）上对 DLCC 进行了评估。

性能： DLCC 在 7 个合成数据集上实现了完美恢复，并在所有真实世界基准测试中始终排名在前三名。与 LW-k-means、EKM、R-MDPC 和 ACLR 等竞争对手相比，它在处理非凸形状、变化密度和类别不平衡方面表现出卓越的性能。
观察到的局限性： 该方法在处理局部邻域本质上是非凸的“流形型”结构（例如 “Atom” 数据集和 “Blend” 中的螺旋结构）时表现欠佳。在这些情况下，局部中心位于近似凸邻域内的假设失效了。
可扩展性： 虽然对于高达 $\sim 10^4$ 个观测值的数据集是有效的，但构建相似性矩阵的 $O(n^3)$ 复杂度仍然是处理超大规模数据的瓶颈。

意义与主张
论文声称，DLCC 通过克服基于中心方法的僵化假设和基于密度方法在高维空间中的不稳定性，为传统聚类提供了一种灵活的替代方案。通过利用数据深度来定义局部几何结构，DLCC 在不需要预定义簇数量或严格分布假设的情况下，增强了跨广泛场景的数据分析能力。作者将 DLCC 定位为一种稳健的探索性数据分析工具，特别是在簇形状复杂或未知的情况下，同时也承认未来仍需在提高可扩展性和自动化参数选择方面进行改进。