📊 statistics

Sparse $K$ -spatial-median clustering for high-dimensional data

本文提出了一种针对具有重尾分布和无关变量的高维数据的鲁棒聚类框架，该框架以空间中位数替代 K 均值算法的均值更新步骤，引入灵活的分配度量，并采用自动化的硬特征排除机制，从而实现更优的精度与稳定性。

原作者： Ping Zhao, Dan Zhuang, Long Feng

发布于 2026-05-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Ping Zhao, Dan Zhuang, Long Feng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图整理一座庞大而混乱的图书馆，书籍散落在成千上万个书架上。有些书架上堆满了真正属于同一类的书籍（即“簇”），但大多数书架上只是杂乱无章的噪音、旧收据或空白页（即“无关变量”）。此外，这座图书馆还有些凌乱：有些书籍厚重且呈重尾分布（就像可能会压坏秤的百科全书），而有些则只是意外混入的异常值。

这正是作者赵平、朱丹和冯龙试图解决的问题。他们提出了一种名为稀疏 K-空间中值聚类（Sparse K-spatial-median clustering）的新数据分组方法。

以下是该方法的运作原理，分解为简单的概念和类比：

1. 旧方法的缺陷（K-Means）

最常用的分组方法称为K-Means。想象 K-Means 是一位试图寻找书架上“平均”书籍来代表该组的图书管理员。

缺陷：如果有一本巨大的厚重百科全书（异常值），或者书架上堆满了随机垃圾（无关变量），“平均值”就会被带偏。由于噪音淹没了信号，图书管理员最终会错误地分组。
高维陷阱：在现代数据中，你可能有 1,000 个特征（书架），但只有 100 本书（数据点）。如果其中 900 个书架只是噪音，K-Means 就会完全困惑，试图在静电干扰中寻找模式。

2. 新的中心：“空间中值”

作者不使用容易被重尾异常值带偏的“平均值”，而是使用空间中值（Spatial Median）。

类比：想象一群人站在田野里。“平均”位置是数学上的重心。如果有一个巨人跑进来并站在远处，重心就会向他偏移。
空间中值：这是这样一个位置：如果你站在这里，到其他人距离的总和是最小的。这就像找到了群体的“心脏”。即使有几个疯狂的异常值四处乱跑，群体的“心脏”依然保持原位。这使得该方法对重尾和混乱数据具有鲁棒性（强健性）。

3. “稀疏”部分：忽略噪音

作者意识到，即使是一个强健的“心脏”寻找者，如果让它去听 1,000 个不同的声音，其中 900 个只是静电噪音，它也会感到困惑。

解决方案：他们引入了一条硬阈值（Hard-Thresholding）规则。
类比：想象图书管理员问每个书架：“你对整理这些书重要吗？”如果一个书架的贡献很弱（低于某个分数），图书管理员就会说：“不，你是噪音”，并在剩余的排序过程中完全忽略该书架。
为何是“硬”阈值？与其他只是“调低”坏书架音量（连续收缩）的方法不同，该方法将音量完全关闭。这是一个二进制开关：开或关。这给出了一个清晰的列表，指明哪些特征实际上很重要。

4. “智能”度量：看清形状

有时，群体并非完美的圆形；由于变量之间的关联，它们可能像椭圆形一样被拉伸。

创新：作者创造了一种特殊的尺子（空间符号协方差度量），它可以拉伸或压缩空间以匹配数据的形状。
类比：如果你试图按身高和体重对人进行分类，而这两者是关联的，一把标准的尺子可能会错过这种模式。这把新尺子会根据群体的“形状”自行调整，确保即使数据被拉伸或相关，距离也能被正确测量。

5. 自动调节器：“间隙”统计量

你怎么知道要忽略多少个书架？如果忽略太多，你会丢失信号；如果忽略太少，你会保留噪音。

解决方案：他们使用基于置换的间隙准则（Permutation-based Gap Criterion）。
类比：想象你试图在人群中寻找一种模式。为了知道这种模式是否真实，你将人群随机打乱（置换），使没有人站在朋友旁边。你将真实人群的“秩序”与打乱人群的“混乱”进行比较。真实人群看起来比打乱的人群显著更有组织的那个点，就是你的“间隙”。这告诉计算机确切地在哪里划定“信号”与“噪音”的界限，而无需人类猜测。

他们发现了什么？

作者通过两种方式测试了该方法：

模拟：他们创建了具有重尾（混乱的异常值）和大量噪音的伪造数据。他们的方法始终比旧的 K-Means 或其他“稀疏”方法更好地找到正确的分组，特别是在数据脏乱或维度巨大的情况下。
真实数据：他们将其应用于关于小鼠蛋白质的数据集（区分对照组小鼠和唐氏综合征小鼠）以及几个标准基准数据集。
- 结果：他们的方法通常是最准确和最稳定的。它比经典方法更好地处理了蛋白质数据混乱、高维的特性。

nutshell（一句话总结）

这篇论文提出了一种更强大、更智能的数据分组方式。

它使用一个鲁棒的中心（空间中值），当异常值出现时不会惊慌。
它使用一把智能尺子，能适应数据的形状。
它使用一个严格的过滤器（硬阈值），完全剔除无关变量，而不仅仅是调暗它们。
它使用一个自动裁判（间隙统计量）来决定确切要剔除多少噪音。

结果是一种聚类工具，即使在高维、混乱且充满无关信息的数据中也能表现良好。

以下是 Zhao、Zhuang 和 Feng 所著论文《高维数据的稀疏 K-空间中值聚类》的详细技术总结。

1. 问题陈述

本文解决了高维数据（ $p \gg n$ ）聚类所面临的挑战，这些数据具有两个特定的难点：

重尾分布与异常值：K-means 等经典方法依赖于算术均值和平方欧氏损失，使其对异常值和重尾噪声（例如多元 $t$ 分布）高度敏感。
无关变量：在高维设置中，很大一部分特征往往不包含任何聚类判别信息。包含这些“噪声”变量会稀释聚类信号，导致即使是在鲁棒方法中，如果它们平等地对待所有维度，性能也会下降。

现有的稀疏聚类方法（例如 Sparse K-means）通常使用连续收缩（L1 正则化）来降低无关特征的权重，但这可能无法产生显式的特征排除，并且在鲁棒设置中难以调节。此外，标准鲁棒方法（如 K-medians）通常缺乏旋转等变性，无法尊重聚类的潜在椭圆几何结构。

2. 方法论

作者提出了一个名为**稀疏 K-空间中值聚类（Sparse K-spatial-median clustering）**的统一框架，该框架将鲁棒的中心估计与显式的特征选择相结合。该框架包含两个互补的算法：

A. 核心概念：空间中值

该方法不使用算术均值（K-means）或坐标中值（K-medians），而是使用空间中值（几何中值）作为聚类中心。

定义：空间中值 $m$ 最小化欧氏距离之和： $m = \arg\min \sum \|x_i - m\|_2$ 。
优势：它具有旋转等变性（尊重多元几何结构），并且对重尾具有鲁棒性，因为其损失函数呈线性增长而非二次增长。

B. 算法 1：SM–SSCM（基于公共空间符号协方差的空間中值聚类）

该变体解决了异质尺度和特征依赖性问题，无需显式的特征排除。

分配步骤：它不使用标准欧氏距离，而是使用由公共空间符号协方差矩阵（SSCM）构建的马氏型度量。
SSCM 估计：散度矩阵是使用残差的空间符号（ $u_i = r_i / \|r_i\|$ ）估计的，并辅以岭参数进行正则化以确保可逆性。
益处：这使得距离度量能够适应数据的相关结构和尺度，从而提高了高维环境下的分配准确性。

C. 算法 2：Sparse–SM（稀疏空间中值聚类）

该变体通过引入硬阈值特征排除来解决 $p \gg n$ 且存在无关变量的情形。

分离分数：在每次迭代中，根据聚类中心沿该坐标的离散程度，为每个特征 $j$ 计算分数 $s_j$ ： $s_j = \sum_{k=1}^K |m_{kj} - \bar{m}_j|$ 。
硬排除：分数低于阈值 $\tau$ 的特征在分配步骤中被完全排除。这产生了一个显式的活跃变量集（ $S(\tau)$ ），而不是连续地收缩权重。
调节（Gap 准则）：阈值 $\tau$ 使用基于置换的 Gap 统计量自动选择。该算法将观察到的类间分离度与通过置换列（破坏聚类结构但保留边际分布）生成的参考分布进行比较。选择使 Gap 最大化的 $\tau$ 。

D. 理论性质

本文在具有次 Weibull 或多项式尾部的混合椭圆模型下，建立了所提方法的聚类一致性和特征选择一致性。

一致性：随着 $n \to \infty$ ，只要信号分离相对于噪声水平足够强，算法就能以概率趋近于 1 恢复真实划分和真实的信息特征集。
鲁棒性：理论界限表明，即使在重尾污染下，空间中值和 SSCM 度量也能保持稳定性。

3. 主要贡献

鲁棒框架：开发了一种基于划分的聚类框架，使用空间中值，与基于均值或坐标中值的方法相比，提供了对重尾和异常值的更优越的鲁棒性。
显式特征选择：引入了一种硬阈值机制，产生可解释的、精确的保留和排除变量集，避免了连续收缩的模糊性。
数据驱动调节：提出了一种专门用于在鲁棒高维设置中选择稀疏阈值的基于置换的 Gap 准则。
理论保证：证明了在具有重尾的一般椭圆模型下，聚类划分和支持恢复（特征选择）的一致性。

4. 实验结果

作者使用模拟数据和真实数据，将所提方法与 K-means、K-medians、Sparse K-means 和 Sparse K-medians 进行了评估。

模拟研究：
- 重尾与污染：在多元 $t$ 分布和污染高斯混合模型下，Sparse–SM 和 SM–SSCM 显著优于非鲁棒基线。在污染设置中，Sparse–SM 实现了最高的调整兰德指数（ARI）。
- 高维：随着维度 $p$ 增加（高达 400），非稀疏方法迅速恶化。Sparse–SM 保持了高度的稳定性和准确性，证明了特征排除的必要性。
- 异常值类型：该方法对单元级污染（单个条目的损坏）表现出特别的韧性，在此情况下始终优于竞争对手。
真实数据应用：
- 小鼠蛋白质数据：在蛋白质表达水平数据集上，与经典方法相比，所提方法获得了更高的 ARI 和跨运行更大的稳定性。
- 基准数据集：在 8 个 UCI/KEEL 数据集（如 Iris、Wine、WDBC）上进行了测试。所提方法具有竞争力或更优，其中 SM–SSCM 在具有复杂相关性的数据集中表现突出，而 Sparse–SM 在特征稀疏性有益的情况下表现最佳。

5. 意义

本文为现代数据分析提供了关键进展，特别是在数据集既具有高维度又容易受到异常值影响的情况下。

实际影响：它提供了一种计算高效的迭代算法，不需要复杂的优化求解器（不像某些惩罚似然方法），但提供了严格的特征选择。
理论洞察：它弥合了鲁棒统计（空间符号/中值）与稀疏学习之间的差距，证明了即使在存在重尾噪声的情况下，硬阈值也可以是一致的。
适用性：该方法在基因组学、金融和图像分析等领域特别有价值，因为这些领域的数据通常表现出重尾、复杂的相关性以及高比例的噪声变量。

总之，稀疏 K-空间中值聚类为高维数据聚类提供了一个鲁棒、可解释且理论健全的方案，有效地处理了噪声/异常值和无关特征的双重挑战。