🤖 AI

Subspace Clustering on Incomplete Data with Self-Supervised Contrastive Learning

本文提出了一种对比子空间聚类（Contrastive Subspace Clustering, CSC），这是一种利用掩码视图和 SimCLR 式对比学习来生成鲁棒嵌入，从而有效聚类不完整数据的自监督框架，其性能在多个基准数据集上均优于现有方法。

原作者： Huanran Li, Daniel Pimentel-Alarcón

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Huanran Li, Daniel Pimentel-Alarcón

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图整理一个庞大的图书馆，但问题在于：每一本书都随机缺失了部分页面。 有的书缺了第一章，有的缺了中间部分，有的甚至只剩下一个封面。你的目标是根据它们的类型（科幻、历史、悬疑等）将这些书进行分类，尽管你无法读完整个故事。

这就是这篇论文所探讨的问题。它被称为不完整数据上的子空间聚类（Subspace Clustering on Incomplete Data）。

以下是作者提出的新方法——**CSC（对比子空间聚类，Contrastive Subspace Clustering）**是如何通过简单的类比来解决这个谜题的：

1. 问题所在：“破碎的拼图”

传统的分类方法通常会尝试先填补缺失的页面（比如猜测缺失的文字内容），然后再对书籍进行分类。论文指出，这是一个坏主意。如果你对缺失页面的猜测错了，你可能会不小心把一部悬疑小说放进科幻类堆里，因为你的猜测改变了故事的基调。

此外，当图书馆变得巨大或者缺失页面过多时，传统方法会变得非常缓慢且混乱。

2. 解决方案：“影子戏”游戏

作者并没有尝试去猜测缺失的页面，而是提出了一个**“影子戏”**的游戏。

想象你有一本书，其中部分页面缺失了。你从两个不同的角度向它投射光线：

视角 A： 你用手遮住了另外一些随机的页面。
视角 B： 你用另一只手遮住了另一组不同的随机页面。

尽管这两个视角都是不完整的，且彼此不同，但你在内心深处知道，它们是同一本书。

3. 训练过程：教导“大脑”识别模式

作者构建了一个数字“大脑”（深度神经网络），并教会它玩这个游戏：

规则： “如果你看到了同一本书的两个不同视角，即使因为页面的缺失导致它们看起来大不相同，你也必须意识到它们属于同一类。”
惩罚： “如果你看到了两本不同书籍的视角，你必须在脑海中将它们推开。”

这被称为对比学习（Contrastive Learning）。大脑学会了忽略缺失的部分，转而专注于那些确实存在的部分，从而去理解这本书的“本质”或“神韵”。它学会了一个无论缺失哪些页面都保持不变的**“指纹”**。

4. 结果：按“神韵”分类

一旦大脑掌握了这项技能，你就不再需要填补缺失的页面了。

你向大脑展示一本新的、不完整的书。
大脑根据可见的部分立即创建一个指纹（嵌入/embedding）。
你利用这些指纹，使用一种简单的标准排序工具（就像一块能把相似物体吸在一起的磁铁）将书籍分组。

因为大脑学会了在缺失页面时依然识别出那种“神韵”，书籍最终能被准确地归类（科幻类归科幻，历史类归历史），且准确率极高。

为什么这很重要？

无需猜测： 它不会浪费时间去发明缺失的数据。它只利用现有的信息。
速度快： 一旦训练完成，它可以几乎瞬间完成新数据的分类，而旧方法在处理每个新项目时都需要进行繁重的数学计算。
鲁棒性（稳健性）： 即使在数据非常杂乱或缺失大量内容的情况下（在某些测试中缺失高达 90%），它依然有效。

证明

作者在六个不同的“图书馆”（数据集）上测试了该方法，包括著名的图像数据集（如手写数字和人脸）以及复杂的卫星图像（高光谱数据）。

结果： 他们的这种方法（CSC）始终优于旧的方法和其他现代 AI 方法。
核心启示： 即使数据是破碎或不完整的，只要你教会计算机去识别部分视图之间的“同一性”，它就能在不需要先修复破碎部分的情况下，完美地整理好这些混乱。

简而言之：不要试图修复破碎的拼图碎片；要学会在碎片散落时，依然能识别出它们所构成的图案。

技术摘要：基于自监督对比学习的不完整数据子空间聚类

问题定义

子空间聚类旨在将位于多个低维子空间中的高维数据点进行划分。虽然该技术在基因表达分析、高光谱成像和推荐系统等领域非常有效，但现有方法主要假设数据是完全观测的。在现实场景中，由于遮挡、传感器故障或资源限制，数据经常是不完整的。依赖于成对亲和度（pairwise affinities）或矩阵分解的传统方法难以处理缺失条目，当使用朴素的插补法（imputation）时，往往会导致次优结果，或者在面对大规模数据集时难以扩展。此外，许多基于深度学习的子空间聚类方法也假设输入是完整的，这会导致对观测到的条目过拟合，或者需要带有偏差的插补策略。

方法论：对比子空间聚类 (CSC)

作者提出了对比子空间聚类 (Contrastive Subspace Clustering, CSC)，这是一个旨在从不完整数据中学习鲁棒嵌入的自监督框架，且不需要标签或显式的数据重构。

核心框架

该流水线分为两个阶段运行：训练和推理。

通过随机掩码进行数据增强：
对于每个部分观测的样本 $y_i = M_i \odot x_i$ （其中 $M_i$ 是一个二进制掩码），该方法通过对原始不完整样本应用两个不相交的随机掩码（ $M_i^a$ 和 $M_i^b$ ），生成两个不相交的增强视图 $y_i^a$ 和 $y_i^b$ 。这些视图作为对比学习的正样本对。
对比学习 (SimCLR 风格)：
一个共享的深度神经网络（骨干网络） $f_\theta$ 处理这两个增强视图，生成潜在表示 $h_i^a$ 和 $h_i^b$ 。随后通过投影头 $g_\phi$ 将其投影到潜在空间。模型使用归一化温度标度交叉熵（NT-Xent）损失进行训练。该目标函数将来自同一样本的两个视图的嵌入拉近，同时将不同样本的嵌入推开。这促使网络学习具有不变性的特征，从而在存在缺失条目时仍能捕捉潜在的子空间结构。
推理与聚类：
训练完成后，丢弃投影头。经过训练的骨干网络 $f_\theta$ 将原始不完整样本嵌入到潜在空间中。随后，这些嵌入被输入到一个标准的稀疏子空间聚类 (Sparse Subspace Clustering, SSC) 算法中，以恢复最终的聚类分配。值得注意的是，该方法并不重构缺失的数据；它直接对学习到的表示进行聚类。

核心贡献

针对不完整数据的创新框架： CSC 是第一个专门针对具有缺失数据的子空间聚类应用对比自监督框架的方法。它将随机掩码视为一种数据增强策略，而非需要解决的问题（即插补问题）。
对缺失性的鲁棒性： 通过学习跨掩码视图的不变性，该方法即使在单个特征值缺失的情况下也能捕捉子空间结构，避免了由两阶段插补法引入的伪影。
可扩展性： 不同于因构建亲和矩阵而随样本数量呈二次方增长的优化算法，CSC 在推理时利用前向传播过程，提供了近乎瞬时的聚类速度，并显著降低了计算需求。
模块化： 该方法将表示学习与聚类算法解耦，允许将学习到的嵌入用于任何标准的聚类技术（如 k-means、谱聚类或 SSC）。

实验结果

作者在六个基准数据集上评估了 CSC，包括标准计算机视觉数据集（MNIST, COIL20）和高光谱成像 (HSI) 数据集（IndianPines, Pavia University, Salinas）。

性能对比基准： CSC 一致地优于传统方法（如 EWZF-SSC, GSSC, MSC）和深度学习基准（如 DSC, MAE, DMFMC）。
- 在 MNIST 上，CSC 的平均准确率比所有基准高出 15% 以上。
- 在 Pavia 和 IndianPines（HSI 数据集）上，分别观察到超过 5% 和 6% 的提升。
- 在高缺失率（低采样率 $\rho$ ）的数据集上，CSC 保持了稳定的性能，而传统方法和掩码自编码器 (MAE) 在高噪声条件下表现出明显的性能下降。
消融实验：
- 模型深度： 增加网络深度会提高准确率，直到达到一个平台期（在深度为 5 时趋于平缓），这表明了模型表达能力的益处。
- 残差连接： 残差连接策略（全连接、块连接或无连接）的选择对性能影响较小，在大型数据集上“无残差”表现略好。
- 噪声鲁棒性： 在低和高噪声机制下，CSC 均展现出优于 MAE 的鲁棒性，即使在采样率适中或较低（ $\rho \approx 0.5$ ）时也能保持较低的聚类误差。

重要性与主张

论文声称 CSC 为存在缺失数据的子空间聚类提供了一种可扩展、鲁棒且无需标签的解决方案。其重要性在于：

克服插补瓶颈： 通过避免显式重构，该方法规避了在高缺失率场景下由插补步骤导致的子空间几何畸变。
高效性： 通过简单的前向传播进行推理的能力，使得该方法比传统的基于优化的子空间聚类方法效率显著提高。
泛化性： 该框架适用于多种数据模态，包括标准图像和高维高光谱数据，除了选择不同的骨干网络外，不需要针对特定领域的架构更改。

作者总结道，尽管带有缺失数据的子空间聚类仍然是一个具有挑战性的问题（特别是在高维领域），但所提出的对比方法为未来的流式和多视图设置奠定了坚实的基础。