🤖 machine learning

Label-independent hyperparameter-free self-supervised single-view deep subspace clustering

本文提出了一种新颖的、标签无关且无需超参数的单视图自监督深度子空间聚类方法，该方法通过整合层级自表达、多阶段顺序学习以及基于相对误差的停止机制，在克服现有方法局限性的同时，在多种数据集上实现了具有竞争力的性能。

原作者： Lovro Sindicic, Ivica Kopriva

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Lovro Sindicic, Ivica Kopriva

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：无需说明书的混乱房间整理术

想象你有一个巨大的、凌乱的房间，里面装满了成千上万种不同的物体（数据点）。你的目标是根据它们的类别将它们分类成堆（聚类），但你没有任何标签（你不知道任何东西是什么）也没有说明书（没有需要调节的超参数）。

大多数现有的方法就像是试图通过让一个朋友猜规则，然后再让另一个朋友去微调规则，以此来整理房间。它们需要一个包含已知物品的“测试堆”来确定最佳设置。如果没有这个测试堆，它们就会失败。

这篇论文介绍了一个新的机器人（算法），它可以独自一人整理房间，不需要测试堆，也不需要说明书。它在整理的过程中学习规则，并在完成后自动停止，并且表现出色。

当前方法存在的问题

作者指出了现有“深度子空间聚类”（DSC）方法的五个主要痛点：

忽略中间过程： 它们只看计算机给出的最终答案，忽略了计算过程中间步骤中发现的所有有用线索。
各行其是： 它们将“学习数据特征”和“学习如何分组”作为两个独立的任务来处理，而不是将它们结合起来。
需要“作弊条”： 它们通常需要一组单独的有标签数据来调整其设置（超参数）。而在现实世界中，我们往往没有这些数据。
不知道何时停止： 它们需要有人告诉它们何时停止训练，通常是通过检查它们是否得到了正确答案（这需要标签）。
依赖后处理： 它们通常在完成主要工作后，还需要一些依赖标签的额外技巧来修正错误。

解决方案：“LIHFSS-SVDSC”机器人

作者构建了一种能够解决所有这五个问题的新方法。以下是它的工作原理，分步骤进行：

1. “两阶段”学习过程（预训练与微调）

该机器人并没有尝试用一套复杂的规则（这需要调优）同时学习所有内容，而是分两个明显的阶段进行学习：

第一阶段（预训练）： 机器人观察凌乱的房间，尝试理解物体的基本形状和距离。它可以通过尝试从头开始重建物体（重构），或者确保彼此靠近的物体保持靠近（距离保持）来实现这一点。
第二阶段（微调）： 现在它已经有了基础理解，开始进行分组。它使用一种特殊的“自表达”技巧，即尝试将每个物体描述为其他相似物体的组合。它还会检查自己的工作，以确保分组是有意义的。

神奇之处： 通过按顺序执行这些步骤，机器人不需要在不同的规则之间寻找平衡。它能自然地找到正确的平衡点，而不需要“调节旋钮”（超参数）。

2. 使用整个“大脑”（多层表示）

旧的方法只看计算机大脑的最后一层（输出）。而这种新方法会观察大脑的每一层，从原始输入到最终输出。

类比： 想象你在识别一个人。旧的方法只看他们的最终着装。而这种新方法会观察他们的脸部、声音、步态以及着装，然后将所有这些线索结合起来，做出一个更明智的决策。

3. “自我停止”机制

机器人如何知道何时退出？它不会等待人类说“做得好！”

类比： 想象你正在试图从嘈나的房间中寻找规律。你不断调整你的耳朵。如果噪音水平不再下降并保持稳定，你就知道你已经调到了最佳状态。机器人通过测量自身的“相对误差”来实现这一点。当误差停止下降时，它会自动关闭。无需标签。

4. “智能过滤器”（后处理）

有时，机器人的连接列表可能过于混乱。作者建议使用基于数学的最终清理步骤：仅保留最强的连接（前系数），并丢弃那些微弱的、带有噪声的连接。

注意： 这一步利用了关于数据的已知事实（例如“人脸通常生活在一个 9 维空间中”），但并不需要查看实际的人脸标签。

结果：效果如何？

作者在六个不同的数据集（人脸、手写数字和物体）上测试了这个机器人。他们将其与以下对象进行了对比：

线性算法： 这些是较简单的方法，通常需要人类仔细调整设置才能发挥作用。
“先知型”深度方法： 这些是现有的最佳深度学习方法，但它们被给予了“作弊条”（有标签数据）来完美地调整其设置。

结论：

这个新机器人击败了几乎所有线性算法，即使那些线性算法经过了人类的完美调优。
它的表现与那些拥有“作弊条”的深度学习方法不相上下，尽管它没有任何作弊条和调优。
在某些数据集（如人脸和物体）上，它甚至超越了那些拥有作弊条的方法。

总结

这篇论文展示了一种“自动驾驶”式的聚类算法。它不需要人类驾驶员（调优），不需要地图（标签），并且知道准确的停车时机（停止训练）。它通过分阶段学习、利用大脑每一部分的线索以及在完成后自动停止来实现这些目标。它证明了无需手动调优，也能获得顶级的聚类结果。

技术摘要：标签无关、无超参数、自监督单视图深度子空间聚类 (LIHFSS-SVDSC)

问题陈述
深度子空间聚类 (DSC) 算法在广泛应用于现实场景时面临显著障碍。现有方法存在五个主要局限性：

信息丢失： 它们通常仅利用编码器的最后一层输出，忽略了中间层中存在的宝贵结构信息。
任务脱节： 表示学习与子空间聚类通常被视为独立的任务，限制了聚类质量与特征学习之间的反馈循环。
超参数依赖： 大多数方法需要一个留出的标记数据集来进行超参数调优，这在无监督任务中是不切实际的。
依赖标签的终止机制： 训练终止通常基于监控聚类误差或准确率，这需要外部标签。
依赖后处理： 性能往往依赖于依赖于标记数据或启发式阈值的后处理技术。

此外，虽然非线性数据（例如具有不同姿态的面部图像）通常位于流形而非线性子空间上，但现有的基于核的方法在核选择方面表现挣扎，且标准的 DSC 网络在没有精心调优的情况下，往往无法充分利用嵌入空间中的“线性子空间并集”模型。

方法论
作者提出了 LIHFSS-SVDSC，一种新型单视图 DSC 方法，旨在实现完全自主、标签无关且无超参数化。该方法通过一个顺序的多阶段学习框架运行：

预训练阶段： 使用以下方式之一初始化自动编码器：
- 重构误差损失 ( $L_{RE}$ )： 标准的自动编码器重构。
- 距离保持损失 ( $L_{DP}$ )： 一种旨在通过保持各层间的成对距离来保留数据内在结构的损失函数，该函数基于局部不变性假设。
- 注：此阶段通过专注于单一目标，避免了超参数调优的需求。
微调阶段（顺序进行）：
- 层级自表示 ( $L_{SE}$ )： 该方法并非仅使用最后一层，而是构建了一个联合表示矩阵，聚合了来自所有编码器层（包括原始输入）的信息。它最小化自表示损失 $\sum \|X_m - X_m C\|_F^2$ ，其中 $X_m$ 代表第 $m$ 层的输出， $C$ 是共享的表示矩阵。这在所有层之间强制执行了一个共同的自表示模型。
- 聚类质量损失 ( $L_Q$ )： 优化一个子空间结构范数，为自表示模块提供直接反馈。该损失定义为 $tr(Q^T L_C Q)$ ，旨在鼓励表示矩阵 $C$ 与源自谱聚类的聚类指示矩阵 $Q$ 对齐，从而将聚类质量集成到表示学习过程中。
自停止机制：
- 为了消除需要留出标记验证集来确定何时停止训练的需求，该算法采用了基于相对误差的自停止规则。当重构误差的相对变化（或连续亲和矩阵之间的差异）低于预设阈值 ( $\delta = 0.01$ ) 时，训练自动终止。
可选后处理：
- 利用子空间维度 $d$ 的先验知识（例如，YaleB 面部图像 $d=9$ ，MNIST $d=12$ ），通过仅保留前 $d$ 个主系数来对学习到的表示矩阵 $C$ 进行可选后处理。这一步骤基于内子空间投影优势 (IPD) 属性，在不引入新超参数的情况下精炼了矩阵。
聚类：
- 从处理后的表示矩阵构建最终的亲和矩阵，并使用偏移拉普拉斯矩阵应用谱聚类以分配标签。

核心贡献

自主框架： 引入了一种自监督、单视图的 DSC 方法，无需外部标签且无需超参数调优。
顺序学习： 一个两阶段框架（预训练后接微调），允许集成多种正则化项（重构、距离保持、自表示和聚类质量），而无需通过加权超参数进行平衡。
联合表示： 利用从所有编码器层导出的联合表示矩阵来构建共同的自表示模型，解决了单层方法的局限性。
自停止准则： 基于相对误差稳定的无标签终止机制。
有数学依据的后处理： 使用子空间维度先验知识进行可选精炼步骤，在不引入新超参数的情况下提高聚类准确性。

实验结果
该方法在六个数据集上进行了评估：MNIST, USPS, Extended YaleB, ORL, COIL20, 和 COIL100。性能通过准确率 (ACC)、归一化互信息 (NMI) 和 F1 分数进行衡量。

与线性 SC 的比较： LIHFSS-SVDSC 一致优于八种经过精心调优的线性单视图子空间聚类算法（包括 SSC, LRR 和 NSN）。在某些情况下（如 Extended YaleB, COIL20），所提方法显著超越了这些线性基准。
与 Oracle DSC 的比较： 当与“Oracle”型 DSC 方法（即在留出数据上进行超参数调优的 DSC 方法）进行比较时，LIHFSS-SVDSC 展示了极具竞争力的性能。
- 在 Extended YaleB 和 COIL20 上，所提方法优于 Oracle DSC 方法。
- 在 MNIST 和 ORL 上，其结果与 Oracle 方法相当或略低（例如在 MNIST 上差距在 1-3% 以内）。
- 在 COIL100 上，其表现略低于最佳线性及 Oracle 方法（约低 3-5%），作者将其归因于线性 SC 方法的固有局限性以及该数据集的复杂性。
消融研究： 实验证实了顺序阶段的必要性。仅使用最后一层 ( $L_{M/2}^{SE}$ ) 或省略聚类质量损失 ( $L_Q$ ) 会导致性能显著下降。IPD 后处理步骤提供了持续的改进。

意义与主张
论文声称，LIHFSS-SVDSC 为缺乏标记数据且无法进行超参数调优的现实世界聚类任务提供了一个稳健且实用的解决方案。通过消除对用于调优和停止的留出数据集的依赖，该方法符合聚类真正的无监督本质。

作者坦诚地承认，其顺序设计在数学上并不等同于对加权和函数进行同步优化（后者在理论上可能产生更好的全局最优解）。然而，他们认为这种顺序设计成功地消除了对超参数选择的需求，提供了一个“真正自主”的学习过程。结果表明，虽然该方法可能无法总是达到经过重度调优的 Oracle 模型的峰值性能，但它提供了一个高度竞争、一致且无参数的替代方案，在无需人工干预的情况下优于标准的线性方法。