💻 computer science

Learning Disentangled Representations for Generalized Multi-view Clustering

本文提出了广义多视图自编码器（GMAE），该框架利用双路径自编码器和对抗判别器学习解耦表示，从而解决视图分布纠缠问题，并在 13 个基准数据集上的完整与不完整多视图聚类任务中均实现了卓越性能。

原作者： Xin Zou, Ruimeng Liu, Chang Tang, Zhenglai Li, Xinwang Liu, Kunlun He, Wanqing Li

发布于 2026-05-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Xin Zou, Ruimeng Liu, Chang Tang, Zhenglai Li, Xinwang Liu, Kunlun He, Wanqing Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和生动的类比对论文《Learning Disentangled Representations for Generalized Multi-view Clustering》（学习用于广义多视图聚类的解耦表示）的解释。

宏观视角：“大合影”难题

想象一下，你正在尝试整理一张来自不同国家的人物的巨型合影。你有三种不同类型的相机在拍摄同一群人：

相机 A 以黑白模式拍摄。
相机 B 以彩色模式拍摄，但角度怪异。
相机 C 以 3D 模式拍摄，但镜头模糊。

多视图聚类（MVC） 的任务就是利用所有这些不同的照片，将这些人物正确地归类到各自的群体（家庭、团队或国籍）中。

现有方法的问题在于，它们试图立即将所有这些不同的照片混合成一大堆。由于相机观察事物的方式不同（一个模糊，一个黑白），这“一大堆”变得杂乱无章。来自不同群体的人最终重叠在一起，导致群体看起来模糊不清。论文将这种现象称为**“纠缠”**。这就像试图解开一团耳机线，而有人还在不停地摇晃盒子。

解决方案：GMAE（智能分类器）

作者提出了一种名为 GMAE（广义多视图自编码器）的新系统。GMAE 不像旧方法那样简单粗暴地将照片混合在一起，而是像一位非常有组织的图书管理员，将故事中的“独特”部分与“共性”部分区分开来。

以下是 GMAE 的工作原理，分步说明：

1. 双路径自编码器（“分离器”）

想象你有一个关于某人的故事。

视图特定（“个性特征”）：这是让该人物对某一台相机而言独特的部分。也许相机 A 看到了帽子，但相机 B 没看到。GMAE 将这些个性特征隔离出来，以免它们干扰分类过程。
视图共性（“核心”）：这是所有相机都认同的真相。大家都同意这个人穿着红衬衫。GMAE 提取出这种共性真相。

类比：把它想象成听一支乐队演奏。

纠缠状态（旧方法）：你听到鼓声、吉他和人声混在一起。如果鼓声太大，你就听不清歌手在唱什么，也分不清谁在唱什么。
解耦状态（GMAE 方法）：GMAE 戴上了降噪耳机，将音轨分离开来。它将鼓声（视图特定）和旋律（视图共性）隔离开。现在，它可以清晰地听到歌曲（即聚类），而没有噪音干扰。

2. 跨视图对抗判别器（“测谎仪”）

GMAE 如何知道它成功地将“共性”真相与“特定”个性特征分离开来？它利用了一场博弈。

它设置了一个“测谎仪”（判别器），试图猜测某张照片是由哪台相机拍摄的。

如果“共性真相”部分看起来太像特定相机的风格，测谎仪就会识破它。
随后，GMAE 调整其数学计算以欺骗测谎仪，迫使“共性真相”无论由哪台相机拍摄，看起来都完全一样。

结果：“共性”堆对于每个视图来说都变成了完美、干净且完全一致的副本。“特定”堆则只包含独特的细节。

3. 互信息（“粘合剂”）

最后，GMAE 利用一个称为互信息的概念，确保各个群体紧密地结合在一起。它确保属于同一群体的人被拉得更近，而来自不同群体的人被推得更远。这就像使用磁铁，确保所有“红队”成员聚在一起，而“蓝队”则保持远离。

为什么这更好？（结果）

该论文在 13 个不同的数据集 上测试了 GMAE（范围从医学图像和 DNA 数据到汽车照片和手写数字）。

更清晰的群体：在可视化结果（如 t-SNE 图）中，以前的方法看起来像一团混乱的云雾，颜色相互渗透。而 GMAE 产生了紧密、 distinct、色彩分明的岛屿。群体被“解耦”了，清晰可见。
对缺失数据的鲁棒性：有时，相机会损坏，或者某张照片缺失了一个视图（例如，你有彩色照片，但 3D 照片不见了）。GMAE 对此的处理出乎意料地好。即使一半数据缺失，它仍然能准确地分类群体，因为它对“核心真相”的学习非常透彻。
稳定性：其他方法有时在一个数据集上表现极佳，却在另一个数据集上彻底失败。GMAE 在所有 13 次测试中表现 consistently 良好，无论数据是完美还是杂乱。

总结

该论文声称，通过分离每个数据源的独特噪声与共享真相，然后完美地重新对齐它们，GMAE 能够更清晰地描绘数据应如何分组的图景。

这之间的区别在于：是试图从三个不同的盒子里整理一堆混合的拼图碎片（旧方法），还是先将碎片按来源盒子分类，找出它们共同拥有的图案，然后再组装拼图（GMAE 方法）。其结果是一幅清晰、锐利且易于理解的画面。

技术摘要：用于广义多视图聚类的解耦表示学习

1. 问题陈述

多视图聚类（MVC）旨在利用来自不同数据视图（例如文本、图像、组学）的互补信息来揭示内在结构。然而，现有的深度 MVC 方法往往遭受视图分布纠缠的困扰。当融合来自不同视图的表示时，跨视图的数据分布差异会导致潜在空间未对齐。这种纠缠导致聚类结构不清晰，群簇不够紧密，且模型难以区分视图特有的噪声与真实的共享模式。此外，现有方法往往无法学习到既能跨视图对齐又能抵抗视图特有噪声的表示，从而导致聚类性能次优，特别是在不完整或含噪的场景中。

2. 方法论：广义多视图自编码器（GMAE）

作者提出了GMAE，这是一个自监督框架，旨在通过将源特征解耦为视图特有和视图共有嵌入来学习解耦表示。该框架通过以下机制运行：

2.1 解耦表示学习

GMAE 采用双路径自编码器来分解多视图数据：

编码器：视图特有编码器（ $f^v_{\theta_v}$ ）和跨视图共享编码器（ $f_{\theta_c}$ ）处理输入。
分解：特征被映射为视图特有表示（ $Z^v$ ）和视图共有表示（ $C^v$ ）。
重构：解码器利用特有特征和共有特征的拼接（ $[Z^v \oplus C^v]$ ）重构输入。
目标：该框架最大化原始视图与其重构之间的互信息（MI）（即最小化重构损失 $L^v_{Rec}$ ），同时最小化视图特有表示与视图共有表示之间的互信息，以强制统计独立性。这是通过相关性损失（ $L^v_{Cor}$ ）实现的，该损失最小化 $Z^v$ 和 $C^v$ 之间的协方差。

2.2 跨视图对抗对齐

为了解决分布未对齐问题，GMAE 引入了跨视图对抗机制：

判别器：视图特有判别器（ $D^v_{\kappa_v}$ ）被训练以区分表示是源自目标视图（真实）还是源自不同视图（虚假）。
对齐：通过极小极大对抗博弈，引导视图特有编码器产生在分布上跨视图不可区分的表示，从而在保留其独特特征的同时对齐视图特有分布。这被形式化为生成对抗损失（ $L^v_{Dis}$ ）。

2.3 自相关与聚类结构

为了在无标签的情况下增强聚类能力，GMAE 最大化综合表示（ $Q$ ）与其局部邻域（ $Q_\omega$ ）之间的互信息。

对比目标：采用受 InfoNCE 启发的方法，模型最大化样本与其最近邻之间的互信息，以促进簇内凝聚和簇间分离。这通过交叉熵损失（ $L_{Ent}$ ）进行优化。
理论保证：作者提供了理论证明（定理 1-3），表明在提出的约束下，学习到的共有表示包含所有必要的干净信息，且与标准对比学习方法相比，综合表示保留了更多与聚类相关的信息以及更少的与聚类无关的噪声。

2.4 目标函数

总目标函数结合了这些组件：
$J = \sum_{v=1}^{V} L^v_{Rec} + \alpha \times (L^v_{Cor} + L^v_{Dis}) + \beta \times L_{Ent}$
其中 $\alpha$ 和 $\beta$ 是平衡正则化项的超参数。

3. 主要贡献

该论文概述了三个主要贡献：

新颖框架：GMAE 被提出为第一个专门解决 MVC 中视图分布和簇间纠缠挑战的自监督解耦表示学习框架。
理论分析：作者基于互信息估计严格推导出了可优化的损失函数。他们提供了理论分析，表明 GMAE 学习到的表示包含比现有方法显著更多的聚类相关信息和更少的噪声。
实证优越性：该框架同时提高了跨视图的聚类一致性并保留了视图多样性。它在各种数据类型（文本、图像、组学、合成数据）的完整和不完整多视图聚类任务中均表现出鲁棒性。

4. 实验结果

作者在13 个基准数据集上评估了 GMAE，包括合成数据、图像数据集（STL-10, Digits, LandUse-21 等）、图像 - 文本对（Wikipedia, RGB-D）以及多组学数据（BRCA, LGG）。

性能：GMAE 在准确率（ACC）、归一化互信息（NMI）和纯度（PUR）方面始终优于 12 种最先进（SOTA）方法（例如 COMPLETER, DCP, DealMVC, SCMVC）。在 20 项测试中，它获得了 15 次第一名、3 次第二名和 2 次第三名。
不完整数据：在存在缺失视图（缺失率高达 0.9）的实验中，GMAE 表现出卓越的韧性，其性能下降速率明显慢于竞争方法。
可扩展性：在 Digits 数据集上，随着视图数量的增加，GMAE 的性能得到提升，而其他方法（如 DSMVC 和 SURE）则随着视图的增加出现性能下降。
稳定性：该模型展示了稳定的训练收敛性，未出现其他方法（如 CPSPAN, DCP）中观察到的显著波动。
消融研究：实验证实，重构、相关性/对抗性以及自相关损失的组合对于实现最佳性能是必要的；移除任何组件都会导致指标显著下降。

5. 意义与主张

该论文声称，GMAE 解决了当前深度 MVC 的一个根本局限性：无法在保留视图特有判别能力或引入纠缠的情况下对齐视图分布。通过显式解耦视图特有和视图共有因素并通过对抗学习对齐它们，GMAE 生成了鲁棒且非平凡的嵌入。

作者断言，这种方法提供了一个可扩展的解决方案，其计算复杂度相对于数据集大小呈线性增长，使其适用于大规模数据。该框架对于现实世界应用尤为重要，因为在这些应用中数据往往是不完整、含噪或异构的，因为它即使在传统方法失效的不利条件下也能保持高质量的聚类。代码已公开，以促进可复现性和进一步研究。