Rethinking Incompleteness: Formalizing Protocol Divergence and Train-Once Learning for Robust IMVC

技术摘要：重新思考不完全多视图聚类（IMVC）中的不完备性

问题定义
不完全多视图聚类（IM完成 IMVC）旨在解决数据中部分样本缺失视图（模态）的聚类挑战。当前 IMVC 研究中的主流范式依赖于跨视图重构，即利用完整样本作为监督来恢复缺失的视图。然而，本文指出当前这些方法的评估和理论理解存在两个关键缺陷：

1. 逐配置重训陷阱（The Per-Configuration Retraining Trap）： 现有方法通常需要针对每一种特定的缺失数据协议和缺失率组合，分别重新训练一个模型进行评估。这种方法在实际部署中是计算上难以承受的，因为现实中的缺失数据分布往往是非平稳或未知的。
2. 不完备性差异（Incompleteness Divergence）： 本文认为，“标称缺失率”（$r$）不足以作为表征数据不完备性的指标。具有相同标称缺失率 $r$ 的不同评估协议，可能会导致全观测样本（$p_c$）的比例出现巨大差异。作者将此形式化为不完备性差异，并证明在相同的标称速率下，不同协议导致的 $p_c$ 差异可达 50 倍。

理论见解：可训练性边界
作者证明，对于广泛的基于重构的方法类（第一类，记作 $\mathcal{F}_{rec}$），当完整样本的比例（$p_c$）低于临界阈值时（具体表现为当 $p_c \to 0$ 时），学习在结构上是病态的。

• 机制： 重构损失主要从同一样本内的跨视图共现中获取监督信号。如果一个样本少于两个视图，它对重构目标的梯度贡献为零。
• 后果： 随着 $p_c$ 的减少，预期的梯度信号趋于消失。论文证明，对于 $p_c \to 0$ 的协议，预期的参数位移被与 $p_c$ 成正比的项所限制，导致无论如何调整超参数，聚类准确率都会趋于随机水平。这种崩溃是损失函数的结构性属性，而非调参问题。
• 区别： 论文区分了可训练性失败（由于 $p_c$ 过低导致梯度信号消失，影响 $\mathcal{F}_{rec}$）与能力失败（信息论极限，即观测到的视图本身缺乏关于聚类标签的足够信息，影响所有方法）。

方法论：CRAFT
为了绕过可训练性边界，作者提出了 CRAFT（完整数据鲁棒注意力掩码融合 Transformer）。CRAFT 旨在满足两个结构性条件，从而使一个在完整数据上训练的模型能够在推理阶段泛化到任何缺失模式：

1. 样本独立性（C1）： 样本 $i$ 的表示仅由其自身的观测视图和共享参数计算得出。它不依赖于其他样本的观测模式或跨样本的共现。
2. 掩码感知变长融合（C2）： 缺失的视图通过**注意力掩码（attention masking）**从内部计算中排除，而不是通过零填充或幻觉生成。这确保了缺失视图对融合表示的贡献精确为零，防止了噪声或无效信号的注入。

架构细节：

• 逐视图编码： 视图特定 MLP 将每个视图映射到共享嵌入空间。
• Transformer 融合： Transformer 编码器处理视图嵌入序列（加上一个可学习的 [CLS] token）。在推理时，键填充掩码（key-padding mask）将缺失视图的注意力逻辑值设为 $-\infty$，从而在注意力机制中有效地移除它们。
• 完整数据两阶段训练：
  • 第一阶段： 在完整样本上利用逐视图重构损失和跨视图一致性损失（SimSiam 式）学习表示。
  • 第二阶段： 利用自标签交叉熵、熵正则化以及可选的掩码微调（MFT）来微调聚类头，使训练分布与推理时的缺失模式对齐。

核心贡献

1. 不完备性差异的形式化： 引入有效缺失率（$\hat{r}$）和完整样本比例（$p_c$）作为不同的因果变量，揭示了标准协议掩盖了基于重构方法的训练风险。
2. 崩溃的理论证明： 严谨地证明了重构式学习受限于 $p_c$ 的结构性边界，解释了为什么现有方法在稀疏数据场景（即 $p_c < 1\%$）下会失效。
3. CRAFT 架构： 一种基于 Transformer 的框架，通过架构设计（C1 和 C2）而非损失函数工程来实现鲁棒的 IMVC，从而实现“一次训练，多次部署”的范式。
4. 实证验证： 在包括 CUB、HandWritten、MultiFashion 和 YTF-31 在内的七个基准数据集上，针对四种不同的评估协议进行了广泛实验。

结果

• 基准模型的崩溃： 当在 $p_c \to 0$ 的严格协议下进行评估时，标准的 $\mathcal{F}_{rec}$ 基准模型（如 COMPLETER, DCP, DCG, HSACC）一致性地崩溃至接近随机的准确率（通常 $<40\%$），即使其标称缺失率并不高。
• CRAFT 性能： 一个在完整数据上训练得到的 CRAFT 单一检查点，在所有 16 种测试的（协议，速率）配置下，均能达到或超过逐配置重训的基准模型。
• 效率： 与为每个配置重训单独模型的基准方法相比，CRAFT 将训练开销降低了 8.8 倍。
• 鲁棒性： CRAFT 即使在 $p_c = 0$ 时仍能保持高准确率，证明了对缺失数据的鲁棒性可以是一种内在的架构属性。

意义与主张
本文声称，当前 IMVC 中的“逐配置重训”范式是脆弱的，并且掩盖了基于重构方法的根本性缺陷。通过将鲁棒性的负担从损失函数转移到架构设计，CRAFT 证明了可以通过架构设计实现鲁棒的 IMVC，而无需针对特定的缺失数据分布进行重训。作者建议，未来的 IMVC 研究应将 $p_c$ 作为标准指标，并优先考虑架构改进（如样本独立性和掩码感知融合），而非算法层面的恢复机制。该工作局限于使用跨视图重构损失的无监督 IMVC；作者指出，将这些原则扩展到监督式多视图分类或其他多模态设置仍是未来的研究方向。