🤖 machine learning

RHEA: Reliability-Harmonized Reconstruction and Assignment for Robust Multimodal-Attributed Graph Clustering

RHEA 是一个鲁棒的多模态属性图聚类框架，它通过利用邻域共识来估计节点特定的模态可靠性，从而在存在噪声或缺失属性的情况下增强性能，以此指导自适应融合、表示重构以及拓扑感知聚类。

原作者： Yinlin Zhu, Di Wu, Ziyu Han, Zekai Chenm, Wang Luo, Miao Hu, Guocong Quan

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Yinlin Zhu, Di Wu, Ziyu Han, Zekai Chenm, Wang Luo, Miao Hu, Guocong Quan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图组织一个庞大且混乱的图书馆，这里的每一本书都有两种不同的封面故事：背面的文字简介和正面的图片。在计算机科学领域，这被称为多模态属性图（Multimodal-Attributed Graph）。你可以把“图”想象成一个巨大的连接网络（比如社交媒体上的好友关系或一起购买的产品），而“多模态”部分是指附加在每个节点上的两种不同类型的信息（文本和图像）。科学家们利用这些网络来自动进行归类——比如寻找喜爱同一种音乐的人群社区，或者在无需人工阅读每个标签的情况下，将数以千计的产品进行分类。

但问题在于，现实世界中的数据是杂乱无章的。有时一本书的图片被撕裂了、模糊不清，甚至完全缺失；有时文字中充满了错别字或乱码。大多数试图整理这些网络的程序都假设每本书的图片和文本都是同样完美且可靠的。它们将一张模糊损坏的图片与一张清晰完美的图片同等对待，这往往会导致整个分类系统产生混乱并出错。目前研究人员试图解决的核心问题是：计算机如何在没有人预先告知答案的情况下，分辨出哪些信息是可靠的，哪些是垃圾信息？

这正是名为 RHEA（可靠性协调重构与分配，Reliability-Harmonized Reconstruction and Assignment）的新方法发挥作用的地方。RHEA 的研究人员意识到，在一个相互连接的网络中，你的邻居通常了解你的属性。如果你是一本“科幻小说”，那么你的邻居很可能也是科幻小说。因此，如果你的图片很模糊，但你的邻居们的图片都很清晰且看起来都像宇宙飞船，那么计算机就可以推断出是你的图片出了问题，而不是你的类型出了问题。RHEA 利用这种“邻里间的闲聊（neighborly gossip）”来判断哪些数据是值得信赖的，哪些是损坏的。

RHEA 并不盲目信任每一条数据，它更像是一位在做决定前会观察人群的聪明图书管理员。它会观察一个节点（一本书）并询问：“你的文本与你的邻居匹配吗？你的图片与他们匹配吗？”如果一个节点的数据与群体不符，RHEA 就会将其标记为不可靠。接着，它会进行一项巧妙的操作：它并不仅仅是丢弃那些坏数据，而是通过借鉴来自可靠邻居的清晰信息来“重构”它。它本质上是在说：“既然你的图片毁掉了，那我们就用你邻居图片的平均值来推测你的图片应该是怎样的。”

一旦数据被清理干净且不可靠的部分被修复后，RHEA 会使用一种叫做“最优传输（optimal transport）”的特殊数学工具来进行分类。你可以把它想象成把家具搬进房间：RHEA 确保那些沉重、可靠的信息（清晰的图片和文本）在决定一本书属于哪个房间时具有更大的权重，而那些较轻的、经过重构的信息则权重较小。这确保了即使原始数据非常糟糕，最终的分组依然是准确的。

研究人员在四个不同的现实世界数据集（包括社交网络和电子商务目录）上测试了 RHEA，涵盖了从完美数据到严重损坏数据的五种不同情况。他们发现 RHEA 始终优于现有的最佳方法。数据越混乱，RHEA 的优势就越大。事实上，当他们人为损坏数据进行测试时，RHEA 检测出损坏的准确率超过了 95%，证明了其“邻里闲聊”法是识别并修复错误信息的非常有效的方法。通过学会信任大众并修复破碎的部分，RHEA 让比以往任何时候都更可靠地组织复杂、杂乱的数据成为了可能。

技术摘要：RHEA —— 用于鲁棒多模态属性图聚类的可靠性协调重建与分配

1. 问题陈述

多模态属性图（Multimodal-attributed graphs, MAGs）通过异构属性（例如文本和图像）表示节点及其关系结构，为社区发现和产品细分等任务提供了基础。虽然现有的多模态图聚类方法在属性干净且完整时表现良好，但在属性存在噪声、损坏或缺失的现实世界条件下，其性能会显著下降。

现有方法的局限性在于它们隐含地假设模态可靠性在所有节点上是均匀的。在实践中，可靠性是针对特定节点的：对于某个节点，图像可能已损坏，而其文本可能是不完整的，反之亦然。现有方法无法区分单个节点层面的可靠与不可靠模态，导致融合后的表示被噪声污染或无法补偿缺失数据。此外，在无监督设置下，不存在用于推断这种可靠性的标签，这提出了一个根本性的挑战：如何在没有监督的情况下估计特定节点的模态可靠性？

2. 方法论：RHEA

作者提出了 RHEA（Reliability-Harmonized rEconstruction and Assignment，可靠性协调重建与分配），该框架利用**属性同质性（attribute homophily）**原则——即观察到相邻节点倾向于共享相似的语义属性——来估计可靠性并指导聚类。

2.1 邻居共识可靠性估计

RHEA 以完全无监督的方式估计节点特定的模态可靠性场 $\rho_{i,m} \in [0, 1]$ 。

机制： 对于每个节点 $i$ 和模态 $m$ ，该方法基于该模态下节点嵌入与其邻居嵌入之间的余弦相似度，计算模态内邻居一致性得分 $a_{i,m}$ 。
可靠性场： 这些一致性得分通过带有温度参数 $\tau$ 的 softmax 函数转换为每个节点的模态概率分布。与邻域保持一致的模态被赋予高可靠性；偏离邻域的模态则被赋予低可靠性。

2.2 可靠性感知表示学习

一旦估计了可靠性，RHEA 会进行自适应的表示重建与融合：

重建： 如果某个模态缺失或其可靠性得分低于阈值 $\gamma$ ，则通过聚合具有观测到可靠数据的邻居节点的嵌入来进行表示重建。这防止了缺失或损坏信号的传播。
置信度估计： 根据可用邻居的数量及其嵌入的方差计算重建置信度得分 $c_i$ 。这作为一种绝对可靠性度量。
自适应融合： 最终的融合嵌入 $z_i$ 是模态特定嵌入的加权和，其中权重由估计的可靠性 $\rho_{i,m}$ 决定。如果某个模态经过了重建，则使用重建后的嵌入；否则保留原始观测到的嵌入。

2.3 可靠性感知聚类

聚类阶段利用可靠性信息，通过**最优传输（Optimal Transport, OT）和分配蒸馏（Assignment Distillation）**来优化聚类分配：

可靠性感知 OT： 计算节点嵌入与聚类原型之间的传输成本。至关重要的是，传输方案的行边缘权重由重建置信度 $c_i$ 进行加权。这确保了重建不确定性较高的节点对传输方案的贡献较小，从而减少了它们对最终分配的影响。
邻居共识分配蒸馏（NCRC）： 为了进一步正则化分配，将软聚类分配在图上进行 $L$ 跳传播。这种邻居共识目标会被强化，并作为蒸馏目标来鼓励局部一致的聚类分配，特别是对于直接证据较弱的节点。

2.4 优化

模型通过最小化包含以下内容的联合目标函数进行端到端训练：

聚类损失 ( $L_{clu}$ )： 最优传输成本。
蒸馏损失 ( $L_{ncrc}$ )： 邻居共识分配损失。
辅助对比损失： 用于保持拓扑不变性的图路径对比损失 ( $L_{nbr}$ ) 以及用于将模态特定表示与融合嵌入对齐的跨模态对齐损失 ( $L_{mod}$ )。

3. 核心贡献

本文确定了三个主要贡献：

有价值的洞察： 作者指出节点特定模态可靠性是鲁棒 MAG 聚类中缺失的关键组件。他们证明了在属性同质性的前提下，图邻域可以为估计这种可靠性提供无监督的证据。
新颖的方法： 提出了 RHEA 作为一个统一的框架，其中共享的邻域共识可靠性信号同时指导：
- 基于图的模态重建。
- 自适应多模态融合。
- 拓扑感知的最优传输聚类。
最先进的性能： 大量的实验表明，RHEA 在各项指标上均实现了持续的提升，且随着属性质量的恶化，这种提升效果愈发显著。

4. 实验结果

RHEA 在四个 MAG 基准数据集（RedditS, Toys, Grocery, Amazon）以及五种属性条件（标准/干净、图像损坏、图像缺失、文本损坏、文本缺失）下进行了评估。

标准设置： RHEA 在所有四个数据集和所有指标（NMI, ACC, ARI, F1）上均取得了最佳性能，超越了 DGF 和 DMGC 等强基准模型。
对扰动的鲁棒性： 在模态损坏或缺失的情况下，RHEA 始终优于所有基准模型。随着扰动程度的增加，性能差距进一步扩大。例如，在图像缺失率为 80% 的 RedditS 数据集上，RHEA 保持了 0.729 的 NMI，而次优方法（DGF）则降至 0.647。
可靠性检测： 研究表明，学习到的可靠性场能够准确检测合成注入的损坏，在所有数据集上的 AUROC 始终超过 0.95。
消融实验： 去除重建模块在缺失场景下导致了最大的性能下降，而去除可靠性门控在损坏场景下导致了最大的性能下降。这证实了重建模块处理缺失数据，而门控模块防止噪声注入损坏数据。

5. 重要性与主张

本文主张 RHEA 展示了建模节点特定、图诱导可靠性对于鲁棒多模态表示学习的重要性。通过将可靠性视为随节点和模态变化的隐变量，而非全局属性，该框架能够有效地利用局部结构上下文修复不可靠的观测。

作者将 RHEA 定位为解决当前 MAG 聚类方法中普遍存在的“干净数据假设”问题的方案。他们认为，局部结构上下文为识别不可靠观测提供了有效的信号，使得即使在数据质量具有异质性的情况下也能实现鲁棒聚类。论文最后指出，未来的工作将研究如何将该框架扩展到低同质性和异质图，同时也承认当前方法依赖于邻居共享相似属性的假设。