🤖 machine learning

Cooperation of Experts: Fusing Heterogeneous Information with Large Margin

该论文提出了专家协作（CoE）框架，该框架利用通过一种新型大间隔机制进行协作的领域特定编码器，将异构信息融合到统一的多层网络中，以在捕捉复杂数据结构方面实现卓越性能。

原作者： Shuo Wang, Shunyang Huang, Jinghui Yuan, Zhixiang Shen, Zhao Kang

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Shuo Wang, Shunyang Huang, Jinghui Yuan, Zhixiang Shen, Zhao Kang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：混乱的图书馆

想象一下，你正试图理解一个复杂的故事，比如一部推理小说。但这个故事并不是只有一本书，而是分散在五种不同的格式中：一份文本手稿、一系列地图、一组音频录音、一套照片以及一份财务收据。

在数据世界中，这被称为异构信息（heterogeneous information）。它是混乱的，因为：

语言不同： 文本用一种方式表达，地图用另一种方式，音频又用另一种方式。
连接方式不同： 文本可能通过“友谊”将角色联系起来，而地图通过“旅行路线”将他们联系起来，收据则通过“消费金额”将他们联系起来。

旧的方法试图通过将所有这些不同的格式强行塞进一个单一且僵化的盒子来解决问题。它们把文本、地图和音频都当作同一种类型的拼图碎片。论文指出这是一个错误。这就像试图通过听一段音频来阅读一张地图一样；你会丢失每种格式所具有的独特价值。

解决方案：“专家协作”（CoE）

作者提出了一种名为 CoE 的新系统。它不是构建一个试图同时理解一切的巨型大脑，而是建立了一个由专门的“专家”组成的团队。

你可以把它想象成一个高端侦探社正在破解一起复杂的案件：

低层级专家（Low-Level Experts）： 这些是只观察特定类型证据的专家。
- 专家 A 只看文本手稿。
- 专家 B 只研究地图。
- 专家 C 只听音频。
- 因为他们只专注于一件事，所以他们能够极其出色地识别出该特定格式中的模式，而不会被其他格式干扰。
高层级专家（High-Level Experts）： 这些是“合成者”。他们不看原始证据，而是看低层级专家得出的结论。他们负责弄清楚文本线索如何与地图线索相结合，从而揭示更宏大的全貌。

秘诀： “大间隔”（Large Margin）机制

在许多之前的系统（称为“混合专家模型”）中，专家们就像是一个只有嗓门最大的声音才能获胜的委员会。如果专家 A 说“这是一只猫”，而专家 B 说“这是一只狗”，系统可能只会选择那个置信度得分更高的选项，并忽略另一个。这就是竞争。

CoE 系统改变了规则，将其变为协作。

想象一个由评委组成的评审团在决定胜负。他们不仅仅是挑选最高分，而是使用一种特殊的规则，称为大间隔机制（Large Margin Mechanism）：

置信度张量（Confidence Tensor）： 这像是一个动态投票系统。它询问每个专家：“你对自己的答案有多确定？”以及“你对其他人的答案有多确定？”
间隔（Margin）： 系统试图确保“正确”的答案不仅是赢家，而且是压倒性的赢家。它会将顶尖选择与第二选择拉开距离。
- 类比： 如果正确答案是“天空是蓝色的”，系统希望专家们如此自信，以至于“蓝色”和“绿色”之间的差距非常巨大。如果差距很小（例如 51% 对 49%），系统就知道团队感到困惑，需要进行调整。

通过最大化这种“差距”，系统迫使专家们就一个强有力、清晰的结论达成一致，从而降低出错的概率。

他们是如何构建它的

清洗数据： 现实世界的数据通常带有噪声（比如一条缺失道路的地图，或者带有错别字的文本）。系统首先使用一种“图结构学习（Graph Structure Learning）”工具来清理连接关系，在专家们开始观察之前，先填补缺失的道路并修复错别字。
双层团队： 他们在清洗后的数据上训练低层级专家，然后训练高层级专家来整合这些见解。
优化： 他们使用一种数学技巧，以确保“投票系统”（置信度张量）是公平的，并且专家们不仅仅是在瞎猜。

他们的发现

作者在几个真实世界的数据集（如学术论文、电影评论和社会网络）上测试了这个“侦探社”。

结果： 与他们对比的其他任何方法相比，CoE 团队始终能更好地破解谜题。
稳定性： 即使他们故意对数据进行“攻击”（通过删除随机连接或添加虚假连接），CoE 系统依然保持稳定。这就像一位即便在丢失了一半证据的情况下仍能破案的侦探。
理论： 他们还从数学上证明了这种方法是稳定的，并且不会陷入“局部最优解”（即它认为已经完成，但实际上并未达到最佳状态的死胡同）。

总结

这篇论文介绍了一种处理复杂、混合数据的全新方式。它没有将一切强行套入一个模具，而是创建了一个专注于各自优势的专家团队。然后，它利用一种特殊的“间隔”规则，迫使他们协作并达成一个清晰、自信的结论，而不是仅仅让嗓门最大的声音获胜。这使得系统更加准确、更加稳定，并且更擅长处理混乱的现实世界数据。

技术摘要：专家协作（Cooperation of Experts, CoE）框架

问题陈述

融合异构信息仍然是现代数据分析中的一个持久挑战。现实世界的对象和数据通常以多种类型或多样化的交互形式存在（例如，结合图像和文本的多模态数据，或者具有不同关系类型如友谊和职业关系的社交网络）。现有的建模这些复杂关系的方法往往无法考虑到不同语义空间中对象模式的内在异构性。具体而言，对整个网络训练单一预测器的方法，由于忽略了不同链路模式固有的异构性和变化特征，往往会导致次优的结果。此外，虽然存在混合专家（Mixture of Experts, MoE）框架，但它们通常依赖于仅激活部分专家的门控机制，这促进了竞争而非协作，从而限制了对异构数据中所蕴含的多样化信息的充分利用。

方法论：专家协作（CoE）框架

作者提出了**专家协作（Cooperation of Experts, CoE）**框架，该框架将多类型信息编码为统一的异构多层网络（heterogeneous multiplex networks）。该框架旨在通过两层专家架构和一种新型的大间隔优化机制，超越模态和连接的差异。

1. 编码异构信息

该框架首先将任意形式的异构信息建模为一组 $V$ 个网络， $G = \{G_1, ..., G_V\}$ 。为了解决现实世界网络结构稀疏和噪声的问题，CoE 采用了**图结构学习（Graph Structure Learning, GSL）**策略。通过使用简单图卷积（Simple Graph Convolution, SGC）网络，该方法精炼了网络结构，并通过 K-最近邻（KNN）重构了邻接矩阵，确保最终的网络符合非负性、对称性和归一化等属性。

2. 两层专家设计

CoE 的核心是一个用于解构和整合异构信息的层次化专家系统：

低层专家（Low-Level Experts）： 这些组件专注于从单个网络（特定层）中学习模式。它们的训练目标是最大化特定网络表示与节点标签之间的互信息， $I(G'_i; Y)$ 。
高层专家（High-Level Experts）： 这些专家在融合表示上运行，以捕捉跨网络关系和高阶依赖关系，而这些关系在独立分析网络时是无法被发现的。它们的训练目标是最大化不同网络表示之间的互信息 $I(G'_i; G'_j)$ ，以及单个网络与总融合网络之间的互信息。

网络的融合是通过优化一个最大化互信息的损失函数来实现的，这有效地捕捉了各层之间的互补信息。

3. 用于协作的大间隔机制

与传统的 MoE 方法选择一部分专家不同，CoE 主张在决策过程中让所有专家进行协作。

置信度张量（Confidence Tensor）： 引入了一个可学习的置信度张量 $\Theta$ ，根据每个专家在捕捉不同模式方面的熟练程度为其分配加权影响力。该张量动态地调整每个专家的权威度。
大间隔优化（Large Margin Optimization）： 为了确保有效的协作并防止单个专家的错误误导系统，该框架引入了大间隔机制。该优化策略通过最小化一个平衡了交叉熵损失（确保正确性）和基于间隔的损失（确保专家间的一致性）的损失函数，来最大化两个置信度最高的预测结果之间的间隔。该间隔被定义为协作预测中最高置信度得分与第二高置信度得分之间的差异。

核心贡献

本文概述了三个主要贡献：

新颖的框架： 提出了 CoE 框架，该框架通过定制专家来捕捉专门特征和共享特征，从而从多层网络中提取稳定且细微的节点模式。它有效地解构并整合了异构信息。
从竞争转向协作： 据作者所知，这是第一个强调在多层网络背景下实现专家协作而非竞争的框架。它引入了大间隔优化策略，最大化了每个专家专业知识的有效性，促进了对网络知识的整体理解。
理论与实证验证： 本研究提供了严格的理论分析，保证了框架的可行性、稳定性和收敛性。在各种基准数据集上的广泛实验证明了其优于现有最先进方法的性能。

实验结果

作者在五个基准网络数据集（ACM, DBLP, Yelp, MAG, Amazon）和四个多模态数据集（ESP, Flickr, IAPR, NUS）上对 CoE 进行了评估。

节点分类： CoE 在所有数据集上均实现了最高的准确率，一致地优于监督式和无监督式的图结构学习（GSL）方法、多层学习方法以及 Graph-MoE 基准模型（如 GMoE, Mowst）。例如，在 ACM 数据集上，Co================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================