💬 NLP

InfiGFusion: Graph-on-Logits Distillation via Efficient Gromov-Wasserstein for Model Fusion

InfiGFusion 引入了一种新颖的结构感知模型融合框架，该框架采用基于图的对数蒸馏，并结合高效的闭式 Gromov-Wasserstein 近似来捕捉词汇通道间的语义依赖关系，从而在复杂推理任务中显著超越现有基线方法。

原作者： Yuanyi Wang, Zhaoyi Yan, Yiming Zhang, Qi Zhou, Yanggan Gu, Fei Wu, Hongxia Yang

发布于 2026-05-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuanyi Wang, Zhaoyi Yan, Yiming Zhang, Qi Zhou, Yanggan Gu, Fei Wu, Hongxia Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有三位不同的专家厨师：一位是意大利面食大师，一位是辛辣印度咖喱的巫师，还有一位是烘焙法式糕点的天才。你希望创造一位单一的“超级厨师”，能够完美烹制这三种菜系，而无需雇佣三个独立的人。

这就是人工智能中模型融合（Model Fusion）所面临的挑战。本文介绍了一种名为InfiGFusion的新方法来解决这一问题，专门针对驱动聊天机器人等应用的大型语言模型（LLMs）。

以下是论文如何用简单的类比来解释他们的解决方案：

1. 问题所在：“单人”方法 vs.“团队”方法

目前大多数结合 AI 模型的方法，就像是要求这位“超级厨师”先看意大利面菜的食材，再看咖喱菜的食材，然后一次只决定一种食材的风味。

缺陷：这种方法忽略了食材之间的相互作用。在真实的食谱中，大蒜和柠檬协同工作以创造特定的风味。如果将它们视为独立的项目，你就会错过“风味特征”或语义依赖。
论文观点：现有方法逐字地审视 AI 的“想法”（称为logits）。它们会说："AI 认为‘猫’是可能的，‘狗’也是可能的”，但它们无法理解 AI 将“猫”和“狗”之间的关系视为“动物”。它们错过了思维的结构。

2. 解决方案：绘制思维地图（基于 Logits 的图）

InfiGFusion 改变了游戏规则，它不再单独审视单词，而是审视它们如何连接。

类比：想象 AI 的思维不仅仅是一个单词列表，而是一个社交网络。
- 节点（人）：AI 可能说出的每个单词都是一个人。
- 边（友谊）：如果 AI 经常将“火”和“烟”联系在一起思考，那么它们之间就有一条强烈的友谊线。
创新之处：InfiGFusion 不再仅仅比较 AI 预测的单词列表，而是比较整个友谊网络地图。它会问：“这位‘超级厨师’关于‘火’与‘烟’关系的地图，是否与‘意大利厨师’和‘印度厨师’的地图相似？”

3. 秘密武器：“Gromov-Wasserstein"距离（形状匹配器）

为了比较这些复杂的地图，作者使用了一种名为Gromov-Wasserstein (GW) 距离的数学工具。

类比：想象你有两个用粘土制成的不同形状：一个是立方体，一个是球体。你想知道它们有多相似。
- 旧方法：你测量每个单点的长度、宽度和深度。这既缓慢又混乱。
- GW 方法：你观察物体的形状。立方体有角吗？球体有曲线吗？你比较的是点与点之间的关系，而不仅仅是点本身。
GW 的问题：通常，这种“形状匹配”极其缓慢且计算成本高昂（就像试图解决一个拥有十亿块拼图的难题）。训练 AI 将需要太长时间。

4. 突破：“排序”捷径

本文最大的技术成就是一种能够快速进行这种形状匹配的新方法。

类比：与其试图逐个匹配社交网络中的每个人，他们意识到可以仅仅根据每个人的受欢迎程度（即连接数量）对所有人进行排名。
- 如果“超级厨师”有一个“火”角色，它是第 5 受欢迎的；而“源厨师”也有一个“火”角色，同样是第 5 受欢迎的，那么就将它们匹配起来！
结果：这种“排序”技巧将一项曾经耗时极长的任务（O(n⁴)）转变为一项几乎瞬间完成的任务（O(n log n)）。这就像将一次 10 小时的徒步旅行变成了一次 10 分钟的骑行。

5. 结果：更擅长“思考”

作者在 11 项不同的挑战中测试了这位新的“超级厨师”，包括数学、编程和逻辑谜题。

结果：与以往的方法相比，InfiGFusion 在复杂推理方面表现显著更优。
- 示例：在“多步算术”测试（解决需要多个步骤的数学问题）中，其得分提高了35.6 分。
- 示例：在“因果判断”（判断 A 是否导致 B）中，其得分提高了37 分。
原因：因为它保留了想法之间的关系。它不仅仅是死记硬背答案，而是学习了源模型进行推理的逻辑。

总结

InfiGFusion 是一种结合 AI 模型的新方法。它不仅仅是逐字复制答案，而是复制思维的结构。它将 AI 的预测视为连接地图，并利用巧妙的“排序”技巧快速对齐这些地图。其结果是，这种融合后的 AI 在解决复杂的多步骤问题方面，比那些仅孤立地审视单词的模型要聪明得多。

技术摘要：InfiGFusion

问题陈述
近期将异构大语言模型（LLM）融合为统一系统的努力，主要依赖于基于 logits 的蒸馏方法。虽然这些方法保持了推理效率，但它们通常独立处理词汇维度，通过 KL 散度或 Wasserstein 距离等目标来对齐 token 分布。这种逐 token 的对齐方式忽视了语义依赖——即编码模型内部推理过程的跨维度交互与共激活模式。因此，现有方法难以对齐具有不同生成行为的模型，特别是在需要多步推理、关系推断和细粒度语义对齐的任务中。

方法论：InfiGFusion
作者提出了InfiGFusion，这是一个显式建模上述语义依赖的结构感知融合框架。其核心创新是**基于 Logit 图的蒸馏（GLD）**损失函数，其运作方式如下：

Logit 图构建：该方法不再将 logits 视为独立向量，而是构建一个全局共激活图。对于每个输出，保留前 $k$ 个 logits 以确保稀疏性。将这些 logits 在序列位置上的外积进行聚合，形成一个图，其中节点代表词汇通道，边量化它们的联合激活（相似度）。
结构感知对齐：为了将源模型的 logit 图与枢轴模型对齐，该框架采用**Gromov-Wasserstein (GW)**距离。选择 GW 是因为它能够基于内部结构相似性而非直接节点对应来匹配分布。
高效近似：标准 GW 距离计算的复杂度高达 $O(n^4)$ $O (n^{4})$ ，对于大型词汇表（ $n > 10^5$ $n > 1 0^{5}$ ）而言不可行。作者引入了一种新颖的基于排序的闭式近似，将复杂度降低至 $O(n \log n)$ 。
- 图特征压缩：将相似度矩阵压缩为标量节点级特征（具体为行均值或度风格特征）。
- 基于排序的匹配：通过对这些特征进行排序，将源模型的第 $i$ 大条目与目标模型的第 $i$ 大条目进行匹配，从而完成对齐。
- 理论保证：论文提供了可证明的近似误差界 $\frac{n-1}{n^2} + \frac{m-1}{m^2}$ ，该误差随 $O(1/n)$ 衰减。此外，作者证明 GW 引导的损失函数具有比 KL 和标准 Wasserstein 损失显著更低的 Lipschitz 常数，这表明了更紧泛化界和更稳定的训练。
统一目标：最终的训练目标将结构感知的 GLD 损失与粗粒度的通用 Logit 蒸馏（ULD）损失（用于 token 级分布对齐）以及标准的监督微调（SFT）信号相结合。

主要贡献

首个结构感知融合框架：InfiGFusion 是首个通过特征级 logit 图建模语义依赖，并利用新颖的 GLD 损失对其进行对齐的方法，超越了独立的 token 对齐。
可扩展的 GW 近似：作者提出了一种 Gromov-Wasserstein 距离的闭式近似，将计算复杂度从 $O(n^4)$ 降低到 $O(n \log n)$ ，并带有可证明的误差界，使得基于图的对齐在 LLM 规模的词汇表上成为可能。
推理任务中的实证优势：在 11 个基准测试上的广泛实验表明，InfiGFusion consistently 优于最先进的融合基线（如 MiniLogit、FuseLLM、FuseChat）和 SFT 基线。

结果
该方法在涵盖推理、编码、数学和指令遵循的 11 个基准测试上进行了评估，将多个源模型（Qwen2.5、Mistral、Qwen2.5-Coder）融合到 Phi-4 枢轴模型中。

复杂推理提升：InfiGFusion 在需要多步和关系推断的任务中表现出显著改进。值得注意的是，与 SFT 基线相比，它在多步算术任务上实现了**+35.6 分的提升，在因果判断任务上实现了+37.06 分**的提升。
整体性能：该模型在多个领域均优于枢轴模型和源模型，平均得分为 83.85，而枢轴模型为 79.54。
效率：尽管进行了结构对齐，该方法仍保持了具有竞争力的效率，仅需 195 个 GPU 小时进行训练，远少于 FuseChat 等多步融合流水线所需的 650 个 GPU 小时。
消融研究：实验证实，ULD（粗对齐）和 GLD（结构对齐）组件都是必要的，其中 GLD 特别推动了推理任务的增益。

意义
论文声称，InfiGFusion 解决了模型融合中的一个关键缺口：token 级目标无法捕捉模型推理 underlying 的关系结构。通过显式对齐 logit 空间的“形状”而不仅仅是边缘分布，该框架实现了异构 LLM 的集成，且无需增加推理成本。作者认为，这种保持结构的对齐对于提升集体 LLM 能力至关重要，特别是在逻辑一致性和多跳推理至关重要的复杂推理场景中。这项工作表明，模型融合的未来进展取决于超越表面的 token 匹配，转而保留驱动连贯推理的内部语义依赖。