🤖 machine learning

From Global to Factor-Wise Expert Composition in Discrete Diffusion Models

本文介绍了 FactorDiff，一种用于离散扩散模型的创新框架，它通过将单个样本因子动态路由至专门的专家，而非应用全局混合权重，从而提升了组合生成能力，进而使模型在处理如 ARC-AGI 等空间复杂推理任务时表现出更优越的性能。

原作者： Haozhe Huang, Yudong Xu, Abhijoy Mandal, Alán Aspuru-Guzik

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Haozhe Huang, Yudong Xu, Abhijoy Mandal, Alán Aspuru-Guzik

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在尝试解决一个巨大的、棘手的谜题，就像 ARC-AGI 基准测试中的那些，你必须找出由彩色方块组成的网格中隐藏的规则。为了做到这一点，你雇佣了一个“专家”AI 模型团队。但问题在于，有些专家擅长绘制形状（“占用”专家），而另一些专家则擅长挑选正确的颜色（“颜色”专家），但两者都无法同时完美地胜任这两项工作。

长期以来，结合这些专家的标准方法就像是一场团队投票。每一位专家都会针对整个谜题同时大声说出他们的意见，然后团队会根据一个单一的“得分”来决定谁在整个画面中声音最大。论文称之为“逐样本组合”（per-sample composition）。

“团队投票”的问题
作者认为，这种“一个声音代表全场”的方法是有缺陷的。想象一下，如果一个专家是绘制边界的高手，但对中间部分的填充一窍不通；而另一个专家是色彩大师，却把形状搞错了。如果你给那位边界专家在整个谜题中仅分配一个“投票权”，他们对中间颜色错误的判断就会拖累整个团队。这就像是要求一位名厨也去修理厨房的水管，仅仅因为他是最擅长烹饪的人；当他试图修理水管时，他就会把汤给弄砸了。

新思路：FactorDiff（“专家切换器”）
论文引入了一种名为 FactorDiff 的新方法。FactorDiff 不再是对整个谜题进行整体投票，而是像一个聪明的经理，会对网格上的每一个方格（或像素）进行单独观察。

把这想象成一支正在盖房子的建筑施工队：

当施工队需要打地基和建造墙壁时，他们只听从结构专家的指挥。
当他们需要粉刷墙壁和挑选窗帘时，他们会切换过来，只听从颜色专家的指挥。

论文表明，通过动态地将谜题的每一个微小部分路由（routing）给对该特定部分最有信心的专家，你可以得到更好的结果。他们称之为“逐像素路由”（per-pixel routing）。

数据说明了什么
作者在 ARC-AGI 数据集的 120 个不同任务上测试了该方法。以下是他们的发现：

当专家是专才时： 如果你拿出一个“颜色”专家（其完成完整谜题的成功率仅为 3.3%）和一个“占用”专家（其完成完整谜题的成功率仅为 0.2%），旧有的“团队投票”方法表现挣扎，其完成完整谜题的最佳成功率仅约为 78.4%。但使用 FactorDiff 的“专家切换器”后，团队的成功率达到了 90.5%。这是一个巨大的飞跃！
当专家是全才时： 即使专家们在各项方面都很出色（完成任务的成功率分别为 93.0% 和 89.3%），FactorDiff 也没有让结果变差。它达到了 95.2% 的成功率，与最佳结果持平，这证明了即使在不需要切换专家的情况下，该方法也是安全可用的。

论文排除了什么
论文明确反对了认为单一的、全局性的“权重”或“投票”足以解决问题的观点。他们展示了试图用复杂的数学方法（如文中提到的“Feynman-Kac 校正器”或“SuperDiff”）来修复“团队投票”法，仍然无法捕捉到需要针对不同部分使用不同专家的细微差别。你不能仅仅通过调节专家的音量，你必须改变谁在哪里发言。

他们有多确定？
作者对这些结果非常有信心，因为他们进行了实际的实验，而不仅仅是模拟。他们在 120,000 个示例对上训练了模型，并在每个任务 200 个示例的留出集中进行了测试。结果是直接测量的：FactorDiff 一贯优于旧方法，尤其是在专家各有所长的情况下。

然而，论文也承认了一点他们尚未完全解决的问题：他们的“经理”（路由系统）目前是根据一个专家看起来有多“自信”来决定听从谁的。作者建议，虽然这在他们进行的测试中效果很好，但对于宇宙中所有可能的专家组合，它可能并不适用。他们提议，在未来，我们可能需要通过“学习”一种更好的方式来决定听从谁，而不是仅仅基于自信度进行猜测。

简而言之，论文表明，对于复杂的推理任务，我们不应该把 AI 专家视为一个整体的模块。相反，我们应该把他们视为一个专家团队，让最擅长特定部分的人，在每一个微小的环节上处理他们最擅长的部分。

技术摘要：从全局到因子维度的离散扩散模型专家组合

问题陈述

离散扩散模型已成为复杂推理任务中的强大框架，特别是通过组合生成（compositional generation），将多个预训练的“专家”模型结合起来，以超越其各自训练分布的泛化能力。近期的理论进展（如 SuperDiff、RNE、Feynman-Kac Correctors）通过引入随时间变化的混合权重来改进组合采样，使组合动力学与目标分布对齐。

然而，这些最先进的方法存在一个根本性的局限：它们基于**逐样本（per-sample）**进行操作，即在每个时间步为每个专家分配一个单一的全局标量权重。这种“单体式（monolithic）”假设隐含地认为每个专家在整个状态空间内都具有同等的知识水平。在复杂的生成任务中——例如空间推理任务中，一个专家可能专注于边界，而另一个专家处理纹理——这种全局权重会迫使模型做出折中。它会稀释正确专家在其特定能力区域内的信号，无法捕捉不同专家的空间和功能独立性。

方法论：FactorDiff

作者提出了 FactorDiff，这是一个因子维度组合框架（factor-wise composition framework），它将生成过程从样本级分解到因子级（例如空间像素或网格单元）。FactorDiff 不再对整个生成状态应用单一权重，而是动态地将每个因子路由至最相关的专家。

核心组件

因子级路由（Factor-Wise Routing）： 将状态空间分解为用户定义的因子。在采样过程中，路由图将每个因子（例如网格中的一个像素）分配给特定的专家。这允许在单个生成的状态内实现异构的专家贡献。
基于置信度的选择： 该框架通过在推理过程中动态选择每个位置置信度最高的专家来实现路由实例化。变量 $v$ 的路由变量 $z_v$ 确定为：
$z_v = \arg\max_{k} C(p_k(x_v | x_t))$
其中 $C$ 是置信度指标（前两个预测概率之间的间隔）。组合后的逆向步骤随后为该特定位置选择所选专家的预测结果。
原生 2D 掩码扩散架构： 为了支持这一点，作者引入了一种保留网格拓扑结构的 2D 掩码扩散架构。与以往将网格展平为 1D 序列（从而引入拓扑失配）的方法不同，该方法将网格视为格点图（lattice graph）。
- 专家模型： 训练了三种互补的模型类型：全能模型（Full model）（所有颜色）、占用模型（Occupancy model）（背景 vs 前景）以及颜色模型（Color model）（仅前景颜色）。
- 骨干网络： 去噪网络使用迭代细化架构（卷积或 Transformer 均可），并带有可学习的 2D 位置嵌入，以确保空间局部性。

理论依据

现有方法通常将目标分布定义为专家的加权乘积（ $p(x) \propto \prod p_m(x)^{\alpha_m}$ ）。作者认为，对于互补型专家，全局指数 $\alpha_m$ 是误设的，因为它强迫专家的预测（即使是在其领域之外的错误预测）也会影响整个状态。FactorDiff 用因子级乘积取代了这一设定：
$p_{comp}(x) \propto \prod_{f \in \mathcal{F}} \prod_{m=1}^M (p_m(x_f))^{\alpha_{m,f}}$
这种公式化形式允许专业知识随因子变化。在硬路由（hard-routing）情况下， $\alpha_{m,f}$ 是 one-hot 的，在不需要额外归一化或重要性修正的情况下，为每个因子选择单个专家，因为有效条件概率的乘积定义了一个有效的联合转移。

主要贡献

FactorDiff 框架： 一种新颖的组合方法，将专家组合视为因子上的路由，并特别针对网格结构扩散模型的层级级专家选择进行了实例化。
2D 掩码扩散架构： 一种能够维持网格拓扑结构的原生架构，使得可以在推理时组合互补专家（占用、颜色、全能）的预测。
ARC-AGI 上的实证验证： 在 ARC-AGI 基准测试的一个子集上进行的广泛评估表明，简单的因子特定路由一致优于复杂的全局标量权重方案，特别是在需要逻辑一致性和空间解耦的任务上。

实验结果

作者在包含 120 个 ARC-AGI 任务的子集上使用 RE-ARC 生成器进行分布内（IID）评估，以验证 FactorDiff。

专业化场景（RQ1）： 当组合高度专业化的专家（例如，占用 + 全能，或颜色 + 占用）时，FactorDiff 的表现显著优于逐样本基准模型（SuperDiff、RNE、FKC）。
- 颜色 + 占用： 单个专家在完整任务上的得分接近于零（精确准确率分别为 3.3% 和 0.2%）。FactorDiff 通过组合两者达到了 90.5% 的精确准确率，相比于表现最好的逐样本基准（78.4%）有了巨大的提升。
- 占用 + 全能： FactorDiff 实现了 94.0% 的精确准确率，超过了表现最好的单个专家（93.0%）以及所有逐样本组合方法。
通用型场景（RQ2）： 当组合两个强大的通用模型（全能 + 全能）时，FactorDiff 表现“稳健”，在不降低性能的前提下匹配了表现最好的逐样本基准（95.2%）。这表明，当专家们达成广泛共识时，空间变化的选取不会引入不稳定性。
消融实验： 即使是组合两个具有相同目标但架构不同的全能模型（Trans-IR vs. Conv-IR），FactorDiff 仍达到了 94.8% 的准确率，高于任何单个模型，成功地缝合了来自两者的正确区域。

意义与主张

论文声称 FactorDiff 提供了一种简单且有效的机制，用于在单个扩散轨迹中组合任意专业的专家。其主要意义在于证明了逐样本的全局权重不足以应对那些专家具有空间或功能专业领域的任务。通过转向因子级组合，该方法捕捉到了全局权重无法表达的互补专业知识，从而在需要严格逻辑一致性的任务上实现了卓越的泛化。

作者指出，虽然目前的实现依赖于基于置信度的路由（假设置信度与正确性相关），但该框架可以自然地扩展到学习型或任务条件型的路由。他们将这项工作定位为迈向离散扩散中更细粒度组合的一步，超越了当前最先进方法的“单体式”假设。