🤖 machine learning

Compositional Generalization in Autoregressive Models via Logit Composition

本文提出了一种受扩散方法启发的、用于自回归模型的有原则的 logits 组合策略，该策略确保了对输出子空间的投影控制，并在因子化条件假设下保持了长度泛化能力。

原作者： Aakash Kumar, Maria Sofia Bucarelli, Emanuele Natale

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Aakash Kumar, Maria Sofia Bucarelli, Emanuele Natale

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个由三位非常特定的厨师组成的团队在厨房工作。

基础厨师（背景）： 这位厨师擅长严格按照食谱执行。如果你要一个普通三明治，他们就做一个完美的普通三明治。他们不会添加任何多余的东西。
数学厨师： 这位厨师是添加奶酪和香料的巫师，但只有在食谱要求时才会这样做。如果食谱说“添加奶酪”，他们就完美地执行。如果没有，他们就不会动三明治。
代码厨师： 这位厨师是添加生菜和番茄的专家，但只有在食谱要求时才会这样做。

问题：
通常，如果你想要一个既有奶酪又有生菜的三明治，你必须雇佣一位能同时掌握所有技能的全能大厨。或者，你尝试通过混合三位厨师的围裙（权重）或让他们轮流工作（路由）来将他们融合在一起。但往往这会导致混乱：数学厨师可能在代码厨师试图添加生菜时试图添加奶酪，或者他们可能会争论如何完成三明治，最终导致一堆杂乱无章、无法食用的食物。

论文的解决方案：“Logit 组合”
这篇论文的作者提出了一种结合这些厨师的新方法。他们不是混合围裙或让他们轮流工作，而是让三位厨师同时大声喊出他们对下一个食材的建议，但遵循一条特殊规则：

规则： 他们取数学厨师的建议，加上代码厨师的建议，然后减去基础厨师的建议。
魔力： 因为基础厨师只是“普通”版本，减去他们的声音可以抵消噪音。
- 当食谱需要奶酪时，数学厨师声音洪亮，代码厨师保持安静（因为他们不懂奶酪），基础厨师保持中立。数学计算得出的结果是“添加奶酪”。
- 当食谱需要生菜时，代码厨师声音洪亮，数学厨师保持安静，基础厨师保持中立。最终决定是“添加生菜”。
- 当食谱不需要任何特殊食材时，大家都保持安静，三明治保持普通。

为什么这行得通（“不相交”的秘密）
论文认为，只有当厨师们拥有不相交的工作时，这种方法才能完美运作。

数学厨师只处理“奶酪步骤”。
代码厨师只处理“生菜步骤”。
他们永远不会试图同时做对方的工作。

如果数学厨师试图在代码厨师添加生菜的同时添加奶酪，他们可能会互相碰撞。但如果他们确切知道何时行动（例如，“我只在第 3 步行动，你只在第 5 步行动”），他们就可以无缝协作而无需争斗。论文将这种情况称为**“因子化条件”**。

“投影”保证
论文证明，如果厨师们坚守各自的特定区域，最终的三明治（输出）将与你雇佣了一位同时精通两种技能的大厨所得到的一模一样。

三明治的“奶酪”部分 100% 来自数学厨师。
“生菜”部分 100% 来自代码厨师。
“面包”部分 100% 来自基础厨师。

他们互不干扰。这就像投影：如果你只看奶酪部分，它看起来完全像是数学厨师制作的。如果你看生菜，它看起来完全像是代码厨师制作的。

这对长食谱有效吗？（长度泛化）
论文还检查了这种方法是否适用于厨师们从未见过的非常长的食谱（如一本 100 页的烹饪书）。他们发现，只要厨师们知道各自的特定“区域”（例如，“我处理第 10 到 20 步”），并且食谱遵循相同的模式，组合后的团队处理长食谱的能力就和处理短食谱一样好。仅仅因为书变厚了，他们并不会感到困惑。

现实世界测试
作者使用真实的 AI 模型（大型语言模型）对此进行了测试：

他们选取了一个基础模型（Gemma 2）。
他们选取了一个针对数学微调的版本。
他们选取了一个针对编程微调的版本。
他们使用他们的“喊出”规则将它们组合在一起。

结果：
新的组合模型在编程方面比单独的编程专家更出色，并且几乎保留了数学专家的所有技能。它并没有因为学习了编程而失去数学能力。这是一种“双赢”的局面，无需从头重新训练整个团队。

局限性
论文承认，当任务清晰分离时，这种方法效果最好。如果你试图组合太多的专家（例如在混合中加入一位“诗歌”厨师和一位“历史”厨师），团队可能会困惑于何时停止发言，从而导致胡言乱语。但对于清晰、分离的技能而言，这种"Logit 组合”是一种构建模块化 AI 系统的强大且合乎原则的方法。

技术摘要：通过 Logit 组合实现自回归模型中的组合泛化

问题陈述

构建模块化、可重用且可控的专用生成模型系统，仍是大型语言模型（LLM）研究中的核心挑战。现有的自回归模型方法通常在参数空间（例如权重插值、任务算术、基于稀疏性的合并）或架构空间（例如带有动态路由的混合专家模型）中运行。虽然这些方法能够组合微调后的检查点，但它们往往缺乏关于结果输出分布的明确静态保证，或者未能提供组件在无干扰情况下如何交互的原则性规则。

相比之下，扩散模型通过线性组合得分函数在组合生成方面取得了成功，这一视角最近由 Bradley 等人 [2025] 通过投影组合（projective composition）的概念正式化。然而，该框架尚未扩展到自回归模型，因为自回归模型的生成本质上是序列化的，且依赖于不断演变的前缀，使得特定技能的适用性取决于已生成序列的当前状态。

方法论

作者提出了一种针对自回归系统（如 Transformer）的选择性组合（selective composition）策略，该策略直接在概率空间而非参数空间中运行。给定背景模型 $p_b$ 和一组专用模型 $\{p_1, \dots, p_k\}$ ，组合模型 $\hat{p}$ 由应用于条件下一个 token 分布的显式算术规则定义：

$\hat{p}(y_t | x, y_{<t}) = \frac{1}{Z_t} p_b(y_t | x, y_{<t}) \prod_{i=1}^k \frac{p_i(y_t | x, y_{<t})}{p_b(y_t | x, y_{<t})}$

其中 $Z_t$ 是归一化常数。该公式有效地将专家的 log-概率相加，并减去背景模型的 log-概率。

理论框架

本文确立了该组合在何种条件下被证明是正确的，并能保留组件模型的独特行为：

因子化条件（Token 空间）：作者定义了一种属性，即生成空间被划分为不相交的 token 索引集合（掩码）。如果每个专用模型 $p_i$ 在其指定的掩码 $M_i$ 上独立作用，并在其他位置与背景模型 $p_b$ 一致，则该组合是投影的（projective）。这意味着组合模型在任何掩码 $M_i$ 上的边缘分布与专用模型 $p_i$ 的边缘分布完全相同。
技能因子化（序列设置）：认识到自回归任务（如三角函数证明）依赖于已生成 token 的历史，作者引入了技能因子化（skill factorizability）。如果模型的行为可以分解为背景阶段、特定技能阶段（由停止时间 $\tau_1, \tau_2$ 定义）以及返回背景阶段，则该模型是技能可因子化的。
联合因子化：为了使一组模型能够正确组合，它们的活跃区间（即偏离背景模型的区间）必须是成对不相交的。在此条件下，组合模型仅在指定的区间内应用每种技能，否则恢复为背景模型。
特征空间扩展：该框架通过可逆映射 $D$ 扩展到抽象特征空间。如果推前分布（pushforward distributions）在特征空间中满足因子化条件属性，则组合仍然有效，从而允许组合那些 token 域不相交但“概念”域不相交的模型。
长度泛化：本文认为，如果因子化假设和组件保证在目标长度上均匀成立，则组合模型将继承其组件的长度泛化行为。

与模型合并的联系

作者在概率空间组合与任务算术（Task Arithmetic，Ilharco 等人 [2023]）之间建立了理论联系。他们证明，在线性设置中，在参数空间中添加任务向量在数学上等价于输出分布的乘法组合。这表明模型合并技术的经验成功可能可以通过底层的加法组合原则来解释，即任务更新影响输出空间中不相交的区域。

主要贡献

原则性框架：引入了用于组合自回归模型的概率空间框架，将投影组合的概念从扩散模型扩展到序列生成。
正确性保证：确定了组合被证明正确的特定条件（因子化条件和联合因子化），确保组件在不干扰的情况下保留对其指定子空间的控制。
长度泛化：证明了当因子化假设在目标长度上均匀成立时，组合保留了长度泛化行为。
理论桥梁：将所提出的框架与现有的模型合并方法（特别是任务算术）联系起来，为某些合并启发式方法为何成功提供了理论解释。
实证验证：在合成任务和大型语言模型基准测试上验证了该方法。

结果

作者通过两个主要实验设置验证了他们的方法：

受控玩具任务：在一个字母替换任务中，模型被训练用于替换特定字符（例如 'A' $\to$ 'B'，'C' $\to$ 'D'），组合模型在同时执行两种转换时达到了100% 的成功率。这证实了组合算子正确地集成了不相交的技能。
LLM 基准测试：使用 Gemma 2 2B 基础模型（ $p_{base}$ $p_{ba se}$ ）和两个微调专家（ $p_{math}$ $p_{ma t h}$ 和 $p_{coding}$ $p_{co d in g}$ ），作者组合了一个模型 $\hat{p}$ $\overset{p}{^}$ ，并在四个基准测试上进行了评估：
- 编程：在 HumanEval+ 和 MBPP+ 上，组合模型的表现优于单独的编程专家（分别为 30.5 对 24.4 和 39.4 对 38.1）。
- 数学：在 GSM8K 和 MATH 上，组合模型保留了来自数学专家的显著性能（分别为 41.2 对 50.2 和 24.2 对 25.5），表明编程技能没有对数学推理造成灾难性干扰。
- 局限性：作者指出，组合超过两个专家会导致生成质量急剧下降，这可能是由于序列结束 token 的预测和终止行为的不稳定性所致。

意义与主张

本文声称提供了关于模型组合和合并在自回归系统中何时及为何成功的原则性理解。通过将焦点从参数空间转移到概率空间，作者确定了模型间交互保持稳定且无干扰的条件。

其意义在于提供了一种具有理论保证的静态、显式组合规则，这与动态路由方法或启发式参数平均形成对比。这项工作表明，自回归模型组合可以被理解为一种结构化的概率操作，有可能实现构建更模块化、更可控的 LLM。然而，作者保持了谦逊的态度，承认他们的因子化假设在实践中可能并不完全适用于所有预训练模型，且目前的实证评估范围有限。