💬 NLP

Operads for compositional reasoning in LLMs

本文提出将算子（operads）作为一种用于对大语言模型中问题分解进行建模的严谨数学框架，并引入了“算子一致性”（operadic consistency）这一新概念，该概念作为一个新的不变量，与推理准确性强相关，并且优于标准的自一致性（self-consistency）基准。

原作者： Nathaniel Bottman, Kyle Richardson

发布于 2026-06-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Nathaniel Bottman, Kyle Richardson

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图解决一个巨大的、复杂的谜题，比如弄清楚泰坦尼克号撞上冰山后到底沉没了多久。与其试图一次性猜出整个答案，不如将其拆解开来：“它是什么时候撞上的？”以及“它是什么时候沉没的？”然后将这两个答案结合起来，得到最终结果。

这就是大型语言模型（LLMs）在进行“思维链”（Chain of Thought）推理时所做的事情。它们将大问题分解成小的步骤。然而，这篇论文的作者指出，虽然我们确实在直觉上这样做，但我们并没有一套坚实的、数学化的规则手册来规定这些步骤是如何相互衔接的。这就像是拥有一份完美的食谱，却无法衡量其中的食材是否真的兼容。

为了解决这个问题，作者引入了一个名为**算子（Operads）**的数学工具。

乐高类比：什么是算子？

把算子想象成一套特殊的乐高说明书。

标准乐高： 通常是一个积木扣在另一个积木上（一进一出）。
算子乐高： 这些是特殊的积木，顶部有许多孔洞，底部则有一个凸耳。你可以将其他积木（甚至整个结构）插入到其中任何一个孔洞中。

在问题的世界里：

一个“问题模板”就是带有空白处的积木。例如：“在 [空白处] 时，谁是总统？”
“子问题的答案”就是你插入那个空白处的另一块积木。
算子则是那本规则手册，它规定：“无论你是先将答案插入第一个空白处，还是先插入第二个空白处，只要数学逻辑成立，最终的结构应该是相同的。”

“问题代数”

该论文建议，我们不应仅仅将问答（QA）模型视为一个聊天机器人，而应将其视为一个遵循这些乐高规则的机器。

问题： 这些是带有空白的模板（算子）。
模型： 这是“代数”。它是执行者，负责接收模板，用答案填补空白，并产生最终结果。

如果执行者是完美的，那么他们如何组装这个谜题并不重要。无论是先解决小部分问题再进行组合，还是以不同的顺序组合这些部件，最终的画面都应该是完全一致的。

问题所在：“算子不一致性”

有趣的地方就在这里。作者意识到，AI 模型经常打破这些规则。如果你以一种顺序提问，它可能会给你一个答案；如果你以稍微不同的逻辑顺序提问，它可能会给你一个不同的答案。

他们称之为算子不一致性（Operadic Inconsistency）。

“贝丝 vs 埃莉诺”测试：
论文使用了一个具体的例子来展示这一点。想象一条为了找出二战结束时谁是第一夫人的问题链：

路径 A： 问“二战何时结束？” -> 得到“1945年” -> 问“1945年谁是总统？” -> 得到“杜鲁门” -> 问“杜鲁门的妻子是谁？” -> 得到**“贝丝·杜鲁门（Bess Truman）”**。
路径 B： 直接问“二战结束时谁是第一夫人？”（跳过中间步骤） -> 模型可能会猜**“埃莉诺·罗斯福（Eleanor Roosevelt）”**（她非常有名，但并不是1945年总统的妻子）。

如果模型在逐步拆解的路径中给出“贝丝”，但在直接路径中给出“埃莉诺”，那么它就是不一致的。这就像一个计算器，如果你做 2+2 它给你结果“4”，但如果你做 1+1+2 它却给你结果“5”。

为什么这很重要

该论文提出了一种检查 AI 是否可靠的新方法。与其仅仅要求模型重复答案（这是目前的方法），我们可以检查模型的答案在所有可能的拆解方式下是否保持一致。

核心主张： 作者发现，那些具有“算子一致性”的模型（即无论你如何拆解问题，它们都能给出相同的答案）更有可能获得准确的结果。
结果： 在他们的配套研究（论文中提到）中，他们测试了 12 种不同的 AI 模型。他们发现，通过检查这种特定的一致性来预测准确性，比目前的标准方法更有效。

总结

这篇论文并不声称构建了新的 AI 或修复了所有的 AI 错误。相反，它提供了一个新的数学视角来观察 AI 如何思考。

它将问题分解视为一种正式的结构（算子）。
它定义了一种名为算子一致性的新可靠性测试。
它表明，如果一个 AI 在不同拆解方式下无法达成共识，那么它很可能无法得到正确答案。

简而言之：如果你无法以两种不同的方式解决同一个谜题，那你可能根本不知道如何解决它。这篇论文为证明这一点提供了数学依据。

技术摘要：用于 LLM 组合推理的算子（Operads）

1. 问题陈述

问题分解——即将复杂查询拆分为更简单子查询的策略（例如思维链提示，Chain-of-Thought）——是一种被广泛采用的技术。然而，本文指出这种实践目前缺乏严谨的数学基础。由于缺乏形式化的组合结构描述，导致难以：

定义什么是正确或良构的分解。
推导错误如何在子查询链条中传播。
在独立于特定模型实现的情况下，以原则性的方式比较分解策略。

现有方法依赖于直觉上的吸引力，但缺乏能够分析组合历史的形式化工具，将这一过程视为黑盒，而非一个结构化的代数系统。

2. 方法论：算子框架

作者提出将**算子（operads）**作为问题分解的自然数学框架。算子是模拟“多入一出”操作及其组合的结构，最初开发于代数拓扑学，随后被应用于形式语言理论。

2.1 问题算子 ( $Q$ )

论文定义了一个特定的算子 $Q$ 来模拟问题分解：

操作： $Q(k)$ 中的元素是包含 $k$ 个空白处（槽位）的问题。
组合： 操作 $\circ_i$ 对应于将一个问题的输出（一个子查询）代入另一个问题的第 $i$ 个空白处。
结构： 这构成了一个“集合上的非对称非单位算子”。其组合在语义等价性上具有结合律，这意味着代换顺序（例如，先将 $Q_3$ 与 $Q_2$ 组合，再与 $Q_1$ 组合，对比先将 $Q_2$ 与 $Q_1$ 组合）会产生语义等效的最终问题。

2.2 作为代数的问答（QA）模型

论文将问答模型 $m$ 解释为问题算子 $Q$ 上的一个代数（记作 $V_m$ ）：

值：集合 $V_m$ 由所有可以填充空白处的可能值（答案）组成。
作用： 给定一个问题模板 $q \in Q(k)$ 和 $k$ 个值 $v_1, \dots, v_k$ ，模型处理填充后的问题 $q'$ 以产生输出值 $v'$ 。
含义： 这种重构将模型不仅视为从文本到文本的函数，而是一个尊重问题树组合逻辑的保结构映射。

2.3 算子一致性

一个关键的方法论贡献是**算子一致性（operadic consistency）**的定义。

问题树（ToQ）： 分解被表示为一个根树，其中节点是问题模板，边代表数据流。
部分塌缩（Partial Collapses）： 一个 ToQ 可以通过组合子问题来进行“塌缩”。部分塌缩涉及组合树中的部分节点而非全部节点。一个拥有 $N$ 个顶点的 ToQ 有 $2^{N-1}$ 种可能的部分塌缩方式。
定义： 如果模型 $m$ 在 ToQ $T$ 上是算子一致的，则意味着 $m$ 产生的最终答案在 $T$ 的所有可能的局部塌缩下都是相同的。
意义： 如果一个模型在数学上是完全结合律的（on the nose），那么无论子查询解析的顺序或分组如何，答案都应该是保持不变的。不同部分塌缩之间的不一致表明模型在组合推理方面存在失败。

3. 核心贡献

分解的形式化： 论文提供了第一个使用算子进行问题分解的严谨数学框架，将组合的抽象结构与具体的模型实现分离。
LLM 的代数解释： 它确立了问答模型可以被视为问题算子上的代数，从而允许将代数工具应用于推理任务。
新指标（算子一致性）： 它引入了一种衡量多步推理可靠性的新指标。不同于标准的自一致性（检查多个独立的生成是否一致），算子一致性检查模型的内部组合逻辑在同一问题的不同结构路径下是否保持连贯。
歧义代数（理论扩展）： 借鉴上下文无关文法理论，作者概述了如何利用算子视角来定义一个“歧义代数”（ $\ker \phi$ ），以捕捉歧义的组合结构，而非将其视为一种二元属性。

4. 结果

论文本身并未呈现主要的实证数据，而是引用了一篇配套论文（Bottman, Liu, and Richardson, 2026）进行评估。本文中包含的这些研究结果摘要如下：

相关性： 算子一致性在十二个 LLM 和四个多跳问答数据集上与准确率强相关。
性能： 在同等推理成本下，它在选择性预测任务中优于标准的基于温度的自一致性基准。
观察： 该指标成功识别了那些即使在单次通过时可能产生正确答案，但在维持推理树“部分塌缩”过程中的连贯性方面表现失败的模型。

5. 意义与主张

作者认为算子是问题分解的**“自然数学归宿”**。其重要性在于：

基础严谨性： 超越了对思维链（Chain-of-Thought）的启发式描述，转向形式化的代数结构。
新的分析工具： 提供了一种分析组合历史的方法，而不仅仅是最终输出。这使得区分“可纠正的”不一致与多步推理中的根本性失败成为可能。
未来方向： 该框架为以下领域开辟了道路：
- 从“思考模型”（reasoning traces）中提取显式的算子结构。
- 定义上同调不变量（cohomological invariants）以研究模型的不一致性。
- 通过各种代数（如似然值、置信度分数或潜在表示）而非仅仅通过最终答案来解释分解。

论文得出结论，像算子一致性这样的不变量，为分析和改进 LLM 中复杂推理的可靠性提供了一条原则性的路径。