💬 NLP

When Does Tool Use Increase the Expressive Power of Finite-Precision Recurrent Models?

本文建立了一个明确的二分法，证明了虽然有限状态工具对有限精度循环模型的计算能力提升微乎其微，但单个最小无限状态工具（读写带）能使其具备图灵完备性，而这种能力通过选择性仿射状态空间模型得以具体实现。

原作者： Nikola Zubić, Qian Li, Yuyi Wang, Davide Scaramuzza

发布于 2026-07-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Nikola Zubić, Qian Li, Yuyi Wang, Davide Scaramuzza

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个非常聪明但有点健忘的机器人。这个机器人是一个“有限精度循环模型”（Finite-Precision Recurrent Model）。用通俗的话说，它是一个按步骤处理信息的计算机程序，但它的记忆量非常小且固定（就像一个只有 100 个方格的小笔记本）。因为它的记忆如此之小且固定，所以它受到了限制：它只能解决简单的、重复性的模式。它无法数到无穷大，无法记住一个长篇故事，也无法解决需要来回查看信息的复杂谜题。

这篇论文提出了一个简单的问题：如果我们给这个健忘的机器人一个工具会怎样？

作者发现，答案完全取决于你给它的是什么样的工具。他们发现了一个鲜明的“非此即彼”的分水岭：

1. “有限”工具：一个微型计算器

想象一下，你给了你的机器人一个只能做基础数学运算、且屏幕一次只能显示一个数字的微型计算器。

结果： 机器人并没有变得更聪明。它只是必须花费自己的一丁点记忆力来记住计算器正在进行的操作。
类比： 这就像是给一个记忆力很短的人一张便利贴。他们可以写下一件事，但他们仍然无法解决一个复杂的谜团。机器人仍然是“有限状态”的。它仍然只能做简单的、重复性的任务。
论文的观点： 如果工具本身的记忆和指令集都是有限的，机器人可以直接将工具的记忆“复制”到自己的脑子里。它几乎没有获得新的能力。

2. “无限”工具：一条无限长的磁带

现在，想象你给了机器人一条（像旧式卡带或卷轴一样）无限长的磁带。机器人只能对这条磁带做三件事：

读取当前位置的符号。
写入一个新符号。
将读写头向左或向右移动一步。

结果： 突然之间，机器人变成了一个天才。它可以解决任何可以用计算机解决的问题，无论多么复杂。它变成了“图灵完备”的。
类比： 这就像是给一个记忆力很短的人一个图书馆。即使他们的脑容量很小，但他们可以在图书馆里来回走动，在书架上阅读和记录笔记。他们现在可以解决最难的数学问题、撰写小说或破解密码。这条“无限磁带”充当了一个外部大脑。
论文的观点： 仅仅提供这样一个简单的无限磁带，就足以将一个简单的机器人转变为一台通用计算机。机器人只需要极少量的内部记忆（只需记住自己在磁带上的“位置”以及当前正在“思考”什么）来控制这种无限的力量。

“魔法”成分：选择性（Selectivity）

论文还表明，这不仅仅是理论上的，它在一种特定的现代 AI 架构——**选择性状态空间模型（Selective State-Space Model, SSM）**中也是有效的。

类比： 把标准机器人想象成行驶在固定轨道上的火车。它总是以同样的方式移动。而“选择性”机器人则像是一列可以根据眼前看到的景象来改变轨道的火车。
作者证明了，如果你给这个具有“改变轨道”能力的机器人一点点记忆和一条无限长的磁带，它就可以完美地模拟任何计算机程序。这种“选择性”（根据输入改变行为的能力）是开启无限力量大门的钥匙。

“等值”测试（一个具体的例子）

为了证明这一点，作者使用了一个特定的测试：检查两串很长的数字是否完全相同。

没有工具时： 如果这些字符串长达 1,000 位，机器人需要拥有 1,000 位记忆容量的大脑来检查它们。如果字符串长达 100 万位，它就需要 100 万位的记忆。对于一个小机器人来说，这是不可能完成的任务。
有了磁带工具后： 机器人可以将第一串字符串写在磁带上，然后通过来回走动来对比第二串字符串。它只需要极少量的内部记忆来记住“我正在对比第 500 位数字”。磁带承担了主要的重任。

总结

论文的结论是：工具的存在本身并不会让 AI 变得更聪明。

如果工具是微小且受限的，AI 依然是受限的。
如果工具是一个无限记忆磁带（即使指令非常简单），只要它具备特定的“选择性”机制，AI 就会变得拥有无限的力量。

这为我们提供了一张精确的地图，让我们了解当 AI 被允许使用外部工具时，究竟需要多少“脑力”（内部记忆）。事实证明，如果你有一个巨大的笔记本，你并不需要一个巨大的大脑。

技术摘要：工具使用何时能提升有限精度循环模型的表达能力？

问题陈述

现代序列模型正越来越多地作为智能体被部署，它们在生成 token 的过程中交替调用外部工具（例如计算器、代码解释器、检索系统）。尽管经验性的成功显而易见，但一个基本的理论问题仍悬而未决：哪些特定的工具能增加固定有限精度循环模型的计算表达能力，增加程度如何，以及其内部内存成本是多少？

现有文献表明，固定有限精度的循环模型（包括状态空间模型或 SSM）等价于有限状态机（FSM），且仅能识别正则语言。思维链（Chain-of-thought）解码虽然有效，但受限于生成的步数，提升有限。本文旨在提供一种精确的、架构层面的特征描述，以说明外部工具访问如何改变这种计算格局，并区分哪些工具仅仅增加了有界内存，哪些工具从根本上扩展了计算能力。

研究方法

作者将序列模型抽象为一个通过有限命令/观测接口与“神谕”（oracle）交互的确定性有限状态控制器。

控制器模型： 一个拥有 $B$ 比特内部状态的控制器被建模为一个最多具有 $2^B$ 个配置的 FSM。它读取输入，然后进入生成阶段，在此期间它发射 token、发布工具命令、接收观测值或停止。
工具接口： 本文分析了两类不同的工具：
1. 有限状态有界接口神谕： 具有有限内存集和有限命令/观测字母表的工具。
2. 无界带状神谕（Unbounded Tape Oracles）： 一个支持在无界带上进行局部读/写/移动操作的最小无限状态工具（类似于图灵机的带子）。
实现： 这些理论构造被映射到有限精度选择性仿射 SSM（selective affine SSMs）。作者证明，任何由观测驱动的有限状态控制器都可以由一个一层的 SSM 精确实现，该 SSM 具有二进制独热（one-hot）隐藏状态、 $\{0, 1\}$ 转移矩阵且偏置为零，前提是转移矩阵是选择性的（取决于当前的观测 token）。

核心贡献与结果

1. 有限状态工具几乎没有任何提升

论文提出了一个“积状态模拟”（product-state simulation）定理。如果工具本身是一个具有内存集 $M$ 和有限接口的有限状态机，则控制器可以将其状态内部化。

结果： 增强后的系统仍然是一个有限状态机。其内部内存成本仅增加 $\log_2 |M| + O(1)$ 比特。
启示： 有限状态工具不会将可识别语言的类别提升到正则语言之外。其有限状态的接口至关重要；否则，任意初始化或命令到观测的映射可能会编码非正则行为。

2. 一个极简的无界工具即可产生图灵完备性

作者定义了一个仅支持局部读/写/移动命令的“带状神谕”。

结果： 一个拥有 $O(\log |Q| + \log |\Gamma|)$ 比特内部内存的控制器（其中 $Q$ 是图灵机状态集， $\Gamma$ 是带字母表）在与该带状神谕交互时，可以模拟任何单带图灵机。
图灵完备性： 该系统变得具有图灵完备性。控制器不需要存储带子；它只需要存储模拟机器的当前状态和操作模式。
具体的差异化证明： 论文通过等价问题 $EQ_n$ $E Q_{n}$ （检查两个 $n$ $n$ 比特字符串是否相等）提供了一个具体的指数级下界。
- 无工具时： 解决 $EQ_n$ 需要一个至少拥有 $2^n$ 个状态的控制器。
- 有带子访问时： 一个常数大小的控制器（与 $n$ 无关）可以为所有 $n$ 解决 $EQ_n$ 问题。

3. 由选择性 SSM 进行精确实现

论文证明上述理论上的有限状态控制器不仅是抽象的构造，而且是可以被精确实现的特定神经架构。

架构： 一个一层的有限精度选择性仿射 SSM，具有：
- 二进制独热隐藏状态。
- 入选集合为 $\{0, 1\}$ 的转移矩阵。
- 零偏置。
- 选择性： 转移矩阵 $A_\omega$ 取决于当前的观测 token $\omega$ 。
选择性的重要性： 作者强调，选择性是关键的架构要素。一个固定的线性时不变循环（非选择性）无法在这种设定下实现任意有限控制。
维度： 当使用独热编码时，所需的隐藏维度为 $d = O(|Q| \cdot |\Gamma|)$ ，这与模拟机器的状态空间大小呈线性关系。

4. 精确资源统计（补充结果）

补充材料细化了资源界限：

对数级模拟： 通过将机器描述硬编码到固定的读取输出中，并使用带子作为外部内存，使用 $O(\log B)$ 比特的循环比特即可模拟任何 $B$ 状态图灵机。这使维度从 $O(|Q|)$ 优化到了 $O(\log |Q|)$ 。
直接实现的不可行性： 在没有外部内存的情况下，要在单个仿射循环更新中精确实现任意 $B$ 状态转移映射，需要总共恰好 $B-1$ 的循环维度。这证实了对数级的增益严格依赖于将状态卸载到外部带子这一过程。

意义与主张

本文声称提供了一个精确的资源统计图景，用于描述工具增强型循环计算。其主要意义在于建立了一个清晰的二分法：

有限状态工具在表达能力类别上是“免费”的（它们仍属于正则语言），但会产生微小的线性内存成本。
无界带状工具提供了表达能力的巨大飞跃（达到图灵完备），且只需极小的对数级内部内存成本，前提是控制器架构支持选择性。

这项工作解决了“何时”工具使用会增加能力的问题：这完全取决于工具的状态空间和接口，而非控制器本身。这些结果是精确的构造和无条件的下界，不依赖于任何训练、近似或概率论证。论文得出结论，现代 SSM 的“选择性”本质（即转移依赖于输入）是使其能够与外部内存结合、充当精确有限控制器的特定机制，从而弥合了有限精度模型与图灵完备计算之间的鸿沟。