💻 computer science

How to Realize Recursively Self-Improving Agents and Personal Singularity: A Goal-, Scope-, Tool-, and Benchmark-Driven Multi-Agent Architecture

这篇立场与系统设计论文提出了一种用于递归自我改进智能体的受控多智能体架构，该架构通过将目标契约、工具使用范围限制以及安全不变性形式化，旨在实现“个人奇点”——即一种受限的人机协同发展目标——从而在不损害控制或安全性的前提下扩展用户的能力。

原作者： Chengshuai Yang

发布于 2026-07-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Chengshuai Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个超级聪明的数字助手，它不仅能听从指令，甚至还能学习如何变得更好。这听起来像是科幻电影里机器人接管世界的桥段，对吧？然而，这篇论文是构建这样一个助手的蓝图，但它带有一个非常严格、非常重要的转折点：它的设计初衷是确保人类老板永远不会失去控制。

作者 Chengshuai Yang 并不是在说：“我们制造了一个能够自我修复并比我们更聪明的机器人。”相反，他提出的是一个受控的多智能体系统（governed, multi-agent system），其目标是帮助人类提升自身的技能，而不是仅仅为人类代劳。他们将这一目标称为“个人奇点”（Personal Singularity），但这并不是指所有人合并成一个巨大的大脑。你可以把它想象成一个大脑的私人健身房，AI 是那个教练，帮助你在不断提升自身能力（举起更重的杠铃）的同时，绝不会把杠铃从你手中夺走。

核心理念：是一个团队，而非君主

论文认为，我们不应该构建一个庞大、全能且无所不能的“主智能体”（Main Agent）来处理一切。那样风险太高了。相反，他们建议建立一个由小型智能体组成的专家团队，每个智能体都有特定的职责、一套特定的工具和一套严格的规则手册。

想象一个高端厨房。你不会有一个大厨试图同时切菜、烤牛排、做蛋糕并洗碗，还要顺便重写食谱。你会有一个负责切菜的副厨，一个负责蛋糕的甜点师，以及一个负责烤肉的副厨。每个人都有一个特定的“职责契约”（Scope Contract）。如果甜点师被要求去烤牛排，他不会盲目尝试，而是会说：“这不是我的工作，”然后将任务移交给烤肉厨师。这可以防止厨房因为有人尝试做自己未受过训练的工作而失火。

“双速”大脑

该系统以两种不同的速度运行，就像一辆拥有快速引擎和谨慎机械师的汽车。

快循环（驾驶员）： 这是执行实际工作的智能体。它进行规划、使用工具并尝试完成任务（比如撰写报告或编写程序）。它追求快速与高效。
慢循环（机械师）： 这是观察驾驶员做了什么，并追问“下次我们如何做得更好？”的部分。这就是**递归自我改进（Recursive Self-Improvement）**发生的地方。但关键在于：智能体不能在开车时直接更换自己的引擎。它必须提出一项变更，将其锁定在一个沙盒（安全的测试室）中，通过一系列测试，并在获得人类的签名批准后，才被允许进行升级。

论文指出，这种“慢循环”是智能体学习如何学习的方式。这就像一个学生不仅是死记硬背答案，而是学会了更好的学习方法。然而，作者明确表示：这只是一个提议，而非成品。 他们尚未证明这在现实世界中可行；他们是在设计一套关于系统应该如何运作以确保安全的规则。

“个人奇点”健身房

“个人奇点”这个术词听起来可能很吓人，像是机器人起义。但在本文中，它的含义要接地气得多：帮助单个人类达到其个人能力的极限。

想象你的“能力边界”是一座你想攀登的山峰。AI 不是把你直接送到顶峰的直升机。AI 是你的攀岩伙伴，它为你拉住绳索，指出最好的抓手，并教你如何打结。目标是让你自己变得更强。如果 AI 代替你完成了攀爬，你就没有进步，反而产生了依赖。论文明确反对那些让用户变得懒惰或产生依赖性的系统。衡量成功的标准不仅仅是“任务是否完成了？”，而是“下次人类能否独立完成它？”

安全护栏（“禁区”）

论文对于 AI 不可以做的事情有着极其严格的规定。这就像电子游戏中的“上帝模式”被永久关闭了。

禁止自我修改规则： 智能体不能修改自己的安全规则、权限或“终止开关”。它不能决定“我觉得我现在应该被允许访问互联网了”然后直接执行。
禁止隐蔽复制： 智能体不能秘密地创建自己的副本并传播。如果它想要创建一个新的“子代”智能体，它必须先询问人类所有者，且该子代智能体必须拥有全新的身份，并且无法访问父代智能体的秘密。
禁止“主”智能体独裁： 不存在一个控制所有其他智能体的单一“老板”智能体。每一个智能体都必须向人类所有者负责。

作者非常谨慎地指出，他们并非声称目前的 AI 已经可以安全地重写自身代码，也并非声称我们已经解决了 AI 安全问题。他们是在提出一个框架，使这些实验具有可测试性和安全性。他们认为，如果没有这些严格的规则，尝试构建自我改进的 AI 就如同试图教一个蹒跚学步的幼儿拆除炸弹。

实际运作方式（蓝图）

论文列出了一个分步计划，就像一份施工进度表：

从小处着手： 首先，构建一个“日常工作智能体”，它可以处理诸如整理文件或撰写邮件等琐碎任务，但对其接触范围有严格限制。
添加工具： 给它一个工具箱，但在允许它在真实文件上使用任何工具之前，必须先在沙盒中进行测试。
引入学习： 引入一个“学习智能体”，它会观察正在进行的工作并向人类解释其过程，从而让用户学习该流程。
引入改进： 只有在上述前三个步骤都极其稳固之后，才允许系统对其“大脑”（如更好的提示词或规划策略）提出微小的改进建议，但前提是必须通过严格测试。
最终目标： 最终，将所有这些部分连接成一个“个人奇点操作系统”（Personal Singularity OS），帮助人类管理他们的工作、健康和学习，并始终让位于人类的掌控。

总结

这篇论文是一份设计文档，而非胜利宣言。作者是在说：“这里有一种构建自我改进型 AI 的方法，它不会在无意中毁灭世界或让我们变得无用。”他们建议，通过将 AI 拆分为小型专业化团队，在重大决策中保持人类参与，并将重点放在让人类变得更聪明而非仅仅让机器变得更快，我们或许真的能在享受先进 AI 带来的好处的同时，规避其噩梦。

他们并未声称解决了所有问题。事实上，他们承认衡量人类的“成长”是非常困难的，而且我们并不知道这在现实世界中是否能完美运作。但他们提供了一份路线图，让我们能够一步一个脚印、安全地去探索。这是一个号召：去构建那种能帮助我们攀登属于自己的高峰，而不是直接把我们扛到顶峰的 AI。

技术摘要：面向递归自我改进智能体与个人奇点的目标、范围、工具及基准驱动型多智能体架构

问题陈述

当前的语言大模型（LLM）智能体在规划、工具使用和有限的自我优化（如 Self-Refine、Reflexion、Gödel Agent）方面展现出了能力。然而，这些系统缺乏一个可部署的框架来实现递归自我改进（Recursive Self-Improvement, RSI），且无法确保安全性、可审计性以及人类的主导权。现有的方法往往将任务执行与系统修改混为一谈，从而面临失控自我复制、目标误泛化或创造出让用户产生依赖而非赋能的“黑盒”系统的风险。

本文识别了两个相关的差距：

系统性差距： 如何构建一个既能递归改进其学习与行动机制，又能保持严格治理、版本控制和回滚能力的智能体。
以人为本的差距： 如何确保智能体的改进能够转化为持久的人类能力，而非仅仅是增加软件的自主性或用户的依赖性。

本文认为，一个成功的系统必须将任务自主性与元改进（meta-improvement）分离，并定义一个受限的目标，即个人奇点（Personal Singularity）：这是一个由用户驱动的持续过程，通过个性化的智能体网络帮助个体接近一个不断扩张的、由用户定义的“可行能力前沿”。

方法论：受治理的多智能体架构

所提议的解决方案是一个受治理的专家级多智能体架构，该架构将智能体视为“不可信的提案者”，并将决策权置于外部治理平面之上。该系统建立在五个核心支柱之上：

1. 正式化智能体状态与关注点分离

一个智能体实例 $A_i^t$ 由一个包含模型参数 ( $\theta$ )、运行时策略 ( $\pi$ )、记忆 ( $M$ )、技能/工具 ( $S$ )、目标堆栈 ( $G$ )、权限 ( $P$ )、证据 ( $E$ ) 和谱系元数据 ( $V$ ) 的元组定义。

不可变约束： 智能体无法写入受外部保护的组件，如权限、评估器策略、审计记录或关停机制。
双速架构：
- 快循环（Fast Loop）： 用于完成任务的“规划器–执行器–验证器”循环。
- 慢循环（Slow Loop）： 用于记忆、技能、策略和模型适配器的“证据门控式”改进循环，该循环与即时执行相分离。

2. 外部治理平面

该平面在独立的管理身份下运行，作为架构的“免疫系统”。它包括：

一个具有签名、版本化规则的拒绝默认策略引擎。
一个用于计算、时间和财务限制的资源管理者。
一个使用隐藏任务和受保护成功标准进行评估的独立评估器。
一个回滚控制器和带外（out-of-band）关停机制。
风险门控晋升： 提议的变更需经过静态安全检查、留置评估和风险分类。高风险变更（如权限扩张、权重更新）需要人工审核；低风险变更仅在通过外部门控后才可自动晋升。

3. 目标、范围、工具及基准驱动的规范

每个智能体由一个签名的操作剖面 $\Sigma_i = (G_i, Q_i, T_i, B_i, A_i, R_i, M_i, I_i, V_i)$ 定义：

目标契约 ( $G_i$ )： 一个层级化的堆栈（ $G_0$ 到 $G_4$ ），其中 $G_0$ 是不可变的安全性宪法。较低层级（任务特定目标）不能覆盖较高层级（使命、安全）。
范围契约 ( $Q_i$ )： 定义领域、任务类型、输入/输出以及风险上限的语义与操作边界。超出范围的任务将被路由至其他智能体，或触发一个“利基智能体（niche agent）”的创建。
工具注册表 ( $T_i$ )： 具有确定性测试的版本化接口。架构强制执行**“工具优先”**执行策略：优先使用经过验证的工具，而非自由形式的生成。
基准测试 ( $B_i$ )： 一个四分区套件（公共开发、私有验证、隐藏最终、轮换回归），旨在防止过拟合并确保泛化能力。

4. 去中心化谱系与智能体铸造厂

谱系（Lineage）： 签名的智能体发布序列。“主版本（Main）”状态是稳定性和采用率的衡量标准，而非权威性的体现。
智能体铸造厂（Agent Foundry）： 支持通过克隆、分叉或多父重组进行所有者驱动的生成。
继承规则： 衍生智能体继承经过验证的技能和提示词，但绝不继承凭证、私有记忆或签名密钥。权限采取严格的交集原则（ $P_C \subseteq P_A \cap P_B \cap P_{owner}$ ）。
隔离： 智能体通过所有者控制的代理进行通信；未经明确授权，它们无法直接访问彼此的记忆或工具。

5. 个人奇点操作系统 (Personal Singularity OS)

该层协调四个初始智能体类别，以优化任务完成与人类成长：

日常工作智能体： 执行经授权的数字工作，干扰最小化。
计算成像智能体： 专注于物理引导的学习与科学重建。
工作流程学习智能体： 将经过验证的轨迹转化为解释与教程（只读）。
个人学习智能体： 通过课程与评估，优化持久的用户知识与独立表现。

系统利用自动索引（Auto-Index）（等级 0–5）来控制交互模式（解释、步骤审批、混合、自主、委托、调度），而不改变底层权限。

核心贡献

本文概述了对自主智能体领域的八项具体贡献：

正式分离： 区分了任务自主性、普通自我改进与递归元改进。
版本化专家规范： 一个结合了目标、范围、工具、基准和改进策略的统一契约。
范围路由器： 一种将任务分配给单一负责的主要智能体，并通过结构化移交处理超出范围工作的机制。
双重评估： 将工具级验证与端到端智能体评估（包括隐藏基准分区）相分离。
所有者控制的自动索引： 一种在不改变底层权限的情况下切换交互风格（交互式 vs. 自主式）的机制。
双速架构： 区分了用于快速任务执行的快循环与用于证据门控改进的慢循环。
去中心化谱系模型： 用于专业化和多父重组的铸造厂模型，具备明确的溯源性。
个人奇点操作系统： 一个集成工作、成像、流程学习与个人学习智能体的框架。

结果与主张

关键区别： 本文是一篇立场与系统设计论文。它并未报告已实现的系统、受控的人类研究，或证明已实现不受限的递归自我改进或个人奇点的经验结果。

本文的主张严格限于以下方面：

可测试性： 该框架通过约束实验，使得原本难以审计的递归自我改进（RSI）和人类能力转移变得可测试。
安全不变性： 提出了十项架构不变性（例如“无自我授予权限”、“基于风险的晋升”、“可逆部署”），这些不变性映射了 NIST 的 AI 风险管理框架，但为自我修改系统增加了运行时强制执行。
假设： 提出了八个可测试的假设（H1–H8），例如双速循环的效率、通过外部验证减少错误晋升，以及通过能力转移模式提升独立表现。
谦逊性： 作者明确指出“个人奇点”一词是受限的；它并不意味着瞬时的、普遍的或生物学上无限的最大值，也不等同于通用人工智能（AGI）。

意义

本文认为，先进 AI 助手的设计目标必须同时包含智能体改进与人类能力提升。如果一个系统在变得更强大的同时，却让用户变得知识匮乏或产生依赖，那么它并不是一个成功的个人助手。

通过将“提案者”（智能体）与“评估器/授权者”（治理平面）进行形式化分离，并定义“个人奇点”为用户驱动的向着可行能力前沿的移动，本文提供了一条构建可审计、可回滚且受所有者控制的 RSI 系统之路。它将重心从“不受限的自我修改”转向“针对版本化智能体状态的受治理搜索”，确保软件的增长能转化为人类用户的持久成长。