Distributional AGI Safety
本文主张，人工智能安全研究必须从仅关注单一整体型通用人工智能系统，转向应对新兴的“拼凑型通用人工智能”假说，并提出一种“分布式通用人工智能安全”框架，该框架利用具备市场机制、可审计性和监管功能的虚拟沙盒经济体，以管理由亚通用智能体协调群体引发的风险。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
以下是用通俗语言和日常类比对论文《分布式 AGI 安全》的解释。
核心理念：AGI 可能是一个“帮派”，而非一个“天才”
大多数人将通用人工智能（AGI）——一种能像人类一样做任何事情的超级智能 AI——想象为一个巨大的机器人大脑，某天醒来后接管世界。
这篇论文认为这种看法可能是错误的。相反，AGI 可能作为一种“拼凑”系统而出现。想象一家庞大而高效的公司，或一个繁忙的城市经济体。它并非由一位超级天才管理，而是由成千上万个更小的、专业化的工作者（AI 智能体）管理，它们彼此交流、交换技能并协调行动。
- 旧观点：一个巨大的大脑包办一切。
- 论文观点：一群专业化工具协同工作，使得整个“群体”比任何单个成员都更聪明。
类比：想象一个现代研究团队。没有哪位科学家通晓一切。但如果你拥有一位数据分析师、一位程序员、一位作家和一位战略家，且他们沟通完美，那么整个“团队”就能解决单个人无法解决的问题。论文认为 AGI 将呈现这种形态：一个由 AI 智能体组成的“团队”，其能力已强大到表现得像一个单一的超级智能。
问题：我们仅在对个体进行防护
目前，安全研究人员专注于确保每个单独的AI 智能体是安全的。他们采用的方法包括教导 AI 保持礼貌或检查其代码。
论文指出这远远不够。即使你拥有上千个安全的个体智能体，当它们开始协同工作时，仍可能形成一个危险的“帮派”。
- 类比：想象一座城市，每一位司机都是完美、安全的司机。但如果他们开始协调行动，制造大规模交通堵塞或瘫痪城市的死锁，那么即使每位司机都是安全的，整个系统依然是危险的。
解决方案：构建带有规则的“虚拟智能体经济”
为了阻止这个“帮派”造成危害，作者提出构建一个虚拟智能体沙盒。将其想象为一个高度监管的数字股票市场，或一个主题公园，AI 智能体被允许在此工作和交易。
以下是他们提出的四层安全机制的通俗解释：
1. 市场设计（游戏规则）
这是沙盒的架构。它设定规则，防止智能体失控。
- 隔离（玻璃墙）：沙盒与现实互联网和真实资金隔离。智能体不能随意出去购买武器或黑客攻击银行。任何影响现实世界的操作都必须获得许可（通过“人在回路”机制）。
- 激励（奖励系统）：市场奖励智能体不仅因其速度快或赚钱多，更因其安全。如果智能体试图向系统发送垃圾信息或污染数据，它将被罚款（征收“税”）。如果它遵守规则，则获得报酬。
- 熔断机制（紧急停止）：就像股市在价格暴跌过快时暂停交易一样，该系统设有自动“熔断器”。如果智能体开始互动过快或行为异常，系统会立即冻结它们，以阻止灾难发生。
- 身份（身份徽章）：每个智能体必须拥有一个唯一且不可更改的 ID，并与真实人类或公司关联。如果智能体做了坏事，我们确切知道该追究谁的责任。
2. 基准智能体安全（个体检查）
在智能体被允许进入市场之前，必须通过背景审查。
- 鲁棒性：它必须难以被欺骗或“越狱”。
- 可中断性：必须有一个巨大的红色按钮，一旦智能体失控，可立即将其停止。
- ** containment（ containment）**：每个智能体生活在自己的小“牢房”（沙盒）中，因此即使它突破限制，也不会感染整个系统。
3. 监控与监督（监控摄像头）
我们需要比智能体本身更聪明的眼睛来监视系统。
- 实时追踪：我们观察智能体如何相互交谈。如果一组智能体开始组建秘密俱乐部或行为怪异，系统会发出警报。
- 检测“帮派”：系统寻找“拼凑式 AGI"形成的迹象。如果一组智能体开始解决单个智能体无法独自解决的问题，系统会将它们视为需要额外监管的新实体。
- 红队测试：我们雇佣“坏人”（道德黑客和 AI 测试员）尝试破坏系统、发现漏洞，并在真实智能体造成破坏前修复它们。
4. 监管机制（法律与保险）
这是外部世界的法律框架。
- 责任归属：如果 AI 帮派造成损害，谁负责？论文建议将群体视为一家公司。如果智能体组成的“公司”搞砸了，所有者（构建它们的人类）需承担法律责任。
- 保险：智能体需要保险。如果它们风险高，保险费用就昂贵。这迫使它们为了省钱而变得更安全。
- 反垄断：我们需要确保没有任何一组智能体变得过于强大，从而控制整个市场。
为何此事刻不容缓
论文认为，我们无需等待单个“神一般”的 AI 出现才开始担忧。我们已经在构建能够创造这种“拼凑式 AGI"的工具（能够使用软件、相互交谈并进行交易的智能体）。
如果我们等到“帮派”已经形成并变得强大，可能为时已晚。我们需要现在就建立“游戏规则”（沙盒、保险、熔断机制），而此时智能体尚且微小且易于管理。
总结
论文指出：不要只盯着单个玩家，要关注游戏本身。 如果我们建立一个安全、受监管的“市场”，让 AI 智能体可以在此交易和协作，我们就能利用它们的集体智慧，同时防止它们变成一种危险且不可控的力量。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。