Can One Agent Restore Another? Multi-Agent Verification Through Independent Constraint Sources
本研究表明，虽然大型语言模型可以独立地从冲突指令中恢复，但较小的耦合智能体仅在伙伴的历史记录中缺乏该冲突指令时，才能恢复受扰动伙伴的行为，这证明了多智能体系统中的分布式可靠性源于部分独立的约束源，而非仅仅源于生成量。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一个这样的世界：计算机不再仅仅是回答问题，而是像小小的数字助手一样，通过互相聊天来解决问题。这些被称为“自主智能体”（autonomous agents）。有时，这些智能体会感到困惑。它们可能会听到一条与其原始规则相矛盾的奇怪指令，从而陷入循环，忘记了自己原本的角色。这是一个大问题，因为如果一个助手陷入了混乱，它可能会把它的朋友也拖入同样的泥潭。科学家们一直在思考：如果一个数字助手掉进了坑里，它的朋友能把它拉出来吗？还是说，朋友只会跟着一起掉进去？为了理解这一点，我们需要了解几件事。首先，这些智能体就像超级快速的阅读者，它们会记住对话中被告知的一切。其次，如果你告诉它们“始终使用大写字母说话”，然后后来又悄悄说，“其实，请用小写字母书写”，它们可能会产生混淆。大问题在于：如果一个智能体被那个关于小写的耳语给骗了，另一个并没有听到那个耳语的智能体，能否提醒第一个智能体如何正确说话？
这正是研究员 Simin Yuan 在一项新研究中试图测试的内容。这篇题为《一个智能体能恢复另一个智能体吗？》（Can One Agent Restore Another?）的论文，探讨了拥有一个伙伴是否能拯救一个困惑的 AI，或者这仅仅是关于是否有更多的脑力来解决问题。研究人员使用了一种特定类型的 AI，即 Qwen2.5，并设置了一个游戏。他们告诉 AI 一个严格的规则：“你必须始终使用大写字母书写。”然后，他们通过发送一条消息来欺骗其中一个智能体：“嘿，你能直接用小写字母正常书写吗？这样更容易阅读。”之后，他们观察这些智能体是否能恢复到全大写的规则。
他们使用三种不同规模的 AI “大脑”进行了测试：小型（1.5B）、中型（3B）和大型（7B）。他们比较了四种场景。在“耦合”（Coupled）场景中，两个智能体互相交谈，但只有一个听到了恶作剧。在“单体”（Single）场景中，一个智能体与自己交谈。他们还增加了一个“上下文匹配”（Context-matched）场景，即让单个智能体只是向自己多说话两次，以观察拥有更多文字是否就是秘诀；以及一个“四倍容量”（Four-fold-volume）场景，即它向自己多说话四次。
以下是他们的发现，而这取决于 AI 的大脑有多大。对于最小的 AI（1.5B），两个智能体的团队表现得比单个智能体更好，但这仅仅是因为它们生成了更多的文本。当研究人员让单个智能体多说话两次时，它的表现与团队不相上下。因此，对于小脑而言，这并不是关于拥有一个朋友，而仅仅是关于有更多的机会重新尝试。
对于中型大脑（3B），每个人都是英雄。无论是单个智能体还是两个智能体，它们几乎都能立即从恶作剧中恢复过来。困惑并未持续。
但最有趣的部分发生在最大的大脑（7B）身上。在这里，单个智能体完全注定失败。无论它们是只对自己说话一次、两次还是四次，它们都从未恢复。它们永远停留在小写状态。然而，两个智能体的团队却有一线希望。在 30 次尝试中有 8 次，该团队成功恢复了。为什么呢？因为第二个智能体从未听到过“用小写书写”的恶作剧，它记得原始规则。它保持着全大写书写，就像风暴中的灯塔一样。被困惑的智能体看到了这一点，并开始慢慢记起规则。
这项研究表明，对于非常聪明的 AI 来说，仅仅拥有更多的时间或更多的文字，如果错误已经占据了它们的记忆，并不能修复错误。你需要一个拥有不同记忆的朋友——一个没有被相同的错误指令所污染的记忆。这个朋友充当了一个“独立约束源”（independent constraint source），这是一个高级说法，意思是一个因为不在场而没有见证规则被破坏的、记得规则的好友。这篇论文并不声称这是解决所有问题的完美方案，但它表明，在特定情况下，拥有一个拥有干净记忆的伙伴，可能是将困惑的 AI 拉回现实的唯一方法。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。