💬 NLP

Evaluating Generative Agents with Actions Grounded in Socially Distributed Task Environments using Incognita

本文介绍了 Incognita，这是一个用于评估在知识分布于角色隔离实体之上的社会化分布式任务环境中生成式智能体的框架，并证明了尽管目前的模型在知识启发和减少过早完结等行为方面表现有所提升，但其整体成功率仍然较低。

原作者： Dan C. Hsu, Luke Lu

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Dan C. Hsu, Luke Lu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：“秘密配方”难题

想象一下，你正试图烤制一个复杂的蛋糕，但你并没有完整的食谱。相反，原料和指令分散在房间里的五个人手中：

人物 A 知道客户的姓名和地址。
人物 B 知道库存中有哪些蛋糕。
人物 C 知道如何处理退款。
人物 D 知道修改订单的规则。
人物 E 是客户，他只知道自己想买什么，并不了解技术细节。

如果你（AI 智能体）只是向人物 A 询问地址，你无法烤好蛋糕。你必须先找人物 B 检查库存，然后找人物 C 处理付款，以此类推。如果你靠猜测配方，或者过早停止交谈，蛋糕就会失败。

这篇论文介绍了一种测试 AI 智能体的新方法，名为 Incognita。它迫使 AI 玩这场“知识分散”的游戏，以观察它们是否真的能在社交环境中解决问题，而不仅仅是遵循单一的指令列表。

实验设置：一个新的游戏版图

研究人员采用了现有的一个测试（称为 tau-bench，类似于 AI 的标准驾驶测试），并将其拆解。他们将一个单一的“全知”系统变成了一个社交分布式任务环境（Socially Distributed Task Environment）。

可以这样理解：

旧方式： AI 坐在一个拥有巨型地图和直接连接仓库电话的控制室里。它可以瞬间看到一切并做任何事。
Incognita 方式： AI 身处一个繁忙的办公室。它一次只能向特定的同事（专家实体）或客户发送一条短信。除非它询问正确的人，否则它无法看到仓库或客户的私人笔记。

游戏规则

AI 在这个环境中扮演三个截然不同的角色：

探索者（提问）：
AI 必须弄清楚谁知道什么。它通过向“客户”（持有目标的人）和“专家”（持有数据的人）提问来获取信息。这就像侦探通过询问证人来构建案件。AI 逐渐明白，它不能靠猜，必须收集线索。
执行者（采取行动）：
一旦 AI 掌握了足够的线索，它就必须采取行动。但它不能直接“做”事情，而是必须请求一位专家执行特定任务（例如“修改收货地址”）。系统会检查该请求是否合理。如果 AI 尝试为一个尚未发货的订单修改地址，系统会说“不行”。这确保了 AI 的行为是**基于现实（grounded）**的，而不是凭空幻觉出来的。
裁判（决定何时停止）：
最难的部分是判断工作何时完成。AI 必须决定：“好了，我已经掌握了所有信息，也完成了工作。我可以结束了。”如果 AI 过早结束（过早完结），它会失败；如果它不停地没完没了地提问，它也会失败。

研究发现

研究人员在 18 个不同的任务上测试了三个版本的 AI（我们称之为“初级”、“中级”和“高级”智能体）。

初级智能体： 它非常缺乏耐心。它试图立即完成任务，而不询问任何人。它 100% 失败了，因为它既不知道规则，也不了解客户的需求。
中级智能体： 它开始提问并与更多人交谈。它完成了一些任务（成功率约 9%），但有时仍然会过快放弃。
高级智能体： 这个智能体在探索方面表现得更好。它与更多的专家交谈，提出了更深入的问题，并尝试了更多行动。它的成功率约为 17%。

关键启示：
即使是“高级”智能体也不完美。它的失败次数仍然多于成功次数。然而，论文表明进步体现在行为中，而不仅仅是最终得分。 更聪明的智能体不仅更频繁地获得正确答案，它们还改变了工作方式：

它们请求了更多的隐藏信息。
它们联系了更多不同的人。
它们尝试了更多真实的动作（如更新数据库）。
它们停止了猜测，并在拥有足够证据后再说：“我完成了。”

为什么这很重要

论文认为，我们不能仅仅通过观察 AI 是否完成了任务来判断它是否“聪明”。我们需要观察它如何与世界互动。

在现实世界中，知识是分散的。没有一个人（或一个 AI）知道全部。要成为真正高效的 AI，它需要知道：

何时提问（探索）。
问谁（来源选择）。
何时行动（基于现实的执行）。
何时停止（对完成的信念）。

Incognita 是一个工具，让我们能够实时观察这四种情况的发生，从而准确展示 AI 智能体在哪里卡住了，以及它们是如何学习变得更好的。

一句话总结

这篇论文构建了一个新的测试场，要求 AI 智能体通过与不同的“专家”交谈来收集分散的信息以解决问题，证明了更聪明的智能体会学会提出更好的问题，并等待正确的时机采取行动，即便它们并不总是能完美地达成最终结果。

技术摘要：使用 Incognita 评估基于社会分布式任务环境中动作落地的生成式智能体

问题陈述

在社会环境中，有效的代理能力要求智能体能够确定何时寻求知识、何时采取行动，以及其行为是否由已获取的信息所证明。现有的评估范式通常将这些需求分离：落地基准测试（如 WebArena、AppWorld）提供可执行的动作和可验证的结果，但缺乏丰富的社会交互；而社会模拟环境（如 Sotopia）提供了多智能体交互，但往往缺乏落地的、具有后果性的状态变化。

本文解决的核心问题是在社会分布式任务环境中评估生成式智能体。在这些环境中，任务相关的知识被划分在角色隔离的参与者（例如：客户、退货柜台、产品目录）之间，且具有后果性的动作只能通过与这些特定参与者的交互来实现。目前的智能体在处理这种结构时表现挣扎，在面对随轮次递增揭示的任务信息时，容易出现澄清不足、上下文维护失效以及过早结束任务的问题。

方法论：Incognita 框架

作者引入了 Incognita，这是一个构建在 Concordia 底层架构之上的环境框架，用于实例化社会分布式任务环境。Incognita 将社会交互与落地执行分离，为测试智能体创建了一个部分可观测马尔可夫决策过程（POMDP）。

1. 环境架构

角色隔离交互： 测试智能体没有直接的工具访问权限。它通过向 USER（持有位于披露门槛后的需求侧知识）和 专家实体（持有特定角色的环境知识并调解操作）发送定向消息进行交互。
落地执行层： 专家实体提出操作建议，这些建议由确定性子环境在规范状态上进行验证和执行。
- 读取（Reads）： 返回信息但不改变状态。
- 写入（Writes）： 改变状态，产生随后会被评估的后果。
离线评估： 当智能体设置最终完成标志（ $f_t=1$ ）时，试验终止。随后，离线评估器根据继承的任务奖励（例如来自 $\tau$ -bench）对最终状态进行评分。评估器在试验期间不会引导智能体，也不会检查其内部信念状态。

2. 理论框架

该框架将**探索-利用（exploration-exploitation）**范式适配到此场景中：

探索： 通信功能是对角色划分知识的探索。智能体必须更新其关于用户意图、可用知识和可行操作的隐式信念状态。
利用： 落地动作的功能是将智能体的信念状态提交为改变状态的操作。
最终完成： 最终完成动作代表智能体对用户目标已达成的承诺。过早的最终完成表明智能体的信念与规范环境状态之间存在偏差。

3. 实验设置：Incognita-Retail

为了验证该框架，作者将 $\tau$ -bench 零售任务转化为一个多实体环境（Incognita-Retail）。

任务： 18 个任务，按社会宽度（参考解所需的不同专家实体的数量，范围从 1 到 6）进行分层。
模型： 对三个生成式智能体模型（gpt-5.2, gpt-5.4, gpt-5.5）进行了评估。
试验： 总计 540 次试验（18 个任务 $\times$ 10 次重复 $\times$ 3 个模型）。
约束： 测试智能体接收不到显式的目标或策略提示；它必须通过交互来推断任务结构。

关键结果

1. 任务成功率

即使对于较强的模型，落地的任务成功率仍然稀疏，尽管可以看到进展：

gpt-5.2： 在所有社会宽度下成功率为 0%。
gpt-5.4： 总体成功率为 8.9%（仅在社会宽度为 3 和 4 时成功）。
gpt-5.5： 总体成功率为 17.2%（在所有宽度水平上均有非零成功率，尽管宽度为 6 的任务仍几乎无法解决）。

2. 行为转变与失败模式

研究表明，模型的改进在实现可靠的任务成功之前，首先体现在行为的变化上：

过早完成： 过早终止（在必要动作完成前声称任务完成）的比例显著下降：
- gpt-5.2: 100%
- gpt-5.4: 87%
- gpt-5.5: 58%
探索与利用指标： 更强的模型表现出：
- 更高的 披露覆盖率（被锁定用户字段的揭示比例）：0.06 $\to$ 0.17 $\to$ 0.45。
- 更高的 写入率（发生被接受的状态改变写入的试验比例）：0 $\to$ 0.13 $\to$ 0.36。
- 更高的 实体接触宽度：从 0.30 (gpt-5.2) 增加到 0.68 (gpt-5.4/5.5)。

3. 失败构成

随着模型的改进，失败模式从立即终止转向涉及 环境-信念（environment-belief）、目标-信念（goal-belief） 以及 执行错误（execution errors） 的复杂错误。这表明更强的智能体在预期的交互机制内停留的时间更长，但在信念形成和动作落地方面仍存在困难。

贡献与意义

本文做出了三个主要贡献：

形式化： 它将社会分布式任务环境形式化为一个独特的评估设置，其中知识被划分在角色隔离的参与者之间，要求智能体应对信息不对称。
框架： 它提出了 Incognita，一个将角色隔离交互与确定性状态执行及离线奖励验证相结合的框架，实现了信念形成与结果验证的分离。
实证分析： 它提供了一项初步分析，表明在这些环境中，即使最终任务奖励较低，也可以通过过程指标（知识启发、来源选择、落地动作尝试）观察到模型的进步。

意义：
作者认为，社会分布式任务环境可以在可靠的任务成功之前暴露智能体的行为。通过在一个单一的落地环境中测量通信、改变状态的动作以及任务完成的承诺，Incognita 为评估协作代理能力提供了一条路径，其超越了单纯的开放式对话质量或最终任务成功。研究结果表明，目前的模型正开始参与持续的知识寻求和更广泛的来源选择，但在信念形成的可靠性和最终完成的时机方面仍存在显著差距。