🤖 AI

How can we assess human-agent interactions? Case studies in software agent design

本文介绍了 PULSE，这是一个以人为中心的评估框架，它将用户反馈与机器学习预测相结合，用于评估真实软件工程场景中的大语言模型（LLM）智能体设计，并证明了这种协作式评估能够产生更稳健的见解，且与传统的基于基准测试的评估相比，揭示了显著的差异。

原作者： Valerie Chen, Rohit Malhotra, Xingyao Wang, Juan Michelini, Xuhui Zhou, Aditya Bharat Soni, Hoang H. Tran, Calvin Smith, Ameet Talwalkar, Graham Neubig

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Valerie Chen, Rohit Malhotra, Xingyao Wang, Juan Michelini, Xuhui Zhou, Aditya Bharat Soni, Hoang H. Tran, Calvin Smith, Ameet Talwalkar, Graham Neubig

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在构建一个能够帮助人们编写计算机代码的机器人助手。长期以来，衡量你的机器人是否“优秀”的唯一方法是给它进行标准化测试，比如选择题考试。如果机器人的得分很高，开发者就会认为它是一名明星员工。

但本文的作者认为，这就像仅仅通过一个人能否遵循食谱书来评判一位厨师，却从未见过他在真实的、饥肠辘辘的顾客面前烹饪。在现实世界中，人类和 AI 智能体是在作为一个团队共同工作的。有时人类必须介入，纠正机器人，或者改变计划。一个获得完美测试成绩的机器人可能仍然让人在协作时感到沮丧；而一个得分稍低的机器人，却可能是一个令人愉悦的合作伙伴。

这篇论文介绍了一种衡量人类与机器人团队实际协作效果的新方法。他们将这个新系统称为 PULSE。

问题所在： “考试” vs. “真实工作”

把目前的 AI 基准测试想象成一次在空旷赛道上的驾驶测试。汽车（AI）必须完美地保持在车道内并停在红灯前。如果它做到了，就算通过。

但现实生活更像是在高峰期的交通流中带着一名乘客驾驶。乘客可能会说：“嘿，换条路走，”或者“等等，我得先去趟超市。”汽车必须倾听、适应并让乘客感到满意。旧有的“空旷赛道”测试无法衡量汽车是否会让乘客感到烦躁，或者乘客是否感到安全。

解决方案： PULSE（“反馈循环”）

研究人员构建了一个名为 PULSE 的框架来衡量这种现实世界的团队协作。他们使用了一个名为 OpenHands 的软件智能体（机器人代码编写员）进行了测试，共有 15,000 名真实用户使用它来编写代码。

以下是 PULSE 的工作原理，使用了一个简单的三步配方：

1. “网约车”评分（数据收集）
他们没有等到项目结束才问“这个机器人怎么样？”，而是在完成每一个小任务后就请求反馈，就像你在单次行程结束后为一名 Uber 司机评分一样。

运作方式： 当机器人完成一小块工作（如修复一个 bug）时，会弹出一个窗口，请用户给出 1 到 5 星的评分。
难点： 大多数人都很懒，不想每次都停下来给机器人评分。因此，他们只获得了大约 5% 任务的评分。其余 95% 的交互是“沉默”的，用户只是继续工作，没有说话。

2. “读心术”（预测模型）
由于他们只有 5% 任务的真实评分，因此需要一种方法来猜测另外 95% 任务中用户的感受。

他们训练了一个名为“读心者”的机器学习模型。该模型观察对话中的线索，例如：
- 用户情绪： 用户在消息中是愤怒还是开心？
- 机器人错误： 机器人是否误解了指令？
- 进度： 用户是否真的保存了他们编写的代码？
利用这些线索，该模型可以预测用户在面对那些“沉默”任务时原本会给出怎样的评分。

3. “超级统计学家”（高效结果）
这是其中的神奇之处。通过将少量的真实评分与大量的预测评分相结合，他们可以更快、更确定地计算出结果。

类比： 想象你想知道一种新口味的冰淇淋是否比旧口味更好。
- 旧方法（标准 A/B 测试）： 你请 100 个人品尝两种口味并评分。这需要很长时间，且结果可能模糊不清。
- PULSE 方法： 你请 100 个人品尝，但你也拥有一个“口味预测器”，它通过观察他们舔勺子的动作、吃得有多快以及他们的面部表情，来预测另外 1,000 个甚至没品尝过的人的评分。
结果： PULSE 提供的确定性水平与标准测试相当，但其噪声（不确定性）减少了 40%。这就像是用更短的曝光时间拍到了更清晰的照片。

他们的发现（令人惊讶的结果）

当他们使用 PULSE 来测试不同的机器人设计时，他们发现了一些旧有的“考试成绩”所遗漏的东西：

“大脑”最为关键： 决定人类是否喜欢该机器人的最主要因素是它使用了哪种“大脑”（底层的 AI 模型）。更换一个更聪明的大脑会对用户满意度产生巨大影响。
“身体”影响较小： 改变机器人组织思路的方式（例如展示待办事项列表或更好地记忆信息）对用户幸福感的影响要小得多。
考试会撒谎： 这是最大的冲击。他们将真实的现实世界人类评分与标准的 AI 基准测试进行了对比。
- 结果： 基准测试显示机器人 A 比机器人 B 更好。但人类实际上更喜欢机器人 B！
- 教训： 一个机器人可以考出完美的笔试成绩，但在真实的对话中却可能是一个糟糕的伙伴。

总结

论文得出结论，如果我们想要构建真正能帮助人类的 AI，我们不能仅仅看测试分数。我们必须观察人类与机器人如何在野外进行互动。PULSE 是一个工具，它通过结合真实反馈和智能预测，帮助开发者高效地进行开发，从而构建出人们真正乐于与之共事的机器人。

他们还指出，虽然他们目前专注于编程领域，但这种相同的“PULSE”方法也可以用于任何与人类协作的机器人（如旅行规划师或购物助手），只需更改“读心者”所观察的“线索”即可。

技术摘要：通过 PULSE 评估人机交互

问题陈述

当前的生成式人工智能（LLM）智能体评估范式过度依赖于静态基准测试，这些测试在假设完全自动化的前提下衡量准确性。这些基准通常评估智能体在无需用户干预的情况下完成特定任务的能力。然而，现实世界的智能体部署通常涉及协作式、人机协同的工作流，即智能体与人类监督者并肩工作。现有文献缺乏针对此类交互式场景的严谨评估协议，且以往模拟人类交互的尝试往往仍局限于受控的基准测试条件下，无法捕捉到真实的“野外（in-the-wild）”用户反馈。因此，在理解特定的智能体设计决策如何影响实际用户满意度，以及基准性能如何与现实世界的人类体验相关联方面，存在研究空白。

方法论：PULSE 框架

为了填补这些空白，作者提出了 PULSE（基于预测驱动的用户标签合成与评估），这是一个旨在对智能体设计进行高效、以人为中心的评估的三步走框架。

1. 反馈数据收集

该框架在一个基于开源智能体 OpenHands 构建的 Web 界面中部署了极简的反馈机制。系统并非在任意时间间隔请求反馈，而是在每个“工作段（work segment）”结束后立即提示用户按 5 星制对智能体的表现进行评分。一个工作段被定义为从用户发送指令开始，到智能体进入“运行中”状态，直至返回“停止”状态的事件序列。这种设计将评分锚定在特定的、刚刚完成的任务上，从而减少了噪声和缺乏针对性的判断。

2. 预测用户满意度

鉴于显式评分非常稀疏（研究中仅约 5% 的交互收到了评分），作者训练了一个机器学习（ML）模型来为未标记的轨迹（trajectories）预测用户满意度。

特征工程： 通过迭代的人机协同过程，识别并分类了 15 个特征：
- 基于用户： 用户消息、情感倾向和消息计数。
- 基于智能体： 任务类型（例如，修复 Bug 与开发新功能）和失败模式（例如，测试不足、未遵循指令）。
- 任务进展： 指示任务完成情况的 Git 操作（push、commit、reset）。
模型训练： 在已标记的轨迹上训练了多种机器学习模型（逻辑回归、随机森林、HistGradientBoosting）。研究发现，这些基于特征的模型在预测满意度方面显著优于“LLM 作为评委（LLM-as-a-judge）”的基准线（使用 o3 和 gemini-2.5-pro 等模型），在与人类评分的相关性和误差率方面表现更佳。

3. 使用预测驱动推理（PPI）计算效应量

为了比较不同的智能体设计（例如，不同的 LLM 底座或规划策略），该框架采用了预测驱动推理（Prediction-Powered Inference, PPI）。

机制： PPI 利用训练好的预测模型 $f$ 为未标记数据生成伪标签。它构建了一个效应量估计器，将标记数据的均值与源自标记与未标记数据预测差异的修正项相结合。
统计优势： 这种方法可以降低估计器的方差，即使在标记数据稀疏的情况下也能计算出有效的置信区间。框架将“朴素（naive）”效应量（仅使用标记数据）与“增强型（augmented）”效应量（使用 PPI）进行对比。

实验部署与案例研究

该框架被部署在一个涉及 15,000 名用户和 36,000 个会话的大规模软件工程背景中。研究通过三个具体的案例研究来评估设计决策：

LLM 底座： 对比 claude-3.7-sonnet、claude-4-sonnet 和 gpt-5。
规划策略： 对比展示结构化任务计划（TASKS.md）的智能体与直接进行实现的智能体。
内存管理： 对比不同的上下文窗口管理策略（通过将 max_step 从 120 减少到 80 来节省成本）。

关键结果

智能体设计对用户满意度的影响

LLM 底座的主导地位： 底层 LLM 的选择对用户满意度的影响最为显著。用户明显更偏好 claude-4-sonnet，其满意度高于 claude-3.7-sonnet (+5.86%)，且高于 gpt-5 (-7.83%)。
脚手架效应（Scaffolding Effects）： 对脚手架（规划与内存）的修改影响较小，但在统计上是显著的。展示计划使满意度提升了约 3.1%，而减少内存步骤在不降低用户体验的前提下节省了成本。
行为洞察： 对交互特征的分析显示，对 gpt-5 较低的满意度与较少的用户消息（表明早期脱离/放弃）以及较少的代码推送相关。相反，展示计划减少了“误解意图”的情况，并增加了用户参与度。

评估效率

置信区间缩减： 通过利用 PPI，该框架与仅使用标记数据的标准 A/B 测试相比，将置信区间的宽度平均降低了 39.5%。在若干案例中，这种缩减使得研究人员能够在朴素方法无法得出结论的情况下，得出具有统计学意义的结论。
模型性能： 基于特征的 ML 模型优于 LLM-as-a-judge 基准线，将与结果的相关性提高了至少 26%。

基准测试与现实世界的差异

研究强调了基准测试性能与人类满意度之间的严重失配：

虽然 gpt-5 在 7 项代码相关基准测试中的 6 项中表现优于 claude-4-sonnet，但在现实环境的 7 个任务子集中，人类在 4 个子集中更偏好 claude-4-sonnet。
在 claude-4 与 gpt-5 的对比中，基准测试增量 ( $\Delta_B$ ) 与人类评分增量 ( $\Delta_H$ ) 之间的相关性很弱或为负 ( $\rho = -0.18$ )，这表明基准测试的提升并不总是转化为更好的用户体验。

意义与主张

作者声称，PULSE 提供了一个严谨、可扩展的框架，用于评估人机交互，超越了全自动化基准测试的局限性。研究表明：

人机协同评估至关重要： 基准性能是现实效用的不完美代理，特别是在协作场景中。
高效评估是可能的： PPI 允许在显著更少的标记样本下进行稳健的统计推断，使得大规模人机研究更具可行性。
设计优先级： 对于软件智能体而言，投资于更强大的基础模型比优化脚手架机制能带来更高的用户满意度回报，尽管脚手架的改变（如计划可见性）仍能提供可衡量的收益。

论文总结道，虽然软件工程是主要测试场，但 PULSE 框架可以推广到其他人类与智能体协作的领域，为更好地使 AI 系统符合用户需求提供了路径。