🤖 AI

TOM-SWE: User Mental Modeling For Software Engineering Agents

该论文介绍了 ToM-SWE，这是一种将软件工程智能体与具备心理理论（theory-of-mind）能力的伙伴相结合的双智能体架构，旨在模拟用户意图并维持持久记忆，从而在基准评估以及针对专业开发人员的真实研究中，显著提升了任务成功率和用户满意度。

原作者： Xuhui Zhou, Valerie Chen, Zora Zhiruo Wang, Graham Neubig, Maarten Sap, Xingyao Wang

发布于 2026-02-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xuhui Zhou, Valerie Chen, Zora Zhiruo Wang, Graham Neubig, Maarten Sap, Xingyao Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是对 ToM-SWE 论文的解释，通过日常类比将其拆解为简单的概念。

核心问题：那个“健忘”的编程机器人

想象你雇佣了一个聪明但失忆的机器人助手来帮你搭建网站。

机器人： 它在编写代码、修复 Bug 和运行测试方面极其出色。
问题： 每当你开始一段新的对话时，这个机器人对你是毫无记忆的。它不知道你讨厌冗长的解释，不知道你更倾向于使用特定的工具，也不知道你总是希望在部署之前先测试代码。
结果： 你不得不不断地重复自己的要求。“让它简短点”、“使用这个库”、“别问我太多问题”。机器人一直在瞎猜，而且经常猜错，这既浪费时间又让人感到挫败。

目前的 AI 编程智能体就像这个机器人：它们擅长处理技术工作，但在理解你方面表现糟糕。

解决方案：拥有“读心术”的搭档 (ToM-SWE)

该论文的作者创建了一个名为 ToM-SWE 的新系统。他们没有只构建一个机器人，而是打造了一个两人团队：

建设者 (SWE Agent)： 这是原始的编程机器人。它 100% 专注于编写代码、运行测试和修复错误。它不需要担心你的个性；它只负责完成繁重的体力活。
读心者 (ToM Agent)： 这是一个全新的、轻量级的搭档。它的唯一任务就是研究你。它观察你的说话方式、你的喜好以及你过去的行为。它构建了一个关于你偏好的“心理模型”。

它们如何协作：
在建设者开始编写代码之前，它会询问读心者：“嘿，这个用户喜欢什么？他是想要简短的回答？他用 Python 还是 JavaScript？他上周是不是提到过某个特定的工具？”
读心者查看笔记并回答：“这位用户是一位教授，喜欢简洁的回答，并且倾向于使用 Vercel 进行托管。不要问他太多问题。”
随后，建设者会调整其计划，并编写出完美符合你风格的代码。

“心理模型”类比

把读心者想象成一位非常细心的私人助理，他会记录你的习惯日记。

第一阶段（Session 1）： 你告诉系统，“给我做一个网站”。读心者记录下：用户是位教授，喜欢学术风格，偏好使用 Vercel。
第二阶段（下周）： 你再次说，“给我做一个网站”。
- 旧机器人： “好的，我会猜一个通用的网站。”
- ToM-SWE： 建设者询问读心者。读心者说：“记得上次吗？这是为了一个大学项目。使用学术风格的字体，并托管在 Vercel 上。”
- 结果： 即使你没有再次提及，代码也完全符合你的要求。

他们是如何测试的

研究人员并不仅仅是凭直觉认为这行得通；他们进行了两种类型的测试：

“模拟”测试 (基准测试)：
他们创建了一个虚拟世界，AI 必须与一个“模拟用户”（另一个扮演人类的 AI）进行交流。他们给了模拟用户不同的性格（例如，一个话很多的，一个非常简练的）。
- 结果： ToM-SWE 团队成功完成了 59.7% 的任务。而表现最好的前代机器人 (OpenHands) 仅完成了 18.1%。
- “满意度”评分： 模拟用户给 ToM-SWE 团队的评分要高得多（满分 5 分，得分为 3.62），因为该团队更懂得“倾听”，且不会用不必要的提问来烦扰他们。
“现实生活”测试 (人工研究)：
他们让 17 名真实的专业开发人员 在为期三周的时间内，在实际的日常工作中使用了该系统。
- 结果： 开发人员发现读心者的建议在 86% 的情况下都是有用的。
- 他们喜欢的点： 系统会说类似这样的话：“你通常会在新函数中添加测试，所以我也在这里添加了。”或者“你更喜欢极简的代码修改，所以我保持了改动的微小。”

为什么这很重要

论文声称，对于 AI 要想在软件工程领域真正发挥作用，它不能仅仅是一个代码生成器。它需要成为一个能够理解人类意图的协作者。

旧方式： 你告诉 AI 该做什么，剩下的由它去猜。
新方式 (ToM-SWE)： AI 会记住你是谁、你喜欢什么以及你的工作方式，因此它能在你开口之前就预判你的需求。

一句话总结

ToM-SWE 是一个双智能体系统，其中一个智能体负责编写代码，而第二个“读心”智能体负责记住你的个人偏好和习惯，从而让团队能更高效、更少挫败感地与你协作。

技术摘要：ToM-SWE：面向软件工程智能体的用户心理建模

问题陈述

大语言模型（LLM）驱动的编程智能体近期取得了显著进展，使其能够规划、编辑、运行和测试复杂的代码库。然而，这些系统面临着一个根本性的局限：它们难以推断并追踪用户意图，尤其是在指令不明确或依赖上下文的情况下。目前的智能体通常以**无状态（stateless）**的方式运行，将每次会话视为独立的，缺乏维持关于用户不断演进的目标、偏好和约束的持久上下文机制。这导致了效率浪费、误解，并在高风险场景下可能导致不安全的结果。此外，现有的基准测试（如 SWE-bench）主要评估针对明确任务的技术问题解决能力，未能评估智能体在与多样化用户进行有意义的长程交互方面的能力。

方法论

为了填补这些空白，作者引入了 ToM-SWE，这是一个将**心理理论（Theory of Mind, ToM）**推理集成到软件工程智能体中的框架。在此背景下，ToM 指的是根据指令和交互历史来建模用户心理状态（目标、偏好、意图）的能力。

双智能体架构

其核心创新在于一种双智能体架构，实现了关注点分离：

主 SWE 智能体（Primary SWE Agent）： 专注于编码任务（生成、调试、执行）。
专用 ToM 智能体（Dedicated ToM Agent）： 一个轻量级的伙伴，负责建模用户的心理状态。

ToM 智能体以两种互补模式运行：

会话内 ToM（In-Session ToM）： 在活跃编码期间，它通过咨询交互历史并向 SWE 智能体提供建议，来推断用户的潜在心理状态（例如，模糊指令背后的“真实”意图）。
会话后 ToM（After-Session ToM）： 会话结束后，它处理交互历史以精炼并更新持久的用户模型。

分层记忆系统

ToM 智能体利用一个通过外部数据库实现的三层分层记忆系统：

第一层（原始会话存储）： 存储完整的过往会话历史。
第二层（基于会话的用户模型）： 维护单次会话层面的分析，包括会话意图、交互模式和编码偏好。
第三层（整体用户模型）： 将跨会话模式聚合为偏好簇、交互风格摘要和编码风格摘要。

SWE 智能体通过两个特定工具与 ToM 智能体交互：consult tom（用于在会话期间检索相关的用户心理状态信息）和 update memory（用于在会话结束后触发 ToM 智能体处理并更新记忆层级）。

评估框架：有状态 SWE 基准测试（Stateful SWE Benchmark）

作者引入了 Stateful SWE 基准测试，这是首个旨在评估智能体在长程、多会话交互中表现的基准测试。

设置： 它将 15 个不同的开发者画像（源自 453 个真实的真人-智能体会话）与来自 SWE-bench 的 500 个实例进行配对。
模拟： 智能体与受特定画像约束（在冗余度、提问时机和编码偏好方面各异）的 LLM 驱动的用户模拟器进行交互。
挑战： 智能体必须利用先前的交互历史来追踪用户心理状态并调整其行为，而不是仅仅依赖当前的指令。

核心贡献

ToM-SWE 框架： 一种新颖的双智能体架构，将编码执行与用户心理建模解耦，从而实现专门的优化和持久的用户追踪，且不会使编码智能体的上下文过载。
Stateful SWE 基准测试： 一个新的评估套件，测试智能体在多个会话中适应不同用户的能力，超越了静态、单轮的任务解决。
实证验证： 在新的 Stateful SWE 基准测试和现有的 Ambiguous SWE-bench 上进行了全面的评估，并结合了真实的真人研究。

结果

离线基准测试表现

所提出的智能体 ToMCodeAct（基于 OpenHands 平台构建）与最先进的 CodeAct 智能体以及 RAGCodeAct 基准线（即仅检索原始历史而不进行显式建模）进行了对比。

Ambiguous SWE-bench： ToMCodeAct 实现了 63.4% 的问题解决率（使用 Claude Sonnet 4），优于 CodeAct 的 51.9%（提升了 11.5%）。
Stateful SWE 班测： ToMCodeAct 实现了 59.7% 的解决率，相比 CodeAct 的 18.1% 有了大幅提升（增加了 41.6 个百分点）。
用户满意度： ToMCodeAct 的用户满意度得分显著更高（3.62 对比 CodeAct 的 2.57），该得分由评估偏好对齐度和沟通质量的画像约束用户模拟器得出。
分析： 研究发现，仅仅检索原始会话数据（RAG）是不够的；将用户偏好显式抽象为心理模型对于提升性能至关重要。此外，研究发现任务解决率与用户满意度之间存在强正相关性（ $r=0.74$ ），尽管即使在任务失败时，只要过程质量和沟通符合用户偏好，ToM 智能体也会获得较高的满意度评分（“良好努力奖”）。

实地真人研究

研究人员开展了一项为期三周的观察性研究，让 17 名专业开发者 在日常自主选择的编码任务中使用经过 ToM 增强的 CLI。

接受率： 开发者在 86% 的情况下接受或部分接受了 ToM 的建议（在 209 个会话中共有 174 个建议被接受）。
效用： 反馈表明，ToM 建议有助于将用户在之前对话中提到的规则显式写出，创建了准确的用户画像，并提高了工作流效率。
上下文敏感性： 对于具有足够技术上下文的中度欠定义查询（例如“代码理解”，成功率为 92%），成功率最高；但对于极其模糊的查询，成功率则有所下降。

意义与主张

论文声称，ToM-SWE 证明了有效的软件工程人机协作需要能够推断、维护并基于用户特定的心理模型随时间采取行动的智能体。

超越技术能力： 强大的编码能力如果不具备建模用户意图和偏好的能力，则是不足够的，尤其是在指令属于高层级且不明确的情况下。
过程质量至关重要： 结果强调，用户满意度不仅取决于任务成功（单元测试），还取决于交互过程的质量、沟通风格以及与用户偏好的对齐程度。
架构必要性： 双智能体设计被视为一种关键机制，既能减少编码智能体的上下文干扰，又能实现专门的、持久的用户建模。
实际影响： 在真实环境中的高接受率表明，有状态的用户建模是实用型编程智能体的一种可行且有价值的增强手段，有望提高开发者的生产力并减少交互式调试与维护中的摩擦。

作者对隐私和泛化性保持谨慎，承认用户建模带来了操纵或监视的风险，且其画像源自特定的开发者子集。他们强调了负责任部署、明确同意以及用户控制记忆的重要性。