🤖 AI

Humans' ALMANAC: A Human Collaboration Dataset of Action-Level Mental Model Annotations for Agent Collaboration

本文介绍了 ALMANAC，这是一个包含 2,987 条动作级心理模型标注的数据集，这些标注源自人类在地图任务（Map Task）中的双人协作，旨在弥补在训练和评估大语言模型智能体维持对齐心理模型以及模拟人类协作行为能力方面的空白。

原作者： Jiaju Chen, Yuxuan Lu, Jiayi Su, Chaoran Chen, Songlin Xiao, Zheng Zhang, Yun Wang, Yunyao Li, Jian Zhao, Tongshuang Wu, Toby Jia-Jun Li, Dakuo Wang, Bingsheng Yao

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jiaju Chen, Yuxuan Lu, Jiayi Su, Chaoran Chen, Songlin Xiao, Zheng Zhang, Yun Wang, Yunyao Li, Jian Zhao, Tongshuang Wu, Toby Jia-Jun Li, Dakuo Wang, Bingsheng Yao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图和一位朋友一起画一张藏宝图，但你们身处不同的房间。你们只能通过文字聊天进行交流。其中一人是引导者（Guide），他手里拿着画有正确路径的原图；另一人是跟随者（Follower），他手里拿着一张只有地标（如山脉或桥梁）但没有路径的空白地图。

为了成功，他们必须通力合作：引导者描述路径，跟随者尝试绘制。

这就是名为 ALMANAC 的一项新研究项目的核心。以下是研究人员所做工作的简单拆解及其意义，并使用了日常类比。

1. 问题所在：机器人擅长“执行”，但不擅长“协同思考”

目前的 AI 智能体（如先进的聊天机器人）非常擅长听从指令。如果你说“订一张机票”，它们就能做到。但真正的真人协作不仅仅是听从命令，更是关于心理对齐（Mental Alignment）。

把人类团队想象成一支爵士乐队。他们不仅仅是在阅读乐谱，他们还在不断倾听彼此，猜测队友即将演奏什么，并实时调整自己的节奏。他们拥有一个“共享心理模型”。

自我推理： “我为什么要弹这个音符？”
伙伴意图： “我的搭档想做什么？”
团队目标： “我们是在继续演奏爵士乐，还是已经偏离到了摇滚乐？”

论文指出，目前的 AI 就像一个只会完美演奏自己乐器的机器人，却完全不知道乐队其他成员在想什么。现有的数据集只记录了人们“说了什么”以及“做了什么”，但忽略了他们脑海中的“为什么”。

2. 解决方案：ALMANAC（“读心术”数据集）

研究人员构建了一个名为 ALMANAC 的新数据集来解决这个问题。他们采用了上述的“地图任务”，并增加了一个特殊的观察层。

他们是如何收集数据的：

游戏过程： 50 人两人一组进行“地图任务”（共 25 对）。
“检查点”： 每当玩家完成任务的 25%、50% 和 75% 时，游戏会短暂暂停。玩家必须快速对着麦克风回答：“你认为我们现在的目标是什么？”、“你认为你的搭档现在想做什么？”以及“你刚才为什么那样做？”
回放： 游戏结束后，玩家观看自己行为的回放。对于他们做出的每一个动作（画线、擦除错误、发送消息），他们都必须再次标注自己的心理状态。

结果：
他们最终得到了 2,987 个具体动作，并且对于每一个动作，都有如下记录：

采取的动作（例如：“画了一条线”）。
团队目标（例如：“我们正试图连接桥梁和山脉”）。
伙伴意图（例如：“我觉得我的搭档对方向感到困惑”）。
自我推理（例如：“我画这条线是因为我觉得山在左边”）。
理由（对思维过程的自由形式解释）。

3. 实验：AI 能“读心”吗？

研究人员测试了六种不同的 AI 模型（包括像 GPT-5.5 和 Claude 这样的大型模型），以观察它们是否能利用这个新数据集表现得像人类协作伙伴一样。他们给了 AI 两项任务：

预测下一步动作： “根据目前发生的情况，人类接下来会做什么？”
预测心理状态： “根据目前发生的情况，人类现在正在想什么？”

研究发现：

“做什么”很容易，“为什么”很难： AI 模型在预测下一步动作（例如：“人类可能会画一条线”）方面表现得相当不错。
“思想”很棘手： 模型在预测内部想法（即心理模型）方面表现挣扎。它们可以较好地猜测共同目标（例如：“我们正在搭建一座桥”），但在猜测人类私密的、个人的推理过程（例如：“我之所以这么画是因为我很紧张”）方面表现得很差。
角色很重要：
- 引导者（负责给出指令的人）在心理预测上更难，因为他们的思维涉及复杂的空间规划，而这些规划并不总是通过语言表达出来的。
- 跟随者（负责绘画的人）在心理预测上更容易，因为他们的思维直接受引导者明确指令的影响。
训练有帮助： 当他们使用这个特定数据集来“教导”（微调）一个较小的 AI 模型时，该模型在模拟人类行为方面变得更好，几乎赶上了那些庞大且昂贵的巨型模型。

4. 底线结论

论文得出结论，要让 AI 成为真正的协作伙伴，我们不能只训练它们如何完成任务。我们需要训练它们人类在协作时是如何思考的。

ALMANAC 是第一个将人类行为与这些“动作级心理模型”相匹配的数据集。它表明，尽管 AI 在模拟人类行为方面正在进步，但它仍然难以理解使人类团队协作生效的那些无形的、内在的推理过程。该数据集提供了所需的“辅助轮”，旨在教会 AI 如何将其心理模型与人类对齐，而不仅仅是盲目地听从命令。

技术摘要：ALMANAC

问题陈述

大型语言模型（LLM）智能体的最新进展赋予了它们复杂的认知能力，如多步推理和工具使用，使其成为潜在的人类协作伙伴。然而，有效的协作不仅仅需要完成任务，还需要持续维护和对齐心理模型（mental models）——具体而言，是对自身行为、感知的伙伴意图以及对团队共同目标的理解进行自我推理。

目前的智能体协作研究和基准测试（如 ToolBench、WebArena、MultiAgentBench）主要评估智能体在任务导向型交换和独立任务完成方面的表现。它们缺乏包含动作级心理模型标注的真实人类协作数据。现有的真人-真人数据集捕捉了可观察到的交互（对话、结果），但忽略了支撑协作行为的关键认知内容。因此，社区缺乏必要的数据来引导智能体实现过程级的协作能力，以及模拟人类协作行为并推断底层心理状态的能力。

方法论

数据集构建：ALMANAC

为了填补这一空白，作者提出了 ALMANAC（Action-Level Mental model ANnotations for Agent Collaboration，动作级心理模型标注用于智能体协作），该数据集源自社会科学中的经典双人路由任务——地图任务（Map Task）。

任务设计： 两名参与者（向导 Guide 和跟随者 Follower）通过基于文本的通信和工作区操作（绘制、擦除）协作重现地图上的路径。向导可以看到完整路径；跟随者只能看到地标。
实验条件： 研究将画布可见性作为被试间因素进行操纵：
- $C_{not\_visible}$ ： 向导无法看到跟随者的实时绘图。
- $C_{visible}$ ： 向导可以查看跟随者的实时画布。
标注框架： 该框架基于团队协作过程、态势感知和共同基础（common ground）理论，通过两步过程捕获动作级的心理模型：
1. 会话中检查点： 在任务进度达到 25%、50% 和 75% 时，参与者通过语音录制提供关于团队目标、伙伴意图和自我推理的简短实时报告。
2. 会话后回顾式标注： 任务结束后，参与者回顾其动作轨迹和截图。对于每一个动作，他们提供：
  - 自由形式的理由（Free-form rationale）： 解释动作背后的认知过程。
  - 结构化标签： 对团队目标（Team Goal）、*感知伙伴意图（Perceived Partner Intent）和自我推理（Self-Reasoning）*进行类别选择，并附带对齐状态指示器。
数据规模： 该数据集包含来自 50 名参与者在 25 个双人会话中的 2,987 个协作动作。动作被标准化为离散的网格表示，以便于 LLM 处理，而不依赖于图像理解。

基准测试实验

作者在两个任务上评估了六个 LLM（四种开源/专有模型：Qwen3.6-35B, Llama 3.3 70B, GPT-5.5, Claude 4.6 Sonnet；以及两种微调模型：Qwen3-4B, Qwen3-30B-A3B）：

下一轮行为预测： 在给定交互历史和人格设定（persona）的情况下，预测下一个动作（消息、绘图、擦除等）。
心理模型预测： 预测参与者在下一轮的心理状态（团队目标、伙伴意图、自我推理、理由）的预测。

实验比较了标准提示词（standard prompting）、在 ALMANAC 上进行微调，以及将真值心理模型标注作为输入信号的情况。

核心贡献

ALMANAC 数据集： 第一个将真实的协作行为与基于理论的动作级心理模型标注相结合的人类协作数据集。
标注框架： 一种结合了会话中检查点与会话后回顾式标注的新颖设计，能够以单个动作的粒度捕获动态心理模型和自由形式的理由。
实证基准测试： 对六个 LLM 进行的全面评估表明，虽然心理模型标注为预测协作行为提供了有用的信号，但目前的模型在推断私人推理过程方面仍存在困难。

结果

下一轮行为预测

角色不对称性： 预测向导的下一个动作（仅限于消息）非常简单（准确率 100%），而预测跟随者的动作（涉及绘图、擦除和解释）则显著更难。
可见性影响： 模型在 $C_{not\_visible}$ 条件下的表现通常优于 $C_{visible}$ 条件。作者将其归因于可见条件下更高的行为变异性和对视觉落地修正的依赖，这使得仅从文本历史中推断变得更加困难。
心理模型的影响： 将真值心理模型标注作为输入，通常能提高预测跟随者动作的性能，特别是在 $C_{not\_visible}$ 条件下的绘图准确性方面。这表明跟随者的行为更多地植根于潜在的推理状态，而非向导的行为。
微调效果： 在 ALMANAC 上微调的小型模型（Qwen3-4B）达到了与更大规模专有模型相当的性能，这表明针对特定协作数据的定向监督可以缩小与大型模型的差距。

心理模型预测

可预测性层级： 团队目标和伙伴意图比自我推理更容易预测。这符合观察到的现象：共享组件通常反映在对话和进度中，而自我推理则捕捉了未明确表达的私人动机。
角色不对称性： 跟随者的心理模型比向导的心理模型更容易预测。向向导的推理涉及复杂的空间规划和伙伴监控，仅从交互历史中很难推断。
微调有效性： 微调后的模型（特别是 Qwen3-4B）在预测跟随者的心理模型和理由方面表现出优于基于提示词的模型，这表明 ALMANAC 为学习协作相关推理提供了有效的监督。
局限性： 没有单一模型能在所有条件下一致地胜过其他模型。自我推理预测的低准确率凸显了推断私人心理模型的挑战。

重要性与主张

论文声称 ALMANAC 为开发能够作为真正的协作伙伴而非仅仅是任务解决者的 LLM 智能体提供了基础资源。

诊断价值： 结果表明，虽然心理模型标注提供了超出交互历史的信号，但目前的 LLM 无法可靠地利用它们来推断私人推理。预测共享状态（团队目标）与私人状态（自我推理）之间的差距，凸显了当前模型在模拟驱动有效协作的认知过程方面存在的根本局限。
过程级能力： 通过将评估建立在具有理论化标注的真实人类数据之上，ALMANAC 为开发能够在协作过程中维持并对齐心理模型的智能体开辟了路径，解决了当前仅关注任务完成的智能体基准测试中的关键缺陷。
规模有限： 作者承认了局限性，包括对回顾式报告的依赖（易受回忆偏差影响）、相对于大规模 NLP 基准测试而言规模较小的数据集，以及仅限于单一任务领域（地图任务）的限制。他们指出，未来的工作需要在更多样化的现实领域扩展这些发现，并探索多模态方法以实现更好的空间理解。