A Behavioural and Representational Evaluation of Goal-Directedness in Language Model Agents
本文提出了一个将行为测试与可解释性分析相结合的框架，旨在评估语言模型智能体的目标导向性，并通过一个网格世界案例研究表明，尽管智能体表现出鲁棒的性能，但其对空间地图和行动计划的内部表示在推理过程中经历了非线性重组，从而凸显了进行超越单纯行为观察的内省检查之必要性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一个非常聪明的机器人朋友，它非常喜欢玩迷宫。你对它说：“找到绿旗！”于是它开始移动。但这里有一个大问题：这个机器人是真的“知道”旗帜在哪里并“计划”要去那里，还是只是在瞎猜并碰巧运气好？
这篇论文就像是一个侦探故事，作者们试图弄清楚这个机器人（一个大语言模型智能体）在解决迷宫时究竟是如何思考的。他们不仅观察了机器人的行为，还窥探了它的“大脑”内部，看看它在想什么。
以下是他们使用简单类比进行的调查分解：
1. 背景设定：迷宫中的机器人
研究人员将一个机器人（称为 GPT-OSS-20B）放入了一个数字网格世界中，就像一个巨大的国际象棋棋盘。
- 目标： 机器人必须从起点走到终点。
- 障碍物： 有它无法穿过的墙壁。
- 测试： 他们通过增大迷宫尺寸或增加墙壁数量来增加迷宫的难度。
2. 第一部分：观察机器人的脚步（行为评估）
首先，研究人员只是观察机器人的移动。他们将机器人的路径与人类数学家计算出的“完美路径”进行了比较。
- 发现： 机器人的表现相当不错。当迷宫简单时，它直奔目标而去。当迷宫变得更难（更大或墙更多）时，它会犯更多错误，但它并没有放弃或随机游走。它看起来仍然在努力尝试到达目标。
- “镜像”测试： 他们将一个迷宫像镜像一样翻转或旋转。机器人仍然能同样好地解决它。这证明了机器人不仅仅是在死记硬背特定的模式；它实际上理解了迷宫的“概念”。
- “分心”测试： 他们在迷宫里放了一个闪亮的“钥匙”。
- 场景 A： 钥匙是打开通往目标的门所必需的。机器人完美地意识到了这一点。
- 场景 B： 钥匙是没用的（没有对应的门）。机器人仍然会被它分心！它经常会走向钥匙，即使它并不需要它。这表明机器人有一种“习惯”，即认为钥匙很重要，即使它们其实没用。
3. 第二部分：窥探大脑内部（表征评估）
仅仅观察脚步是不够的。机器人可能只是偶然走到了目标点。因此，研究人员使用了一种叫做“探针”的特殊工具，在不要求它说话的情况下，读取机器人的内部想法（它的数字大脑信号）。
他们观察了两个不同的时间点：
- 在机器人开始思考之前： 当它第一次看地图时，它看到了什么？
- 在机器人思考之后： 在它决定移动之前一刻，它看到了什么？
“认知地图”（心理图像）
他们发现机器人构建了一个粗略、模糊的房间心理地图。
- 它大致知道自己在哪里以及目标在哪里。
- 这不是一张完美的高清照片；它更像是一张草图。它知道目标在“那边的某个地方”，但精确坐标可能会有些偏差。
- 关键发现： 当机器人开始“推理”（深度思考）时，这个模糊的地图会变得更加“模糊”。机器人不再关注整个地图，而是开始专注于紧接着的下一步。这就像一名司机在转弯前停止注视整条高速公路，而完全专注于眼前的车一样。
“计划”（待办事项列表）
他们还检查了机器人的脑海中是否保留了未来几步的计划。
- 思考前： 机器人的大脑持有一个长期计划（关于整个路径的粗略构想）。
- 思考后： 长期计划消失了，大脑变得对眼下的即时动作非常清晰。
- 总结： 机器人不仅仅是在做出反应；它实际上持有计划。但“思考”这一行为将其大脑从一个“地图阅读者”转变为了一个“步进执行者”。
4. 最终结论
作者得出结论，要真正理解一个机器人是否具有“目标导向性”（即是否有目的），你不能只观察它的行为。你还必须观察它的内心世界。
- 好消息： 机器人确实拥有一个目标。它构建心理地图并规划步骤以到达该目标。
- 坏消息： 它的心理地图有点模糊，有时会被看起来像目标的东西（比如钥匙）分心，即使那些东西并无用处。
- 教训： 如果我们希望在未来信任 AI 智能体，我们需要同时检查它们的行为和内部想法，以确保它们是真的在尝试做我们想要的事，而不是在伪装或被干扰项搞糊涂了。
简而言之： 机器人不是一个盲目行走的个体。它有地图，有计划，也知道自己要去哪里——但它的地图有点模糊，而且有时会被闪亮的东西吸引注意力。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。