Thinking Is Not Telling: Information Disclosure in User-Service LLM Agents
本文指出，在用户-服务型 LLM 智能体中存在一种关键的通信失效，即内部推理并不会自动转化为及时的面向用户的的信息披露，这表明，相比于仅仅增加内部“思考”努力，将决策相关知识进行显式外部化对于任务成功更为有效。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下你正在玩一场高风险的电子游戏，你的队友能看到整张地图、隐藏的陷阱和秘密规则，但你只能看到屏幕上正前方的一小块区域。你是那个拿着手柄的玩家，而你的队友是“AI向导”。在计算机科学的世界里，这些向导被称为大语言模型（LLM）智能体。它们是旨在帮助我们完成诸如订机票、退货或管理日程等任务的超级智能程序。通常情况下，我们假设如果AI在脑子里“思考”得非常努力，它就会给我们最好的建议。但问题在于：仅仅因为AI进行了一段精彩绝伦的内心独白，并不意味着它真的把所知之事“告诉”了你。如果AI看到了地图上的陷阱，却忘了在你跳跃之前提醒你，你还是会掉下去。这篇论文提出了一个简单但至关重要的问题：AI的秘密思考究竟是在帮助我们，还是仅仅把所有好的信息都留给了它自己？
研究这项研究的科研人员决定调查一种特定的AI失败类型，即智能体“思考”却不“告知”。他们观察了AI智能体、人类用户和一个数字环境（例如商店的数据库或航空公司的系统）必须协同工作的场景。问题在于，AI往往知道一些用户不知道的事情，比如“你不能只取消其中一件商品”或“这趟航班已经满了”。团队想要看看，强制要求AI使用一个“思考”工具——即在说话之前写下其推理步骤——是否真的能让它成为一个更好的伙伴。他们在五种不同的AI模型和三种真实的业务场景（如购物和订票）中进行了测试。
他们的发现令人有些意外。他们发现，强制AI进行更多“思考”并不会自动让它变得更擅长这项工作。事实上，在许多情况下，AI的表现反而变差了！事实证明，AI利用其“思考”时间来整理自己的思绪，但它并没有将这些思绪中最重要的部分分享给用户。这就像一位厨师在厨房里花了数小时完善了一道秘密食谱，但在端给顾客时，却没告诉顾客这道菜很辣，尽管顾客对花生过敏。AI在“思考”关于过敏的信息，但它未能向顾客“告知”这一事实。
为了证明这一点，研究人员玩了一个聪明的“如果……会怎样”的游戏。他们提取了AI出错的失败对话，并秘密地将AI“应该”说出的缺失信息注入其中。例如，如果AI忘记提到关于取消手续费的规则，他们就把那条规则重新加入到对话中。这样做之后，AI的下一步行动变得准确得多。这表明真正的核心问题不在于AI不够聪明，而在于它没有在正确的时间披露正确的信息。这项研究表明，提升AI水平的关键不仅仅是让它思考得更深入，而是要确保它能说出用户在做出良好决策时需要知道的内容。
团队还测试了一个简单的修复方法：他们在指令中给了AI一个小小的提示，告诉它：“嘿，在要求用户做决定之前，请务必告诉他们规则、选项以及可能发生的情况。”这个微小的改变效果显著。它帮助AI从“思考”错误中恢复过来，并实际上提高了它的表现，即使是在被强制进行内部思考的情况下也是如此。底线是，要让AI成为一个真正的助手，它需要停止保持秘密，开始分享那些重要的事实。仅仅聪明是不够的，你还得是一个优秀的沟通者。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。