Probing Embodied LLMs: When Higher Observation Fidelity Hurts Problem Solving
本文揭示，具身大语言模型智能体在解决机械谜题时，悖论性地能够在低保真感官输入或中等感知噪声下取得更高的成功率，因为这些缺陷有助于打破重复动作循环并掩盖推理失败，从而挑战了“完美观测总能带来最优表现”这一假设。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你正在尝试解开一个棘手的机械谜题盒。这个盒子有几根滑动杆和旋转旋钮，但它们都是秘密连接的。要打开它，你必须按照非常特定的顺序移动它们。如果你移动了错误的那个，什么都不会发生。如果你移动了正确的那个，一个隐藏的锁扣会咔哒一声弹开，让你能够移动下一个部件。
现在，想象你有一个超级聪明的机器人大脑（人工智能）在为你尝试解开这个盒子。你可能会想：“机器人越聪明，它应该表现得越好；它看到的画面越清晰，它应该表现得越好。”
这篇论文却发现恰恰相反。
以下是研究人员发现的简单解释：
1. 设置：“锁盒”游戏
研究人员制造了一个实体谜题盒（称为“锁盒”），并将其交给由强大人工智能（具体为 OpenAI 的 GPT-o1）控制的机械臂。他们想看看人工智能在三种不同的“视觉”条件下如何解决这个谜题：
- “模糊相机”（RGB）： 人工智能看到盒子的标准彩色照片。它必须通过比较移动部件“之前”和“之后”的照片来猜测发生了什么。
- "3D 相机”（RGB-D）： 人工智能看到照片加上深度图（知道物体有多远）。这是“更丰富”的信息。
- “上帝视角”（真实数据）： 人工智能根本看不到盒子。相反，计算机用完美、精确的数学文本告诉它每个部件的确切状态（例如，“杆 A 在左，旋钮 B 在右”）。这是最准确的信息。
2. 大惊喜：“完美”信息让 AI 变笨了
你可能会预期，当人工智能拥有“上帝视角”（完美的文本数据）时表现最好，而当它不得不眯着眼看模糊照片时表现最差。
但这并没有发生。
- 当人工智能拥有完美、清晰的文本数据时，它的表现最差。
- 当人工智能看着模糊、不完美的照片时，它的表现最好。
- 3D 相机（拥有更多数据）实际上比简单的照片让情况变得更糟。
这就像一个学生参加数学考试，当老师给他们一张稍微模糊、令人困惑的练习卷时，他们的表现反而比拿到完美、清晰的答案键时更好。
3. 为什么？“陷入循环”的问题
研究人员深入挖掘，找出人工智能为何在拥有完美信息时失败。他们发现了一种特定的坏习惯：重复循环。
当人工智能拥有完美信息时，它会陷入思维死胡同。它会尝试一个动作，看到结果，心想“那没起作用”，然后尝试完全相同的动作，看到相同的结果，再试一次。这就像一只狗追逐自己的尾巴，原地打转而没有进展。因为信息如此完美，人工智能有足够的自信一遍又一遍地重复同样的错误。
然而，当人工智能看着模糊照片时，它的视觉略有噪声。它可能会稍微误解一个动作。这种“困惑”起到了温和推动的作用。它刚好打破了人工智能的自信，使其不再重复同样的错误。噪声迫使人工智能尝试新事物，这意外地帮助它摆脱了循环并解开了谜题。
4. 模拟实验
为了证明这不仅仅是偶然，研究人员运行了一个计算机模拟，故意对人工智能“撒谎”。他们以一定的概率（例如 40% 的撒谎几率）告诉人工智能某个动作失败了，而实际上它成功了，或者反之。
- 0% 撒谎（完全真实）： 人工智能陷入循环，经常失败。
- 40% 撒谎（适度噪声）： 人工智能的成功率翻倍。“谎言”打破了循环，使其尝试新事物。
- 60% 撒谎（过多噪声）： 人工智能变得过于困惑，再次失败。
主要结论
该论文得出结论：成功率可能会产生误导。
仅仅因为人工智能快速解开了谜题，并不意味着它“思考”得更好。有时，它只是运气好，因为它的错误（或其传感器中的噪声）意外地打破了一个坏习惯。
如果你仅根据人工智能是赢是输来评判它，你可能会忽略它实际上正与其自身的推理能力苦苦挣扎的事实。在现实世界中，机器人的传感器并不完美，这种“不完美”实际上可能是一种隐藏的超能力，防止它们陷入思维死胡同。
简而言之： 有时，稍微困惑一点比完全清晰更好，因为它能阻止你重复同样的错误。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。