The Sim-to-Real Gap of Foundation Model Agents: A Unified MDP Perspective
本文提出了一个统一的马尔可夫决策过程（MDP）框架，旨在将基础模型智能体中的“从仿真到现实”（sim-to-real）差距形式化，并主张通过适配经典的机器人解决方案以及标准化基准测试，来弥合观测、动作、状态转移和奖励方面的差异，从而实现可靠的现实世界部署。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在训练一个才华横溢、超智能的机器人助手，以帮助人们处理日常任务。你在一个完美的、无菌的实验室里教导它，那里的所有事物都运行得如预期般精准：灯光始终亮着，工具总是放在原处，说话的人也总是使用完美的标准英语。
在这个实验室里，这个机器人是个天才。它在每一项测试中都拿到了100%的分数。
但随后，你将这个机器人送到了现实世界。突然间，事情变得混乱了。人们说话带有口音或拼写错误，它需要使用的工具有时反应迟钝或损坏，环境的“规则”也变得杂乱无章。尽管这个机器人在实验室里是个天才，但在现实世界中却表现得一塌糊求解。
这篇论文认为，AI界目前正在犯一个巨大的错误。我们正在把这个机器人在现实世界中的失败视为一个全新的、神秘的问题。作者说：“别再重新发明轮子了！”他们指出，构建物理机器人的工程师们几十年来一直在解决完全相同的问题。他们称之为**“模拟到现实的差距”**（Sim-to-Real Gap，即模拟环境与现实环境之间的差距）。
该论文提出了一种简单、统一的方法来理解这种差距，使用的是一个经典的框架——马尔可夫决策过程（MDP）。你可以把 MDP 理解为一个关于智能体如何与世界交互的四部分清单。作者认为，机器人的失败是因为在以下四个领域之一（或全部）出现了不匹配：
1. 观测（机器人“看到”和“听到”的内容）
- 实验室： 机器人听到的是清晰、完美的英语指令。
- 现实世界： 人们打字时会有拼写错误，使用俚语，或者使用不同的语言（如印地语或伊博语）。
- 类比： 想象你训练了一位厨师，只在蔬菜呈现完美的亮绿色时才进行切割。在现实世界中，蔬菜可能略显发黄或沾满泥土。厨师拒绝切割它们，因为它们看起来“不对劲”，尽管它们仍然是蔬菜。
- 论文中的例子： 作者展示了如果用户用中文提问，机器人可能完美理解了“意图”，但在填写表单时却尝试使用中文字符作为“数值”。而该表单的计算机系统只接受英文数字。机器人很聪明，但它未能将“观测”转化为所需工具的“执行”语言。
2. 行动（机器人“做”什么）
- 实验室： 机器人从一个整洁且简短的列表中挑选工具。每种工具都有唯一的名称且能立即生效。
- 现实世界： 有成千上万种工具，许多工具的名字极其相似。有些工具加载缓慢，或者它们可能存在“干扰项”（看起来是真的但实际上是坏掉的假工具）。
- 类比： 在实验室里，机器人被交给一把标识清晰的“螺丝刀”。而在现实世界中，它被递给了一个工具箱，里面有50把螺丝刀，其中49把看起来完全一样，但其实只是塑料道具，而真正的螺丝刀被埋在最底层。机器人感到困惑，并选了一把道具。
3. 状态转移（机器人行动“之后”发生了什么）
- 实验室： 机器人点击一个按钮，结果立即完美发生。
- 现实世界： 网络很慢。工具可能会超时、崩溃或给出不完整的答案。
- 类比： 在实验室里，你订购一份披萨，它会瞬间出现在桌子上。在现实世界中，披萨店可能已经关门了，司机可能会迷路，或者披萨送到时已经凉了。由于习惯了预期中的即时成功，机器人不知道在披萨没出现时该怎么办。它只会陷入恐慌，而不是尝试再次操作。
4. 奖励（我们如何“评判”机器人）
- 实验室： 如果机器人答对了，我们会给它一颗金星（准确率）。
- 现实世界： 答对是不够的。它是花了10秒钟还是10分钟？它花费了0.01美元还是10.00美元？
- 类比： 在实验室里，我们只关心机器人是否解出了数学题。但在现实世界中，我们还关心它是使用一台运行成本高达百万美元的超级计算机来解决问题，还是用了整整一年时间。机器人可能是“正确”的，但因为太贵或太慢而变得毫无用处。
解决方案：一种新的训练方案
论文建议我们不要再将这些视为独立的、奇怪的问题。相反，我们应该使用物理机器人工程师使用的相同“训练演练”：
- 随机化： 不要只在完美的实验室里训练机器人。要在混乱的实验室里训练它——那里的灯光会闪烁，工具反应迟钝，且指令带有拼写错误。
- 压力测试： 创建专门旨在“搞砸”机器人的基准测试，通过使用不同语言、引入假工具或模拟网络中断来测试它。
- 统一词汇： 给AI界的每个人提供相同的语言来讨论这些失败，以便我们可以共同构建更好、更可靠的智能体。
简而言之： 论文声称，基础模型智能体（如高级聊天机器人）之所以在现实世界中表现不佳，并不是因为它们是某种“新颖”或“神奇”的存在，而是因为它们正遭受着物理机器人多年来面临的那些老问题。通过将这些经过验证的旧方案应用于新的AI智能体领域，我们可以构建出那些在离开实验室、进入我们混乱且不可预测的生活后，依然能够保持可靠的系统。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。