Counterfactual Reasoning and Environment Design for Active Preference Learning
本文介绍了 CRED，一种新颖的主动偏好学习框架，它通过利用反事实推理来共同优化环境设计与轨迹选择，从而生成多样且具有信息量的查询，用于人类偏好排序，以此增强长程机器人任务中的奖励估计。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教一个机器人如何在世界中导航，但你不能直接给它一本规则手册。你不能说“始终走最快的路线”或“绝不要穿过草地”，因为现实生活是复杂多变的。有时你想要速度，即使这意味着颠簸；而有时你想要安全，即使这会耗费更长时间。这就是**偏好学习（Preference Learning）**的核心：在这个领域，机器人不是通过被告知来学习人类的需求，而是通过观察人类在不同选项之间进行选择来学习。把它想象成餐厅里的试吃员：机器人并不知道你更喜欢辣的还是甜的，直到它向你展示两道菜并问道：“哪一个看起来更好？”
然而，这里有一个问题。如果机器人只是随机向你展示两条路径，它可能会浪费你的时间，去询问那些显而易见的糟糕路径或完全相同的路径。这被称为主动偏好学习（Active Preference Learning）。目标是要成为一个聪明的面试官：通过询问“正确的问题”，尽可能快地了解你的真实偏好。但在复杂的长途旅行中，弄清楚该问哪些问题是非常困难的。机器人经常陷入猜测，无法学习你独特的决策风格，尤其是在遇到它从未见过的全新、陌生的环境时。
这正是论文中介绍 CRED 的地方，它是一个巧妙的新方法，充当了机器人的“超级想象力引擎”。研究人员 Yi-Shiuan Tung、Bradley Hayes 和 Alessandro Roncone 提出，机器人不应只询问当前的场景，而应该“想象”新的世界，并提出“如果……会怎样？”的问题。
以下是 CRED 的工作原理，使用一个简单的类比：想象一下你正在试图猜出朋友最喜欢的冰淇淋口味。普通的机器人可能只会一遍又一遍地问：“你喜欢香草还是巧克力？”然而，CRED 则不同。首先，它使用反事实推理（Counterfactual Reasoning）。它会自问：“如果我的朋友非常喜欢薄荷味但讨厌巧克力呢？那么他们会如何选择？”它在脑海中模拟这些“如果……会怎样”的情景，创造出一系列多样化的虚拟选择，涵盖了其朋友思考方式的所有可能性。这有助于机器人生成更有趣的问题，而不是枯燥、重复的问题。
其次，CRED 使用了环境设计（Environment Design）。想象一下，你的朋友只有在用精致的碗盛装时才喜欢巧克力，但在用普通杯子时则喜欢香草。如果你只用普通杯子提供食物，你永远无法了解他们真正的偏好。CRED 意识到，环境本身很重要。它会“想象”改变环境——比如把一片草地变成碎石路，或者在模拟中改变天气——以观察这会如何改变选择。通过调整世界本身，机器人可以找到最完美的场景，通过提问来揭示你最多的偏好信息。
研究人员通过两种方式测试了这个想法。首先，他们在包含沙地、草地和碎石等不同地形的数字网格世界中进行了测试。其次，他们使用了来自 OpenStreetMaps 的真实世界地图数据来模拟配送路线。他们将 CRED 与其他仅挑选随机路径或局限于当前环境的顶尖方法进行了对比。
结果令人振奋。在模拟中，CRED 学习到“真实”偏好的速度比其他方法更快。当其他机器人大约需要 25 次尝试才能摸清规律时，CRED 通常只需 15 次迭代就能收敛。更重要的是，当机器人被丢入一个它从未见过的全新环境时，CRED 学习到的规则表现得更为出色。它不仅仅是记住了练习过的特定道路，它学习的是偏好的逻辑，从而实现了泛化。例如，在地图测试中，与表现最好的前代方法相比，CRED 大幅降低了奖励预测的误差，在某些情况下甚至达到了近乎完美的准确度。
论文指出，通过将“如果……会怎样”的思考方式与重新设计世界的能力相结合，机器人可以更好地理解我们。它们不需要被告知每一条规则；它们可以通过探索可能性空间（包括我们的选择以及我们所生活的世界）来学习我们的价值观。虽然目前该方法需要强大的计算能力来运行这些模拟，但作者认为，这种方法可能是让机器人真正适应人类需求并走向现实世界的关键。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。