Curiosity-Diffuser: Curiosity Guide Diffusion Models for Reliability

想象一下，你正在教一个机器人做一项新动作，比如杂耍或者开门。你向它展示一段人类完美完成该动作的视频。机器人的大脑（神经网络）试图模仿这些动作。这被称为“模仿学习”（Imitation Learning）。这就像一名学生为了通过考试而死记硬背教科书。但问题在于：如果考试题目与书本上的内容略有不同，会发生什么？在现实世界中，情况是混乱且多变的。机器人可能会遇到从未见过的场景，这时它的脑子可能会开始“产生幻觉”。它不会去寻找一种安全的、新的动作，而是会发明出一些疯狂、不可能的动作，导致它撞毁或掉落物体。这种不稳定性是一个巨大的问题，如果我们希望机器人能在我们的家庭或医院中安全工作的话。科学家们一直试图构建出不仅会死记硬背，而且知道自己在“瞎猜”并应当保持谨慎的机器人。

这篇论文介绍了一种巧妙的新方法，用来阻止机器人做出危险的动作。作者使用了一种被称为“扩散模型”（Diffusion Model）的 AI 类型——它就像一位聪明的艺术家，可以通过将随机噪声慢慢转化为清晰的图像来作画。他们创建了一个名为 Curiosity-Diffuser 的系统。把机器人的大脑想象成一个学习了一套特定练习题的学生。当这个学生面对一个新问题时，他可能会惊慌失措并胡乱猜测。Curiosity-Diffuser 为机器人添加了一个“好奇心计分器”。如果机器人尝试做一些与它所学到的内容相比显得过于陌生或怪异的事情，计分器就会报警。系统随后会温柔地引导机器人回到它已知有效的、安全的熟悉动作上，防止它误入危险领域。

研究人员通过两种方式测试了这个想法：首先是在计算机模拟中，机器人需要行走或穿越迷宫；其次是在现实世界中，使用真实的机械臂。他们发现，通过使用这种“好奇心引导”，机器人变得更加可靠。在模拟实验中，机器人犯错更少，并且能更好地保持在练习过的安全路径上。在现实世界中，当被要求关闭柜门或堆叠积木时，这种新方法帮助机器人的成功率达到了 85%，而旧方法仅为 10% 左右。论文指出，通过教会机器人识别自己何时“力不从心”并将其引导回安全区域，我们可以制造出更不容易引发事故的智能机器。

好奇机器人的故事

问题所在：机器人的白日梦
想象你是一个名叫 Robo 的机器人。你通过观察人类开门 100 次来接受训练。你知道如何抓握把手并推开。但有一天，门变得稍微重了一些，或者你的手位置稍微偏了一点。你的大脑（本质上非常擅长模仿所见之物）开始感到恐慌。它不知道该怎么办，于是开始“产生幻觉”。它可能会决定用肘部去推门，或者尝试跳过门，或者只是原地转圈。这些都是“幻觉”——即看起来可能有效但实际上毫无意义的动作。在现实世界中，这是很危险的。如果机器人在拿着沉重的工具时产生幻觉，可能会伤到人。

解决方案：好奇心指南针
本文的作者意识到，机器人需要一种检查自身信心的方法。他们借鉴了来自“强化学习”领域的一个概念，叫做 随机网络蒸馏（Random Network Distillation, RND）。让我们用一个简单的类比来拆解它。

想象你有一个“老师”和一个“学生”。

• 老师是一个随机且固定的脑子，它不学习任何东西。它只是观察一个情况并给出一个随机答案。
• 学生是一个会学习的脑子。它试图预测如果老师看到同样的情况，老师会给出什么样的答案。

当学生看到一个练习过很多次的场景（比如开门）时，它可以完美地预测老师的答案。两者之间的差异微乎其微。但当学生看到一个奇怪的新场景（比如沉重的门）时，它会感到困惑。它的猜测与老师的随机答案完全不同。这个巨大的差异就是“好奇心”得分。高好奇心意味着“我不了解这个！”低好奇心意味着“我以前见过这个；我是安全的。”

Curiosity-Diffuser 如何运作
论文将这种“好奇心指南针”与一个强大的工具——扩散模型结合在一起。通常，扩散模型就像一位雕塑家，从一块噪声块开始，通过不断剔除部分直到出现一座雕像。在机器人技术中，“雕像”就是一套关于如何移动的计划。机器人生成许多可能的计划，从混沌开始，并逐渐细化。

作者增加了一个转折：他们告诉扩散模型，“在你通过剔除噪声来制作计划时，请时刻留意你的好奇心指南针。”

• 如果计划开始看起来像是机器人从未见过的东西（高好奇心），指南针就会将计划推回向熟悉的方向。
• 如果计划看起来安全且熟悉（低好奇心），指南针则让它继续进行。

这就像是在雕塑家身边站着一位教练。如果雕塑家开始雕刻一个奇怪、不可能的形状，教练会说：“喔，这看起来和练习照片完全不一样。让我们尝试一个更接近原型的形状。”

结果：更安全、更聪明的机器人
团队主要通过两种方式测试了这一点：

1. 在计算机世界中（模拟）： 他们使用了需要在地板上行走或在迷宫中导航的虚拟机器人。

   • 在 MuJoCo 任务（虚拟行走机器人）中，新方法帮助机器人表现得更好，尤其是在训练数据质量很高的情况下。
   • 在 AntMaze 任务（虚拟蚂蚁在复杂迷宫中导航）中，结果更加令人印象深刻。如果没有好奇心引导，其他机器人几乎完全失败，要么被卡住，要么到处乱逛。Curiosity-Diffuser 帮助虚拟蚂蚁更频繁地找到目标。例如，在 AntMaze 的 “Play” 组中，新方法的成功率为 58.6%，而其他方法几乎无法超过 8%。

2. 在现实世界中： 他们使用了一个真实的机械臂，并教会了它两个任务：

   • 用锤子关门（Hammer Close Door）： 使用一把锤子将柜门推向关闭状态。
   • 积木排序（Block Ranking）： 拿起一个红色的积木，并把它叠在一个绿色的积木上面。
   • 他们通过改变起始位置等方式对机器人进行了测试。
   • 旧方法（如标准的模仿学习）成功率仅为 50% 左右。
   • 新的 Curiosity-Diffuser 成功率达到了 85%。它更加稳定，不会陷入僵局或做出疯狂、不安全的动作。

“K-Sim”得分：衡量安全性
作者还发明了一种衡量机器人动作是否“安全”的新方法，称为 K-Sim。

• 想象你有一张涵盖机器人曾经去过的所有安全区域的地图。
• 当机器人移动时，K-Sim 会检查：“这个新动作距离安全地图有多远？”
• 得分接近 1.0 意味着机器人正紧贴着安全路径行驶。
• 得分接近 0 意味着机器人正在进入未知的、危险的领域。
• Curiosity-Diffuser 在迷宫测试中始终获得了较高的 K-Sim 得分（平均约为 0.827），证明它确实让机器人保持在熟悉的领域内。

注意事项
论文谨慎地指出，这并不是解决一切问题的万灵药。“好奇心权重”（机器人听从指南针的程度）必须恰到好处。如果机器人过于听从指南针，它会变得不敢尝试任何新事物，从而可能无法完成任务。如果它听得太少，它仍可能产生幻觉。作者找到了一个“甜点位”（Sweet Spot），即机器人能够平衡安全与效率。

为什么这很重要
这项研究表明，通过赋予机器人一种衡量自身对某种情况“熟悉度”的能力，我们可以阻止它们做出危险的动作。这是构建不仅聪明，而且谦逊且谨慎的机器人的重要一步——让它们知道自己何时力不从心，并坚持做那些已知有效的事情。虽然论文在模拟和现实测试中展示了优异的结果，但作者也指出，仍需进一步研究，以使这些系统在应对我们复杂世界的各种可能情况时更加稳健。