PRISM: Multimodal Terrain Mapping for Rover Navigation in Unstructured Environments

想象一下，一个机器人漫游车正试图穿越一片荒野、多石的地带，那里没有道路，没有路标，也没有 GPS 信号来引导它。这是被派往地球深处荒野或火星等地的机器人每天面临的挑战。为了生存，这些机器人需要“情境感知能力”——这是一个高级说法，意思是指它们需要确切地知道轮下是什么，以及前方有什么。如果它们把一片松软的沙地误认为是坚实的地面，它们可能会被困住；如果它们认为一个陡坡是平坦的，它们可能会翻车。

通常，机器人依赖于能看到可见光（像我们的眼睛一样）的摄像头和测量距离的深度传感器（像蝙蝠的回声定位一样）。但在荒野中，仅仅像人类一样观察是不够的。有时，两样东西在肉眼看来完全一样，但在触感或热量上却截然不同。这就是一种特殊的“超级视觉”发挥作用的地方：将标准视觉与热成像技术相结合。热成像摄像头可以捕捉热量，这可以揭示地面是干燥的沙子还是紧实的泥土，即使它们看起来颜色一模一样。这个核心问题是科学家们正在探讨的：我们能否教会机器人将这些不同的感官融合在一起，从而在最混乱的环境中做出更安全、更智能的决策？

---

论文的核心思想：赋予机器人“热感”

在这篇论文中，一个研究小组介绍了一种名为 PRISM（用于 RGB、红外和空间制图的感知系统）的新系统。可以将 PRISM 想象成机器人漫游车的一副高科技眼镜，让它能同时看到三维世界：色彩、深度和热量。

如今大多数机器人就像戴着眼罩的人，只能看到黑白或标准的彩色。它们可能看到了岩石，但仅凭视觉无法分辨那是一块光滑湿滑的石头，还是一块嶙峋危险的巨石。PRISM 通过加入热成像摄像头改变了游戏规则。这就像是给了机器人一副既能夜视又能感知体温的热成像护目镜。这使得机器人能够区分那些在普通摄像头看来完全相同、但热特性不同的地形。例如，松散的沙质土壤在阳光下升温的速度可能比紧实的硬土更快。标准摄像头将两者都视为“棕色泥土”，而热成像摄像头则能通过温度差异看出区别，从而帮助机器人知道哪条路径可以安全行驶。

它是如何工作的：机器人的大脑与眼睛

研究人员为他们的测试机器人 RAT（漫游车自主测试平台）构建了一个定制的“传感器套件”。该装置包括一个标准的 3D 摄像头（可以看到颜色和深度）和一个热成像摄像头，它们被安装在一个特殊的 3D 打印盒中，以保持完美的对齐。

奇迹发生在软件层面，具体来说是一种他们称为 OmniUnet 的新型 AI 模型。你可以将 OmniUnet 想象成一位正在品尝汤品的超级聪明的大厨。大厨不仅是在品尝味道（颜色），还在同时感受温度（热量）和质地（深度）。通过结合这三种“食材”，AI 可以创建一张详细的地形图。它不仅仅是说“那里有地面”；它会说：“那片是草”、“那片是岩石”，以及“那片是危险的灌木丛”。

一旦 AI 识别出地形，系统就会构建一张可通行性地图（Traversability Map）。这就像是一个电子游戏地图，其中的每个方格都被分配了一个“难度分值”：

• 障碍物： 像陡峭悬崖或无法辨认的物体会被赋予“无限成本”的分值，告诉机器人：“不要去这里！”
• 可通行： 安全路径会被赋予低分。
• 转折之处： 该系统足够聪明，能够意识到有时一片高高的草丛在 3D 摄像头看来就像一堵实墙，但 AI 知道那只是草，因此会让机器人驶过。相反，它可能会发现一块看起来很小的岩石，但实际上高到无法攀爬，从而将其标记为危险。

现实世界的测试：在荒野中驾驶

为了证明这不仅仅是计算机模拟，团队将他们的机器人带到了现实世界。他们在两个不同的地点对其进行了测试：

1. 巴德纳斯半沙漠（Bardenas Semi-Desert）： 西班牙的一个干燥、多石的区域，看起来非常像火星表面。
2. LAENTIEC： 马拉加大学的一个测试场，那里有泥土、碎石和草地。

他们不仅仅是在计算机上运行机器人，而是将其安装在实体漫游车上并让其自主行驶。机器人必须每隔 5 米停下来更新地图并规划下一步行动，同时运行在一个适合安装在机器人上而非超级计算机上的小型、高能效计算机（Jetson Orin Nano）上。

他们的发现

结果非常令人振奋。OmniUnet AI 能够以极高的准确度正确识别地形类型。

• 在 Bardenas 数据集（类似火星的岩石和沙地）上，系统正确分类像素的概率约为 80.37%。它在识别“紧实”（最安全类型）地面方面的准确率达到了 77.44%。
• 在 LAENTIEC 数据集（长满草的泥地区域）上，它的表现甚至更好，准确率达到了 92.85%。

然而，论文也诚实地指出了局限性。该系统在识别岩石方面稍显吃力，在 Bardenas 测试中的正确率仅为 18.40%。作者认为这是因为岩石的热特征会根据阳光和阴影的变化而产生很大差异，使得 AI 难以一致地识别它们。

总结

PRISM 并不是解决所有问题的万灵药，但它是向前迈出的重要一步。作者展示了通过加入热视觉，机器人可以比以往任何时候都更清晰地观察世界，从而区分标准摄像头会错过的安全路径与隐藏危险。他们成功证明了这一复杂的系统可以在小型、低功耗计算机上运行，证明了未来的自主漫游车可以无需人类每一步的引导，就能在火星或地球的严酷、无结构地形中穿行。他们使用的代码和数据现在已向所有人开放供研究，为未来的机器人学习如何使用它们的“热感之眼”铺平了道路。