WildOS: Open-Vocabulary Object Search in the Wild

本文提出了 WildOS 系统，该系统通过结合基于稀疏导航图的安全几何探索与利用基础视觉模型（ExploRFM）的语义推理及粒子滤波定位方法，实现了在复杂无结构户外环境中无需先验地图的长距离、开放词汇目标搜索，并在实地实验中显著优于纯几何或纯视觉基线方法。

要点

这是一篇关于名为 WildOS 的机器人系统的论文。简单来说，它解决了一个大难题：如何让机器人在没有地图、没有 GPS、且环境非常复杂（比如荒野、废墟或城市街道）的地方，听懂人类的自然语言指令（比如“去找那个红色的房子”），并安全、聪明地找到目标。

为了让你更容易理解，我们可以把 WildOS 想象成一位**“拥有超级直觉和超强记性的探险家”**。

1. 核心挑战：盲人摸象 vs. 远见卓识

想象一下，你被蒙住了眼睛，只有一根短棍子（机器人的激光雷达）可以探测面前几米内的路。

• 传统机器人（几何派）：就像只拿着短棍子的人。它只能看到脚下的路，遇到障碍物就绕开，但不知道前面是死胡同还是通向宝藏的捷径。它只会盲目地朝目标方向走，结果经常撞墙或绕远路。
• 纯视觉机器人（视觉派）：就像眼睛很好但记性很差的人。它能远远看到“那边有条路”或“那边有个房子”，但它不记得刚才走过的路，经常在一个死胡同里来回转圈，或者重复走同一条路。

WildOS 的突破：它把“短棍子”（几何感知）和“千里眼”（视觉大模型）结合了起来，还加了一个**“超级记事本”**（导航图）。

2. WildOS 的三大“超能力”

A. 超级记事本：稀疏导航图 (The Navigation Graph)

• 比喻：想象你在探险时，每到一个路口就在地图上画一个点，并记下“这里我走过去了，前面是墙”或者“这里通向森林”。
• 作用：传统的地图太占内存，存不下整个荒野。WildOS 只记录关键的“路口”和“连接路径”。这让它拥有了长期记忆，知道哪些地方已经探索过了，避免在死胡同里打转。

B. 千里眼：ExploRFM (基于大模型的视觉模块)

• 比喻：这是 WildOS 的“直觉”。它基于类似 ChatGPT 或 DALL-E 那种强大的视觉大模型训练而成。
• 它能做什么：
  1. 看路：即使激光雷达看不到的远处，它也能通过图片判断：“那片草地是安全的，那片灌木丛过不去，那个水坑不能踩。”
  2. 找路：它能识别出“视觉前沿”（Visual Frontiers）。比如，在远处看到两棵树之间有个空隙，或者一条小路的尽头，它会说：“嘿，那边看起来像是个新地方，值得去看看！”
  3. 听懂人话：如果你说“找红色的房子”，它能直接在图片里把红色的房子圈出来，哪怕它离得很远。

C. 猜位置：粒子滤波三角定位 (Goal Triangulation)

• 比喻：当你远远看到一座山，但不知道它具体有多远时，你会移动位置，从不同角度观察，然后在脑子里大概估算出它的位置。
• 作用：当机器人看到目标（比如“水塔”）但激光雷达测不到距离时，WildOS 会利用多个角度的照片，像玩“猜谜游戏”一样，通过概率计算（粒子滤波）估算出目标大概在哪里。这让机器人即使目标在几百米外，也能制定一个“大方向”的路线。

3. 它是如何工作的？（探险过程）

1. 接收指令：人类说：“去前面找那个 NASA 的标志。”
2. 建立地图：机器人一边走，一边用“短棍子”（激光雷达）在周围几米内画地图，并把这些点连成一张**“导航网”**。
3. 用“千里眼”打分：
   • 机器人走到路口，看向远方。
   • 它的“千里眼”（ExploRFM）会分析远处的图片：左边是死路（灌木丛），右边是开阔地（草地），正前方远处有个像标志的东西。
   • 它给每个路口打分：去右边的路分最高（安全且通向新地方），去左边的路分最低。
4. 制定计划：
   • 机器人结合“记事本”（不去重复走的路）和“打分结果”（选高分的路），决定下一步往哪走。
   • 如果目标很远，它会根据刚才的“猜谜”结果，先朝那个大概方向走。
5. 遇到死胡同怎么办？：
   • 如果前面堵死了，因为“记事本”记得这条路已经试过了，它会立刻掉头，选择另一条之前没走过的、评分较高的路。而普通的机器人可能会一直撞墙或者原地打转。

4. 实验结果：它真的行吗？

论文作者在真实的野外和城市环境中做了大量测试：

• 找东西：它能听懂“找橙色旗帜”、“找高尔夫球车”甚至“找 NASA 标志”，并成功找到。
• 比对手强：
  • 比纯几何机器人快：因为它能提前看到远处的路，不会盲目撞墙。
  • 比纯视觉机器人稳：因为它有记忆，不会在死胡同里反复横跳。
• 适应性强：无论是在泥泞的野外、茂密的森林，还是复杂的城市街道，它都能工作，不需要重新训练。

总结

WildOS 就像是给机器人装上了**“人类的智慧”**：

• 它既有几何上的谨慎（确保脚下安全，不摔跟头）；
• 又有视觉上的远见（能看懂远处的路标和地形）；
• 还有大脑的记忆（记得走过的路，不犯同样的错误）。

这项技术让机器人不再只是冷冰冰的机器，而是变成了能在未知荒野中独立执行复杂任务的智能探险家。这对于未来的搜救、火星探测或无人巡检等领域具有巨大的潜力。

技术摘要

WildOS：野外开放词汇物体搜索系统技术总结

1. 研究背景与问题定义 (Problem Statement)

核心问题：
在大型、非结构化（unstructured）的户外环境中，机器人如何实现长距离、开放词汇（Open-Vocabulary）的物体搜索？即机器人仅依靠机载传感器（无先验地图、无全局定位），根据自然语言指令（如“寻找房子”或“找到 NASA 标志”）自主导航并定位目标。

主要挑战：

1. 感知范围受限：深度传感器（如 LiDAR）的有效探测距离有限（通常仅几米到十几米），超出此范围后深度信息稀疏或不可用，导致机器人无法感知远处的障碍物或路径。
2. 语义推理缺失：传统的基于几何的探索方法（如前沿点探索）仅关注空间连通性，忽略了图像中丰富的语义信息（如“可通行的草地”、“被树木遮挡的路口”），导致路径规划效率低下或陷入死胡同。
3. 长距离记忆与定位：在长距离探索中，机器人需要维护已探索区域的记忆，同时需要在深度传感器范围之外，仅凭视觉线索对远处目标进行粗略的三维定位（Coarse 3D Localization）。
4. 计算与资源限制：所有感知、规划和控制必须在机载计算机上实时运行，且无法依赖云端或外部通信。

2. 方法论 (Methodology)

WildOS 是一个统一的实时系统，通过几何感知与视觉语义推理的深度融合来解决上述问题。其架构包含五个核心组件：

2.1 导航图构建 (Navigation Graph Construction)

• 稀疏拓扑图：为了节省内存并适应长距离探索，系统构建了一个稀疏的导航图 $G_{nav}$。节点代表可到达的区域，边代表连通性。
• 状态维护：每个节点存储“自由半径”（到障碍物的距离）和“已探索半径”（周围环境的观测范围），利用符号距离场（SDF）更新。
• 几何前沿：识别已知空间与未知空间边界上的节点作为几何前沿（Geometric Frontiers），作为潜在的探索目标。

2.2 基础模型视觉模块 (ExploRFM)

• 核心模型：基于 RADIO 视觉基础模型（Vision Foundation Model），结合语言对齐能力。
• 多任务输出：给定 RGB 图像和文本查询，ExploRFM 同时预测三个密集图：
  1. 视觉可通行性图 (Visual Traversability)：判断图像像素区域是否安全可通行（如区分草地、水域、灌木）。
  2. 视觉前沿图 (Visual Frontiers)：识别图像中可能通向新区域的语义线索（如道路尽头、树丛间的开口）。
  3. 物体相似度掩码 (Object Similarity Mask)：定位与文本查询（如“房子”）语义匹配的图像区域。
• 优势：利用基础模型的泛化能力，无需针对特定环境重新训练即可理解复杂场景。

2.3 目标粗略定位模块 (Coarse Goal Localization)

• 粒子滤波三角测量：当目标在 LiDAR 范围之外时，系统利用多视角的物体相似度掩码，通过粒子滤波（Particle Filter）进行概率三角测量。
• 原理：从不同视角采样粒子，根据视线与目标掩码的重合度加权，估算目标的粗略 3D 位置 $\hat{p}_{goal}$。这使得机器人能在看到目标但无法精确定位时，仍能制定朝向目标的探索策略。

2.4 跨模态前沿评分 (Cross-Modal Frontier Scoring)

• 融合策略：将几何前沿节点投影到图像平面，利用 ExploRFM 的视觉输出对其进行评分。
• 评分函数：综合考量三个置信度指标：
  1. 目标置信度 (Goal Confidence)：前沿方向与估算目标方向的夹角。
  2. 可达性置信度 (Reachability Confidence)：基于视觉可通行性图计算的最短图像路径成本。
  3. 前沿置信度 (Frontier Confidence)：视觉前沿预测的可靠性。
• 无目标依赖评分：为了应对目标位置估计的更新，系统采用“无目标依赖”的多方向评分策略，为每个前沿节点预计算不同方向上的得分向量，避免频繁重算。

2.5 分层规划器 (Hierarchical Planner)

• 全局规划：在评分后的导航图 $G_{score}$ 上运行 Dijkstra 或 A* 算法。将粗略目标位置连接到所有几何前沿节点，边权重由视觉语义得分调节，从而规划出兼顾几何安全和语义意义的全局路径。
• 局部规划：将全局路径上的短期目标传递给局部规划器（如 ROS 2 Nav2），生成具体的运动控制指令。

3. 关键贡献 (Key Contributions)

1. WildOS 系统：首个将几何记忆（导航图）与基础模型视觉推理（ExploRFM）统一起来的实时系统，实现了长距离、开放词汇的物体搜索。
2. ExploRFM 模块：提出了一种基于基础模型的联合预测网络，能够同时输出可通行性、视觉前沿和物体相似度，支持机载实时决策。
3. 视觉评分导航图 (Vision-Scored Graph)：提出了一种新颖的拓扑映射方法，利用语义线索对几何前沿进行评分，优先探索视觉上有前景的区域，而非盲目跟随几何边界。
4. 超视距目标定位：设计了基于粒子滤波的三角测量方法，能够在深度传感器范围之外对开放词汇目标进行粗略 3D 定位，支持长距离规划。
5. 实地验证与数据集：在多种非结构化越野和城市地形中进行了大量闭环实地实验，证明了系统优于纯几何和纯视觉基线，并发布了新的视觉前沿标注数据集。

4. 实验结果 (Results)

实验在波士顿动力 Spot 四足机器人上进行，涵盖了越野和城市环境。

• 端到端物体搜索：
  • 在“寻找 NASA 标志”、“橙色旗帜”、“垃圾容器”等开放词汇查询任务中，WildOS 成功自主导航并定位目标。
  • 系统能够利用视觉三角测量在目标不可达时引导机器人接近，并在进入 LiDAR 范围后精确定位。
• 导航效率对比 (Q2)：
  • 与纯几何基线（Vanilla GraphNav）相比，WildOS 能更早识别被障碍物（如围栏）阻挡的路径，选择视觉上的“开口”，显著缩短了路径长度和耗时。
  • 与纯视觉基线（LRN）相比，WildOS 避免了因缺乏记忆导致的振荡行为（Oscillations），在死胡同场景中能成功回溯并选择替代路径。
• 鲁棒性与记忆 (Q3)：
  • 在死胡同测试中，纯视觉方法（LRN）因无法记住已探索区域而反复尝试死路，需要人工干预；WildOS 利用导航图记忆成功回溯并找到替代路径。
• 泛化能力 (Q4)：
  • 仅在 350 张图像上微调的 ExploRFM 头部，成功泛化到了未见的越野和城市环境，展示了基础模型特征的强大表达能力。

5. 意义与影响 (Significance)

• 填补空白：解决了长距离户外机器人探索中“几何安全”与“语义理解”难以兼顾的痛点。
• 基础模型落地：展示了视觉 - 语言基础模型（VLMs）在真实机器人系统中的应用潜力，证明了其可以驱动既具有语义感知又具备几何安全性的自主行为。
• 范式转变：从传统的“先建图后规划”或“纯反应式控制”，转向了“语义引导的拓扑探索”，为未来在未知环境中的搜救、巡检等任务提供了新的技术路径。
• 开源贡献：项目代码和标注数据集的公开将推动开放词汇导航和野外机器人研究的发展。

总结：WildOS 通过巧妙结合稀疏拓扑图的长期记忆能力与基础模型的长距离语义推理能力，成功实现了在复杂未知环境中的高效、鲁棒且具备人类直觉（如识别死胡同、寻找捷径）的自主导航。