🤖 machine learning

Co-GLANCE: Uncertainty-Aware Active Perception for Heterogeneous Robot Teaming

Co-GLANCE 是一个用于异构机器人团队的实时车载系统，它将视觉语言模型的推理能力提炼为高效的端到端模型，并利用符合性预测来量化感知不确定性，从而实现统计有效的主动感知，在准确性和延迟方面显著优于基于云端的基准方案。

原作者： Michal P. Podolinsky, Neel P. Bhatt, Pranay Samineni, Rohan Siva, Christian Ellis, Ufuk Topcu

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Michal P. Podolinsky, Neel P. Bhatt, Pranay Samineni, Rohan Siva, Christian Ellis, Ufuk Topcu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在一个茂密、杂乱的森林中领导一场救援任务。你拥有两种类型的助手：一个在高空飞行的无人机，和一个在地面行走的四足机器人。

问题在于，它们各自都无法看到全部景象。

无人机能看到大局，但会被树枝挡住视线，也看不见灌木丛下方隐藏的东西。
地面机器人可以在灌木丛下穿行，但无法看到高墙之上或茂密树木之后的景象。

如果它们只是靠猜测来处理隐藏区域，可能会错过处于危险中的人，或者在空旷处浪费时间。这篇论文介绍了一种名为 Co-GLANCE 的新系统，旨在解决这个“盲区”问题。

以下是该系统的运作方式，通过简单的概念进行拆解：

1. “聪明的大脑” vs. “轻量化工人”

通常情况下，为了弄清隐藏区域的情况，你可能需要一个超级强大的计算机大脑（称为视觉语言模型，Vision-Language Model）来进行“思考”。但这个大脑过于沉重且缓慢，无法安装在机器人上；它必须将数据发送到云端并等待答案，这太耗时了。

Co-GLANCE 的解决方案： 他们教会了一个小型、快速、轻量化的机器人大脑（一种蒸馏模型）如何进行思考。

类比： 想象一位主厨（强大的云端大脑）正在教一位副厨（机载机器人）如何烹饪一道复杂的菜肴。副厨把食谱学得如此透彻，以至于他们可以直接在厨房里瞬间完成烹饪，而不需要每一步都打电话请教主厨。
结果： 机器人现在可以瞬间识别出“遮挡”（隐藏区域），并决定由哪个机器人去检查，且无需依赖互联网连接。

2. “自我修正”技巧

在教导小型机器人时，团队不仅仅是复制主厨的笔记。他们增加了一个自我审查步骤。

类比： 就像主厨画了一张隐藏区域的草图，但这张草图有点乱。在副厨学习之前，主厨会重新审视这张草图并说：“等等，这条线错了，改一下，”或者“你漏掉了这里。”
结果： 这种“第二次观察”让训练数据变得更加干净，因此小型机器人比仅仅复制混乱笔记的学习方式要准确得多。

3. “置信度计” (不确定性量化)

这是最重要的部分。该系统不仅仅是猜测，它知道自己有多确定。

类比： 想象一名保安正在检查身份证件。
- 高置信度： 如果证件看起来完美无缺且此人看起来很熟悉，保安会说：“请进，”并立即放行。
- 低置信度： 如果证件模糊不清或者此人看起来很可疑，保安不会瞎猜。相反，他们会说：“我不确定。我需要第二个意见。”
Co-GLANCE 如何利用这一点：
- 如果机器人对某个隐藏区域非常有把握，它会派遣正确的机器人去检查。
- 如果机器人不确定，它会触发“主动感知”（Active Perception）。这意味着它会自动派遣地面机器人（或两台机器人一起）去近距离观察，以消除困惑。它绝不会在危险的情况下盲目猜测。

4. “团队集结” (机器人分配)

一旦系统发现了隐藏区域，它必须决定派谁去检查。

类比： 想象一位教练在决定谁担任哪个位置。
- 如果隐藏点在低矮的屋檐下，只有地面机器人能钻进去。
- 如果是在简单的墙后，无人机（从上方飞过）或地面机器人（绕行）都可以完成任务。
- 如果是一个极其复杂的混乱区域（比如墙后的茂密灌木丛），系统可能会决定派两台机器人一起行动以确保安全。
结果： 系统会将任务分配给能力最匹配的机器人，从而节省时间和能量。

他们证明了什么？

团队在有树木、建筑和障碍物的真实户外环境中测试了该系统。

速度： 由于“大脑”现在变得小巧且内置于机载设备，该系统的速度比向云端发送数据快了 350 倍。
准确性： 与缓慢的云端方法相比，它在识别隐藏区域方面的表现提升了 25%，在分配正确机器人方面的表现提升了 36%。
可靠性： 他们发布了一个新的数据集（收集了来自两种机器人的真实世界照片），以便其他研究人员测试类似的构想。

简而言之： Co-GLANCE 是一个让不同类型的机器人能够在野外协同工作的系统。它利用快速的机载“大脑”来发现视觉盲区，清楚地知道何时感到不确定，并能瞬间派遣合适的机器人去进行更清晰的观察，且全程无需 Wi-Fi 信号。

技术摘要：Co-GLANCE

问题陈述

异构机器人团队（特别是空地组合）在非结构化户外环境中运行时，由于遮挡问题面临显著的感知不确定性。单一视角无法提供可靠的场景理解；例如，植被可能会阻挡无人机的视线，但对地面机器人而言是透明的；而对于地面机器人而言看似微不足道的障碍物，从上方观察时可能完全遮挡视线。解决这些不确定性需要基于场景的上下文推理（以理解隐藏的内容）和具备能力感知的机器人分配（决定哪种机器人最能解决遮挡问题）。

虽然视觉语言模型（VLM）为这种推理提供了强大的语义先验，但它们在车载部署方面存在三个关键局限性：

计算能力受限： 对于实时车载推理而言，它们的计算量过于庞大。
云端依赖： 它们通常需要基于云端的推理，这会引入延迟和连接性问题。
未校准的不确定性： 它们缺乏统计学上有效的确定性量化，导致其在执行安全关键型主动感知决策时不可靠。

现有的主动感知方法通常依赖于启发式或未校准的置信度，无法在何时真正需要额外感知方面提供保证。

方法论：Co-GLANCE

作者引入了 Co-GLANCE，这是一个旨在解决异构机器人团队中感知不确定性的实时、车载感知与决策框架。该系统通过三个核心组件运行：

1. 基于上下文自我审查的知识蒸馏

为了消除对云端的依赖，Co-GLANCE 将大型 VLM 的语义推理能力蒸馏到一个轻量级的、端到端的 YOLO-seg-nano 模型中，用于车载推理。

流水线： 该过程始于 VLM 从航空帧中生成遮挡关键词，随后将其传递给开源词汇分割模型以创建候选掩码（masks）。
上下文自我审查： 意识到 VLM 生成的掩码往往与目标区域不匹配，系统采用了多轮对话机制。候选掩码被反馈给 VLM，由其执行“自我审查”以移除错误的掩码、精细化错位的区域、提出新的关键词，并分配平台分配标签（ground 地面、both 两者或 either 其中之一）。
训练： 轻量级模型在这些精炼的伪标签上进行训练，使其能够在单次前向传播中完成遮挡分割和机器人分配任务。

2. 两阶段不确定性量化

为了在无需云端推理的情况下确保可靠性，Co-GLANCE 结合了选择性弃权（selective abstention）和符合性预测（conformal prediction），以提供具有统计学效力的覆盖保证。

第一阶段（风险控制）： 使用选择性弃权来识别高置信度的预测。如果预测的置信度超过校准阈值 ( $\hat{\lambda}$ )，则将其接受为“单例（singleton）”决策，并具有保证的误差率（例如 $1-\alpha$ ）。
第二阶段（覆盖控制）： 对于低于阈值的预测（即弃权情况），系统应用符合性预测来生成预测集。这确保了真实标签以指定的概率（ $1-\epsilon$ ）包含在集合内，从而提供一个统计学上有效的备选方案，而非随机猜测。

3. 不确定性驱动的主动感知

校准后的不确定性估计直接驱动机器人调度：

高置信度： 如果第一阶段确认了一个单例预测（例如，“存在遮挡，需要地面机器人”），系统将继续执行分配的计划。
低置信度/弃权： 如果系统发生弃权（不确定性过高），则触发主动感知。
- 对于机器人分配，弃权会触发向该区域同时派遣两类机器人以确保覆盖。
- 对于目标检测，弃权会派遣地面机器人以获取更近的视角。
- 系统通过异构车辆路径问题（HVRP）求解器进行路径规划，在尊重平台约束（例如，地面机器人的遍历成本权重更高）的同时最小化行驶成本。

核心贡献

车载不确定性感知： Co-GLANCE 是首个将 VLM 推理能力（用于遮挡分割和机器人分配）蒸馏到轻量级车载模型中的系统，其遮挡检测准确率比基于云端的 VLM 基准高出 25%，机器人分配准确率高出 36%。
用于主动感知的校准不确定性： 通过将选择性弃权与符合性预测相结合，该系统为分割、分配和检测输出提供了统计学上有效的保证，从而仅在必要时触发主动感知。
上下文自我审查机制： 一种新颖的多轮精炼过程，提高了 VLM 生成的监督信息的连贯性，显著提升了其相对于标准 VLM 基准的召回率和分配准确率。
真实世界部署与数据集： 作者在真实的空地团队（DJI Matrice 600 和 Boston Dynamics Spot）上验证了该系统，并发布了一个包含超过 4,000 个同步帧的多模态空地数据集，填补了现有文献中常依赖模拟或同构团队的空白。

实验结果

在具有自然植被和基础设施的半结构化户外环境中进行了评估：

准确性： Co-GLANCE 在遮挡检测方面比云端 VLM 基准（ChatGPT-5.4 + Grounding DINO + SAM）高出 25%，在机器人分配准确性方面高出 36%。
效率： 蒸馏后的模型将每帧推理延迟降低了 350倍（从 >13 秒降至 37 毫秒），并完全消除了 API Token 的使用。
不确定性校准： 两阶段方案成功地将误差率维持在目标范围内（例如，分配误差 $\le$ 15%），同时管理了弃权率（分配约为 10%，人员检测约为 50%）。
数据集： 发布的数据集包含来自两个平台的同步 RGB、RTK GPS 和 IMU 数据，支持未来的异构感知研究。

意义

论文指出，Co-GLANCE 证明了在无需依赖云端连接的情况下，在异构机器人团队中实现复杂语义推理的实际、实时部署的可行性。通过蒸馏 VLM 能力并严格量化不确定性，该系统弥合了高层语义推理与安全关键型主动感知可靠性要求之间的差距。作者将这项工作定位为迈向在单视角可靠性不足的非结构化环境中实现自主运行的一步。

局限性

作者承认存在若干局限性：

评估是在半结构化环境中进行的，且机器人数量有限（一架飞行器，一辆地面机器人）。
主动感知策略是启发式的，并未与下游规划目标进行联合优化。
蒸馏后的模型可能会继承用于训练的 VLM 生成的伪标签中的偏差。