想象一个由被称为无人机的小型飞行机器人组成的协作世界,它们共同守护着野生动物、监测建筑工地,或搜寻处于困境中的人员。这些机器非常有用,但它们有一个共同的局限性:电池会耗尽。单个无人机无法永远在空中停留。为了解决这个问题,工程师们长期以来一直梦想着一种系统,即一个无人机可以将监视特定目标的任务交给另一架充满电的新无人机,从而让第一架无人机可以降落充电,同时确保任务不间断地进行。然而,挑战不仅在于寻找一台新无人机,更在于确保新无人机看到的正是第一架无人机正在追踪的那个人、动物或物体。因为两架无人机都在移动,它们从不同的角度和距离观察世界。对于一个无人机来说,一个人可能显得渺小而遥远;但对于另一个无人机,那个人可能显得高大而近在咫尺,或者那个人可能被其他看起来非常相似的人所环绕。如果第二架无人机抓错了目标,任务就会失败。
麦考里大学的研究人员开发出了一种名为 PATH 的新方法,用以解决这种在飞行机器人之间“传递接力棒”的棘手问题。该系统并非依赖于在全球卫星定位(这在城市或森林中可能并不可靠),也不是试图通过匹配目标的视觉外观(就像人类识别面孔那样),而是利用简单的几何学和一些数学计算,来确保两架无人机对所见之物达成共识。这一过程始于第一架无人机(发送方)识别出一个目标,并测量其在三维空间中的距离和位置。随后,它将此位置数据发送给第二架无人机(接收方)。接收方可以通过看到第一架无人机上的一个特殊标记,从而精确获知自己相对于发送方的相对位置,并利用这一信息计算出目标应该出现在其自身相机视野中的什么位置。它本质上是在脑海中绘制了一张关于该去哪里寻找目标的地图。
一旦第二架无人机在预测的位置附近发现了一个潜在目标,它并不会直接假设那就是正确的那个。相反,它会将自己发现的目标描述发回给第一架无人机。第一架无人机随后会检查这个新描述是否与它当前所见的内容相符。这种检查被称为“相互协议握手”(Mutual Agreement Handshake)。系统会等待两架无人机对目标达成持续确认的时间——大约七秒钟——之后,才会正式将追踪职责移交。这确保了交接不会因为瞬间的故障或视觉错觉而导致错误。
研究人员在室内外使用真实的无人机进行了测试,追踪的对象包括小型机器人车和行走的人类。在其中一组测试中,他们创造了一个困难的情景:几个人穿着完全相同的衣服,使得无人机几乎不可能仅通过观察面部或衣服来区分他们。在这些混乱的情况下,这种新方法表现得异常成功。它能正确识别目标目标的成功率高达 96%,而依赖视觉特征匹配的旧方法则经常会产生混淆并选错人。该系统还证明了其高效性,只需在无人机之间传输极少量的数据,就能在小型、低功耗的计算机上流畅运行,且不会拖慢运行速度。
该研究还仔细研究了可能出现问题的地方。研究人员发现,最主要的误差来源并非距离测量,而是对于两架无人机相对于彼此的方位(朝向)了解不够精确。然而,即使存在这些微小的误差,该系统仍然足够稳健,能够胜任这项任务。该方法无需在被观察的目标上安装任何特殊设备,因此适用于观察野生动物等需要避免干扰的微妙情况。通过专注于无人机与目标之间的几何关系,而非试图识别目标的特征,研究人员创造了一种可靠的方式让飞行机器人进行协作。这种方法为延长无人机任务寿命提供了一个实用的解决方案,确保当一个机器人感到疲劳时,另一架可以无缝接管监视工作,而不丢失目标。
技术摘要:PATH(透视对齐与跟踪交接)
问题陈述
无人机(UAV)的连续目标感知往往受限于有限的飞行续航能力,因此需要通过协作作业,将跟踪责任从发送方无人机(D1)转移到接收方无人机(D2)。核心挑战在于“交接”过程:D2 必须能够从不同的、随时间变化的视角,识别并获取与 D1 当前跟踪的完全相同的物理目标。现有方案面临显著局限性:
- 全局定位: 依赖全球 GNSS 坐标在区分间距较近的目标时往往不足,因为存在多路径误差、信号遮挡以及对基础设施(如 RTK)的需求。此外,全局位置无法直接解决多个相邻观测值中哪一个对应于发送方目标的问题。
- 主动指示: 基于激光的指定需要额外的物理指向机制,并且可能会干扰野生动物或干扰光学传感,限制了其在被动观察场景中的应用。
- 基于外观的关联: 特征匹配或学习型重识别在视角和尺度发生剧烈变化、视觉特征微弱或存在视觉相似干扰项的情况下表现不佳。这些方法还对机载硬件造成沉重的计算负担。
方法论:PATH 框架
本文提出了 PATH(Perspective Alignment & Tracking Handoff),这是一个与平台无关、基于几何辅助的框架,旨在无需对目标进行仪器化处理或依赖全局定位的情况下,实现目标交接的验证。该系统通过以下五个步骤运行:
- 局部坐标系建立: D2 观测安装在 D1 上的特征标记(fiducial marker),以估计两架无人机在锚定于 D1 的交接局部坐标系(Fv)下的相对位姿(vT2)。
- 3D 目标重建: D1 利用机载 RGB-D 感知(Intel RealSense D415)将跟踪的目标重建为一个度量 3D 点(vXt)。这包括对像素坐标进行去畸变处理、应用深度测量,并将该点从 D1 相机坐标系转换到局部坐标系 Fv 中。
- 空间先验投影: D1 将 3D 目标点传输给 D2。D2 将该点转换到自身的相机坐标系中,并将其投影到其图像平面,从而创建一个用于目标获取的空间先验(预测的像素位置)。
- 候选目标获取: D2 在预测位置周围运行其局部检测器,以生成候选边界框(B2c)。至关重要的一点是,D2 并不 传输原始图像或特征描述符;它仅返回边界框坐标。
- 相互协议握手: D2 将候选边界框传回 D1。D1 将该框转换到自身的图像帧中,并根据相对深度和焦距调整尺寸。随后,D1 计算变换后的候选框与其自身活跃目标框之间的交并比(IoU)。
- 验证: 只有当 IoU 连续 N 帧(例如,在 50 Hz 下持续 350 帧)超过自适应阈值(根据表观目标大小缩放)时,交接才被确认。这种时间一致性可以防止瞬时误差触发错误的交接。
核心贡献
- 公式化: 作者将协作式无人机交接定义为一个跨视角感知问题,要求在责任转移前验证是否为 同一个 物理目标。
- 几何框架: 开发了 PATH,它结合了 RGB-D 目标重建、基于特征标记的相对位姿估计以及跨视角投影技术来传输目标位置。它以几何一致性验证取代了外观匹配。
- 实现与评估: 在异构无人机平台(DJI Tello 和自定义 Pixhawk/Jetson Nano 四旋翼无人机)上进行了全面的评估,涵盖了几何精度、视觉模糊情况下的目标获取、传感器敏感度以及机载资源使用情况。
实验结果
- 几何精度: 在受控的静态室内实验(420 次测量)中,PATH 实现了 0.047 m 的平均相对位置误差和 0.030 m 的平均目标位置误差。
- 目标获取精度: 在具有视觉歧义条件的室外实验(多名穿着相似服装的人类)中,PATH 实现了 96.0% 的帧级接收方目标获取准确率。其**误报率(false-positive)和漏报率(false-negative)**均为 2.0%。
- 对比: 这显著优于基于外观的基准方法:ORB(漏报率为 62.1%)和 XFeat(误报率为 15.4%)。
- 传感器敏感度: 分析表明,相对位姿不确定性(来自特征标记)是投影误差的主要贡献因素,而非目标深度误差。
- 系统性能: 该系统在资源受限的硬件(Jetson Nano)上以视频速率(30–60 Hz)运行,交接逻辑仅使用 CPU 处理。无人机间的通信极其轻量(<16 kB/s),仅传输紧凑的几何数据(3D 点和边界框),而非视频流或特征描述符。
- 交接延迟: 在成功的交接案例中(45 次尝试中的 42 次),在首次满足 IoU 阈值后,中位提交时间(time-to-commit)为 7.20 秒,且具有较低的时间抖动。
意义与主张
本文声称 PATH 提供了一种经过验证、轻量化且鲁棒的机制,用于在无人机之间转移目标跟踪。其主要意义在于:
- 脱离对全局基础设施的依赖: 它避免了对高精度 GNSS 或主动激光指定的依赖,使其适用于全局定位退化或需要被动观察的环境。
- 对歧义的鲁棒性: 通过使用几何先验来约束搜索空间,它有效地处理了基于外观的方法失效时的视觉歧义问题。
- 资源效率: 它证明了可以通过极低的计算和通信开销实现准确的交接验证,从而为检测和控制任务保留机载资源。
- 验证层: 它作为现有检测器的补充验证层,确保接收方在交接最终完成前正在跟踪正确的目标,而不是取代检测算法本身。
作者也指出了局限性,包括对特征标记可见性的依赖以及对相对位姿误差的敏感性,并建议未来的研究方向包括无标记位姿估计和处理遮挡问题。
每周获取最佳 computer science 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题,再试一次?
无垃圾邮件,随时退订。