Towards Collaborative Joint Perception and Prediction: Framework, Baseline Evaluation, and Deployment Perspectives

想象一下，你正在驾驶一辆能够自主思考的汽车。这就是自动驾驶的世界，在这里，计算机接管方向盘，以确保我们的安全并让交通顺畅运行。但即使是最聪明的汽车也有盲区。如果一辆大卡车挡住了你的视线，或者一栋建筑遮挡了正在转弯的行人，你汽车的“眼睛”（它的摄像头和激光雷达）就看不见即将发生的情况。这就像戴着眼罩踢足球；你可能了解规则，但你看不见球。

为了解决这个问题，科学家们正在教汽车彼此交谈，并与智能路灯进行沟通。这被称为车联网通信（V2X）。汽车不再仅仅依靠观察自己的挡风玻璃，而是可以分享它们所“看到”的东西。如果街角的另一辆车看到了一个行人，它可以向那辆看不见行车的车大喊：“嘿，注意看！”这种团队协作被称为协同感知（Collaborative Perception）。但问题在于：仅仅知道某样东西“现在”在哪里是不够的。汽车还需要猜测该物体在接下来的几秒钟内会出现在哪里。这就是“预测”（Prediction）这一环节的难点所在。如果汽车能够通力合作来猜测未来，它们可能会做出比单车更准确的判断。然而，分享所有这些数据会占用大量的互联网带宽，而且如果它们分享了错误类型的信息，反而可能会让彼此产生混乱。这就是科学家们试图解决的谜题：如何让汽车在不堵塞网络的情况下，在正确的时间分享正确的信息，从而安全地预测未来？

---

未来的团队协作：汽车“预见”未来的新方式

本论文介绍了一种名为**协同联合感知与预测（Co-P&P）**的新理念。你可以把它想象成一种超级团队策略。来自 XITASO 和卡尔斯鲁厄理工学院的研究人员提出了一种系统，在该系统中，汽车不仅仅是分享一份“我看到了什么”的清单，而是通过协作来构建一个完整的、三维的世界图像，然后再尝试预测接下来会发生什么。

这篇论文解决了让自动驾驶变得困难的两个大问题：

1. 盲区： 被树木或其他车辆遮挡的事物。
2. “打地鼠”式误差： 在传统系统中，汽车首先发现物体，然后追踪它，最后再猜测其去向。如果它在第一步（发现物体）中犯了一个微小的错误，这个错误会在尝试预测未来时被不断放大。这就像是根据一张已经略有偏差的草图来绘制城市地图；最终的地图将会是一场灾难。

作者提出了一个巧妙的解决方法：让汽车先协作来“填补”缺失图像的空白，然后再利用这张完美的图像来进行预测。

“魔镜”与“水晶球”

为了解释其工作原理，想象汽车正处在一个拥有巨大破碎镜子的房间里。每辆车都拥有一块镜子的碎片。

• 旧方法（模块化流水线）： A车看着自己的镜子碎片，画出了一个人的草图；B车看着自己的碎片，也画了一个人的草图，然后它们尝试猜测这个人会走向哪里。如果A车的草图很模糊，那么猜测的结果就会出错。
• 新方法（Co-P&P）： 汽车首先分享各自的镜子碎片，以构建出一张完整、清晰的整个房间的巨型图像（这被称为协同场景补全）。一旦拥有了完美的图像，它们才会使用一个“水晶球”（联合感知与预测模块）来猜测那个人会走向哪里。因为图像是完美的，所以预测也会更加准确。

重大发现：不要等到最后！

这篇论文中最重要的发现是关于汽车应该在何时分享信息。研究人员测试了三种不同的数据分享时机：

1. 起始阶段（检测层级）： 分享原始的“我在这里看到一辆车”的数据。
   কে 2. 中间阶段（追踪层级）： 分享“这辆车正朝这个方向移动”的数据。
2. 最后阶段（预测层级）： 分享“这辆车将在3秒后到达这里”的数据。

论文明确排除了在最后阶段进行分享的可能性。 他们发现，如果汽车等到已经做出了自己的预测后再进行分享，情况反而会变糟。这就像两个人试图猜测比赛的获胜者，但他们只在比赛结束后才分享各自的最终猜测。到那时，如果其中一个人的逻辑出了错，分享错误的答案并无帮助，只会传播错误。论文表明，预测层级的融合会导致整体系统性能下降。

相反，最好的结果来自于早期分享（即在检测或追踪层级）。这使得汽车能够在尝试预测未来之前，先修正彼此的错误。数据显示，早期分享显著提高了发现隐藏物体（如树后的行人）的能力，而后期分享预测则不仅没有帮助，还消耗了更多的互联网数据。

“压缩”技巧

还有另一个酷炫的发现。分享所有的三维激光数据（称为点云）通常会占用巨大的互联网空间。作者构建了一个原型，使用一种名为 RENO 的特殊“神经编解码器”（一种智能压缩器）。他们发现，可以在不损失预测未来能力的前提下，将共享数据的体积压缩约 34 倍（从一个巨大的文件变成一个极小的文件）。

想象一下，你给朋友发送一部高清电影，但你不是发送整个文件，而是发送一条简短的文本消息，告诉对方的电脑如何完美地重建这部电影。这就是这种压缩技术所做的事情。论文显示，即使经过如此高强度的压缩，汽车预测未来的能力仍然优于完全不进行交谈的情况。

测试内容与发现

研究人员使用来自中国的真实世界数据集 DAIR-V2X-Seq（包含汽车和路侧传感器数据）对他们的想法进行了测试。

• 结果： 当他们在早期（检测层级）结合数据时，系统在识别被主车视线遮挡的汽车、骑行者和行人方面表现得更加出色。
• 警告： 他们也发现，目前的系统在处理行人、骑行者等小型物体时，与处理大型汽车相比仍存在一定的困难。
• 信心： 论文展示了这些经过严谨实验验证的结果。他们并非凭空猜测，而是通过数据说话。他们证明了虽然“早期分享”策略有效，但“后期分享”策略是有害的。他们还指出，他们的端到端原型（即在一个流程中完成所有步骤的模型）在预测未来方面比旧的逐步式方法效果更好，这证明了旧有的“分步走”模式会导致误差不断累积。

为什么这很重要

这篇论文为自动驾驶汽车如何相互交谈提供了一份清晰的路线图。它告诉我们：“不要等到你做出了猜测再去寻求帮助。在你看清事物的时候，就开始寻求帮助。”它还表明，我们可以让这种团队协作变得足够高效，从而在不拖慢整体速度的情况下，在真实的互联网连接环境下运行。

虽然作者承认，构建一个适用于所有情况（例如应对极其微小的行人）的完美系统仍处于开发过程中，且需要更多数据来充分训练这些系统，但他们的研究结果指明了一条清晰的前进道路。通过让汽车协作构建完整的图像，然后再进行预测，并利用智能压缩技术保持数据的轻量化，我们可以让自动驾驶汽车变得更加安全，并能更敏锐地感知周围的世界。