USR-Drive: Unified Driving Scene Representation via Joint Denoising of 3D Gaussians and Boxes
该论文提出了 USR-Drive，这是一个统一的条件生成框架，通过共享的扩散 Transformer 对 3D 高斯基元和边界框进行联合去噪，旨在利用它们之间的相互几何与结构约束，从而同时实现最先进的动态重建和 3D 物体检测。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
要理解自动驾驶汽车是如何观察世界的，首先必须理解它试图构建的是什么。车辆不仅仅是在拍摄一张照片；它正在实时构建一个三维地图。为了使这张地图发挥作用，需要两个截然不同的要素。首先，它需要一个稠密且连续的表面，准确显示道路、路缘和建筑物的位置，从而让汽车知道所有物体距离有多远。其次，它需要识别特定的物体（如汽车或行人），并将它们包裹在隐形的框中，以追踪其运动并预测其下一步的走向。多年来，工程师们一直将这两项任务视为两个独立的任务。一组算法负责构建三维地图，而另一组算法则负责搜寻这些“框”。这种分离经常导致错误：地图可能会在移动物体周围变得模糊，或者由于缺乏可以落脚的坚实表面，导致这些“框”悬浮在虚空中。
由蔚来（NIO）、香港科技大学和北京师范大学的研究人员开发的一种新方法，试图通过将这两个工作合并为一个过程来解决这个问题。他们将该系统称为 USR-Drive。该系统不再是先构建地图再去寻找汽车，或者先找到汽车再尝试将其放入地图中，而是同时生成详细的三维表面和物体框。研究人员发现，当这两个元素同时创建时，它们会相互促进。稠密的地图为“框”提供了稳固的地面，而“框”则提供了一个结构骨架，使地图在汽车移动时不会发生模糊或变形。
该系统的核心是一种学习如何清理噪声的人工智能。想象一下，从一个充满静电噪声的屏幕开始，就像一台没有信号的老式电视机。该系统经过训练，能够缓慢地去除这些静电噪声，从而揭示出底下的清晰驾驶场景。在这种情况下，“图像”不仅是一张平面图像，而是一个复杂的三维场景，包含数百万个微小的点（构成道路和建筑物），以及一组定义了其中汽车和行人的隐形框。研究人员设计了一种特殊的方法来教导人工智能，让它明白这两种不同类型的信息——平滑的道路表面和汽车的锐利边缘——属于同一个物理空间。他们创建了一个共享坐标系，其中道路上的每一个点和汽车框的每一个角都清楚地知道自己相对于其他部分的位置。
在以往的方法中，人工智能可能会仅根据形状来猜测汽车的位置，或者仅根据摄像头的视角来构建道路。这往往会导致“时间性模糊”（temporal smearing），这是一种视觉故障，即由于系统无法在每一时刻都对位置达成一致，导致移动物体看起来像是在随时间融化或拉伸。通过强制要求人工智能同时生成道路和汽车，该系统防止了这种情况。道路告诉人工智能汽车的具体深度，而汽车则告诉人工智能在该特定位置不应出现波浪或断裂。这种相互一致性创造了一个既具有几何准确性又具有逻辑连贯性的场景。
研究人员在两个主要的驾驶数据集上测试了该系统：一个是来自奥斯汀市的真实世界数据集，另一个是模拟环境。他们将结果与现有的针对三维制图和物体检测的最佳方法进行了对比。新系统表现优于所有现有方法。它生成了更清晰、更详细的道路及周围环境的三维地图，且在物体距离呈现方面的误差更少。同时，它识别和追踪移动物体的精度也高于那些无法获取完整三维地图的专用检测系统。该系统无需任何关于汽车位置的预标注信息即可实现这一点；它是通过理解周围世界的形状来学会寻找汽车的。
最重要的发现之一是，即使在测试从未见过的数据时，这种统一的方法仍然有效。当研究人员将该模型应用于一个未经过训练的合成驾驶环境时，它仍然能够生成准确的三维地图并正确识别车辆。这表明该系统已经学习到了驾驶场景如何构成的基本原理，而不仅仅是记忆特定的模式。能够从简单的视频流中生成一个完整的、物理一致的三维世界，代表了自动驾驶汽车感知环境方式的一种转变。它不再将感知视为一系列脱节的步骤，而是转向一种统一的视角，即道路和交通被理解为一个单一且连贯的现实。
研究人员承认，目前的系统是为离线处理设计的，这意味着生成这些场景需要时间，目前还不够快，无法让汽车在高速行驶时使用。然而，这种方法的成功证明了将几何学和物体检测合并为一个单一生成过程所产生的结果，要优于将它们分开处理。通过将三维世界及其中的物体视为同一状态中共同演化的部分，该系统实现了以往难以达到的清晰度和稳定性。这项工作为未来的驾驶系统奠定了基础，使其不仅能将世界视为像素的集合或物体的列表，而且能将其视为一个坚实的、可导航的空间，其中每一个元素都相互支撑。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。