⚡ electrical engineering

Mind the Privileged-to-Camera Gap: Actor-Centric Sidecar Supervision for Camera-First Open-Loop Waypoint Prediction

本文提出了一种以执行器为中心的旁路监督方法，该方法在训练过程中利用来自特权模拟器的标签，通过显式地锚定执行器表示，显著提高了以相机为主的开环路径点预测精度，与基准模型相比，最终位移误差降低了 32.6%。

原作者： Feeza Khan Khanzada, Jaerock Kwon

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Feeza Khan Khanzada, Jaerock Kwon

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人仅通过视频摄像头来驾驶汽车。机器人的目标是观察前方的道路，并准确预测汽车在未来几秒钟内应该处于什么位置（这些预测被称为“路点”）。

问题：“学习中的盲点”
目前的多数机器人驾驶员就像那些只根据最终目的地来评分的学生。如果汽车最终到达了正确的地点，学生就会得到 A。但这并没有告诉学生他们是如何到达那里的。他们是忽略了行人吗？还是错过了左转的车辆？因为在训练过程中，机器人并没有被明确教导去注意到其他的道路参与者（主体），它可能通过“偶然”学会了良好的驾驶，但它缺乏对周围有哪些人以及这些人为什么重要的深度理解。

解决方案：“侧车”导师
这篇论文的作者引入了一个聪明的训练技巧，他们称之为**“侧车监督”（Sidecar Supervision）**。

把机器人驾驶员想象成正在参加考试的学生。

正式测试（推理阶段）： 当机器人实际驾驶时，它只有一个摄像头。它看到道路，知道自己的速度，并有一个目的地。除非它能从图像中推断出来，否则它不知道其他车辆或行人在做什么。
训练环节（侧车阶段）： 在练习期间，机器人会得到一个“侧车”导师。这个导师拥有对整个模拟环境的完美视角。它确切地知道每辆车、行人和骑行者的位置，以及他们的移动速度，并知道哪些人对机器人的路径最为重要。

导师并不负责驾驶汽车。相反，它会对机器人耳语道：“嘿，看左边那辆红色的车；它开得很快，可能会切入你的路径。还有，那个行人正在过马路，注意观察他们。”

机器人仅在练习期间使用这些额外信息。它借此学习构建一张包含这些其他主体的道路心理地图。一旦训练结束，“侧车”导师就会被移除。机器人回到仅靠摄像头驾驶的状态，但现在它已经学会了如何依靠自身来“看见”其他道路参与者的重要性。

结果：巨大的飞跃
研究人员将这种方法与仅从最终目的地进行学习的标准机器人进行了对比测试。

旧方法： 标准机器人在预测最终位置时的误差约为 1.8 米（大约是一辆小型轿车的长度）。
新方法： 使用“侧车”导师训练的机器人将该误差降低到了 1.2 米。

这是一个 32% 的提升。论文指出，这种新方法在几乎所有的测试路线（1,494 条中的 1,445 条）上都表现得更好。它在车辆密集的复杂情况或存在弱势道路使用者（如骑行者或行人）的情况下表现尤为出色。

“特权差距”（The "Privileged Gap"）
论文还进行了一项“作弊码”测试。他们问道：“如果机器人在实际驾驶时也能看到完美的模拟数据会怎样？”
答案是：它会表现得更好（误差降至 0.17 米）。这证明了虽然“侧车”训练帮助基于摄像头的机器人变得聪明得多，但摄像头所能看到的视野与一个完美的、全知全能的系统之间仍然存在差距。基于摄像头的机器人仍在进行一定的“猜测”，但“侧车”训练帮助它猜测得更加准确。

总结
论文表明，通过在训练期间提供一份“小抄”（侧车），让它学习注意到并理解其他道路参与者，可以让仅靠摄像头的自动驾驶汽车变得更加聪明。尽管机器人在实际驾驶时并不使用这份“小抄”，但这些教训已经根植其中，从而实现了对车辆行驶路径更安全、更准确的预测。

注：作者强调，这些结果源于计算机模拟（开环测试）。他们尚未证明这在现实世界的交通中有效，也无法保证在真实的碰撞场景中确保安全。

技术摘要：关注特权信息与摄像头之间的差距

问题陈述

以摄像头为核心的自动驾驶模型仅利用 RGB 图像、自身状态特征和路径指令来预测自车未来的航路点（waypoints）。虽然将这些输入直接映射到控制量的端到端系统具有可扩展性，但作者认为，标准的航路点监督往往会导致对附近道路使用者（参与者）的表示监督不足。在复杂的城市场景中，自车的轨迹频繁取决于一小组特定的车辆、行人或骑行者。纯粹的航路点目标虽然约束了最终路径，但可能无法强制中间图像特征显式地编码“哪些”参与者存在、“哪些”是相关的，以及它们“如何”运动。

核心要解决的问题是：仅通过训练阶段的参与者级监督，能否在不需要推理时使用特权参与者状态信息（例如模拟器中的精确坐标）的情况下，提升仅基于 RGB 的开环航路点预测性能。作者旨在量化“特权信息与摄像头之间的差距（privileged-to-camera gap）”——即使用精确道路使用者状态的模型与依赖纯摄像头输入的模型之间的性能差异。

方法论

框架概述

所提出的方法将以摄像头为核心的航路点预测视为一种受监督的、以参与者为中心的表示学习问题。该系统引入了**道路使用者侧车（Road-User Sidecar, RU-sidecar）**监督：这是从模拟器状态中离线提取的辅助标签，用于引导基于摄像头的模型的训练。这些标签在推理时永远不会作为输入使用。

该框架由三个主要部分组成：

可部署摄像头路径（Deployable Camera Path）： 一个学生模型，接收多视图 RGB、自身状态和路径指令作为输入。它预测以参与者为中心的中间表示（参与者 token）、对其相关性进行排序、预测选定参与者的短期未来，并利用这些信息来预测未来的自车航路点。
离线标签生成器（Offline Label Generator）： 一个处理模拟器状态以生成训练用侧车标签（ $S_t$ $S_{t}$ ）的模块。这些标签包括：
- 参与者几何与属性 ( $B_t$ )： 类别、位置、航向、速度和有效性掩码。
- 图像落地标签 ( $G_t$ )： 投影在摄像头视图中的参与者位置。
- 目标条件相关性 ( $C_t$ )： 根据距离、相对速度、冲突时间、路径车道相关性、弱势道路使用者（VRU）状态以及**事后（hindsight）**未来自车路径重叠情况对参与者进行相关性评分（ $c_i$ ）。
- 选定参与者未来 ( $F_t$ )： 前 $K$ 个相关参与者的短期运动目标。
不可部署模拟器路径（Non-Deployable Simulator Path）： 一个诊断性参考模型，使用精确的模拟器参与者状态 ( $A_t$ ) 作为输入。它作为一个“先知（oracle）”来估计剩余的性能差距，并可选地作为蒸馏的教师模型。

模型架构

可部署模型使用共享的视觉编码器（ConvNeXt-Tiny）来处理 RGB 历史记录。它采用了一个学生接口（student interface），包含：

参与者 Token 头（Actor-Token Head）： 预测一组固定的、由摄像头衍生的参与者槽位（slots）及其属性。
选择器（Selector）： 按与自车部的相关性对参与者槽位进行排序。
动力学头（Dynamics Head）： 为前 $K$ 个选定的参与者预测短期未来。
航路点规划器（Waypoint Planner）： 关注选定的参与者未来 token 以预测自车轨迹。

在训练期间，预测的槽位通过确定性的贪婪最近中心匹配法与侧车参与者进行匹配。损失函数包括：

主要损失： 航路点模仿损失 ( $L_{wp}$ )。
侧车损失： 对象性/几何损失 ( $L_{obj}$ )、属性损失 ( $L_{attr}$ )、相关性排序损失 ( $L_{sel}$ ) 以及选定参与者动力学损失 ( $L_{dyn}$ )。
可选蒸馏： 使用模拟器状态模型的教师对齐损失 ( $L_{dist}$ )。

实验方案

实验使用来自 LMDrive 的固定模拟器快照，并采用路径不相交拆分（route-disjoint splits）（即没有任何路径出现在多个拆分中）。评估严格执行**开环（open-loop）**测试，测量在留出路径上的最终位移误差（FDE）和平均位移误差（ADE）。研究对比了：

纯航路点仅 RGB 基准模型。
匹配的“无教师”非侧车对照组（相同的架构，无侧车损失）。
RU-sidecar 模型（包含与或不包含教师对齐）。
不可部署的诊断模型（使用先知侧车选定的参与者和模拟器状态动力学）。

关键结果

定量性能

在测试集上，不带教师对齐的 RU-sidecar 模型实现了 1.223 ± 0.01 m 的最终位移误差（FDE）。

这比纯航路点仅 RGB 基准模型（1.815 m）降低了 32.6%。
比匹配的无教师非侧车对照组（1.716 m）降低了 28.7%。
该模型在 1445/1494 条留出路径上优于基准模型，并在 1417/1494 条路径上优于匹配的对照组。

教师对齐（Teacher Alignment）： 加入模拟器状态教师将 FDE 进一步降低至 1.186 m，但引入了更高的种子变异性。作者认为这相对于稳健的无教师结果而言是次要的。

诊断结果：

先知侧车选定参与者诊断（使用精确的参与者选择但使用摄像头特征）实现了 1.146 m 的 FDE。
模拟器状态参与者动力学诊断（使用精确的参与者状态）实现了 0.174 m 的 FDE。
RU-sidecar 模型（1.223 m）与模拟器状态诊断（0.174 m）之间的巨大差距证实了仍然存在显著的“特权信息与摄像头之间的差距”。

切片分析（Slice Analysis）

改进在所有非空参与者条件切片中均保持一致：

参与者密集场景： 对于包含 $\ge$ 4 个有效侧车参与者的样本，FDE 降低了 29.1%。
弱势道路使用者（VRU）： 当存在行人或骑行者时，FDE 降低了 30.0%。
基于时间跨度（Horizon-wise）： 在所有 6 个预测时间跨度内均观察到了误差降低。

消融实验发现

移除参与者未来监督（ $L_{dyn}$ ）或选择器监督（ $L_{sel}$ ）会导致性能退化回接近基准水平的状态，表明这两个组件对于获得增益至关重要。
简单的航路点损失重加权或打乱教师控制并未产生显著改进，这表明收益是针对参与者中心监督结构的特定结果。

意义与主张

本文声称证明了源自模拟器、仅用于训练的侧车监督能显著提升以摄像头为核心模型的开环航路点预测性能。通过将问题表述为以参与者为中心的表示学习，模型学会了仅从 RGB 输入中编码道路使用者结构（存在性、相关性和运动），这反过来有助于轨迹规划。

主要贡献包括：

公式化： 将以摄像头为核心的航路点预测视为受监督的、以参与者为中心的表示学习问题。
方法： 引入了 RU-sidecar 标签，用于实现参与者的落地、相关性和运动，且不影响仅基于 RGB 的推理。
评估： 使用路径不交拆分构建了一个受控的“控制阶梯（control ladder）”，从而将参与者监督的效果与架构变化或损失重加权分离。
差距量化： 提供了关于摄像头衍生表示与特权参与者状态之间剩余差距的实证证据。

局限性与谦逊态度：
作者明确指出，其主张仅限于开环模拟诊断。该研究并未建立闭环安全性、碰撞规避能力、现实世界迁移能力或部署就绪性。此外，参与者未来头被描述为一个“表示塑造与规划器调节机制”，而非可部署的预测模块，因为其绝对未来状态预测（Dyn-FDE）表现较差。其主要支持的主张是无教师 RU-sidecar 配方的有效性，因为教师对齐仅带来了边际收益且稳定性较低。