技术摘要：面向长上下文自动驾驶的规划对齐 Token 压缩

问题陈述

单体视觉-动作（VA）和视觉-语言-动作（VLA）策略代表了自动驾驶领域的一种范式转变，通过统一的 Transformer 主干网络将多模态输入直接映射为车辆轨迹。然而，为了处理复杂的交互，扩展这些模型需要更长的时序上下文，但这会导致视觉 Token 序列长度迅速膨胀，超出实时计算预算。

现有方案面临权衡：

• 线性 Transformer/外部存储器： 通常需要修改主干网络或引入架构复杂性。
• Token 压缩： 是最实用的方法，因为它不需要更改主干网络。然而，当前的方法依赖于基于规则的启发式算法（例如时序衰减），即保留近期帧并无差别地丢弃较旧的帧。
• 核心局限性： 基于规则的压缩与规划目标是脱节的。它无法区分冗余信息与决策关键的历史线索（例如，四路停让处车辆的到达顺序）。如论文所述，丢弃远端观测（例如 $t=-3s$ 时）会导致错误的优先权判断，从而引发违反安全性的行为，如冲过停让标志。

方法论：COMPACT-VA

作者提出了 COMPACT-VA（通过规划对齐上下文 Token 进行压缩），这是一种工作记忆框架，旨在将扩展的上下文压缩为有界的表示，同时显式地使压缩过程与驾驶意图对齐。

1. 分层时序上下文缓冲

不同于平铺的上下文窗口，观测历史（$T$ 个时间步）被组织成一个具有 $K$ 个压缩层的分层 FIFO 存储库。

• 时序衰减归纳偏置： 近期帧保留高 Token 分辨率（不进行压缩），中间帧进行中度压缩，远端帧进行激进压缩。
• Q-former 压缩： 在每一层，可学习的查询（query）Token 与原始观测 Token、时间步嵌入（timestep embeddings）以及相机嵌入进行拼接。Q-former 模块（基于 MMDiT）通过自注意力机制处理这些信息，以选择性地聚合任务相关的视觉特征。
• 位置一致性： 通过旋转位置嵌入（RoPE）按压缩比例进行缩放，以保持与未压缩序列的对齐。

2. 规划对齐的变分耦合

其核心创新是一个带有向量量化（VQ）的条件变分自编码器（cVAE），它将压缩质量直接与轨迹预测挂钩。

• 驾驶意图潜变量 ($z$)： 在训练期间，从未来轨迹中蒸馏出一个紧凑的离散潜变量。
• 后验编码器 (Q-net)： 仅在训练阶段进行训练。它接收压缩后的观测数据 ($o_{compressed}$) 和地面真值未来轨迹 ($\tau_{future}$)，以提取驾驶意图潜变量 $z_q$。
• 先验编码器 (P-net)： 在训练和推理阶段均运行。它仅使用压缩后的观测数据来预测意图潜变量 $z_p$，而不使用未来的信息。
• 向量量化： $z_q$ 和 $z_p$ 都被映射到一个共享的离散码本（codebook）中。这种离散化强制模型学习一组有限的驾驶“技能”或意图。
• 端到端优化： 系统通过复合损失函数进行优化：
  $$\mathcal{L} = \mathcal{L}_{traj} + \lambda_{KL} \cdot D_{KL}(q_\phi(z|o, \tau_{future}) \parallel p_\theta(z|o_{compressed})) + \lambda_{commit} \cdot \mathcal{L}_{commit}$$
  KL 散度项确保先验（推理时）分布与后验（训练时）分布相匹配。如果 Q-former 丢弃了关键历史，则先验无法预测意图，从而导致高 KL 散度和退化的轨迹预测。这创建了一个闭环，使模型能够“学会”保留什么。

3. 推理

在测试时，只有先验路径处于激活状态。模型压缩观测数据，预测意图 $z_p$，对其进行量化，并将其作为特殊 Token 添加到压缩后的存储器中。该组合序列随后输入统一的 Transformer 主干网络，进行自回归轨迹生成。

评估框架

作者识别了高信号动态场景，在这些场景中，扩展上下文（5–10 秒）对于离散决策至关重要，这与连续轨迹优化不同：

1. 四路停让处 (Four-Way Stops)： 基于到达顺序确定优先权。
2. 带动态遮挡的停止/让行 (Stop/Yield with Dynamic Occlusion)： 维持对遮挡车辆的状态感知。
3. 非受控转弯 (Unprotected Turns)： 评估随时间变化的来车间隙。

指标： 传统的指标（如 minADE）被认为不匹配。论文引入了行为指标：

• 通行成功率 (Go Success Rate, Go SR)： 在停止后能够继续行驶的能力。
• 停止成功率 (Stop Success Rate, Stop SR)： 在需要时能够完全停止的能力。
• 冲过率 (Roll-Through Rate)： 未能完全停止的频率（涉及安全性）。
• 停止位置/时长误差： 空间和时间上的偏差。

关键结果

在 Alpamayo 数据集（专门针对依赖记忆的场景进行了筛选）和 Alpasim 模拟器上进行了评估：

• 性能提升： 在相似的 Token 预算（~1,424 个 Token）下，COMPACT-VA 实现了 68.3% 的通行成功率，优于标准的 1 秒基准（63.8%）和稠密 5 秒未压缩基准（61.9%）。
• 安全性改进： 它将冲过率降低了 22%（7.0% 对比基准的 9.0%），并将停止成功率提高到了 89.2%。
• 消融实验洞察：
  • 去除规划对齐会导致 Go SR 下降至 65.6%，证实了将压缩与意图耦合的必要性。
  • 朴素压缩（没有历史调节）的 Go SR 为 63.5%，显示了轨迹调节压缩的价值。
  • 分层压缩是必不可少的；近期帧必须保留全分辨率。
• 效率： 与未压缩的 5 秒处理（6,400 个 Token）相比，COMPACT-VA 实现了 3.3 倍的推理加速 和 2.7 倍的显存减少（3.95 GB 对比峰值 10.51 GB GPU 显存），同时在闭环模拟中保持了通用的驾驶能力。

意义与主张

论文声称，任务感知的工作记忆是实现多样化自动驾驶场景推理的关键。通过从基于规则的启发式算法转向规划对齐的压缩，模型能够隐式地发现并保留对决策至关重要的历史信息，而无需人工设计的保留规则。

作者将这项工作定位为迈向高效单体 VA/VLA 策略有效记忆的重要一步，证明了当有界上下文窗口与变分目标结合时，可以解决计算约束与安全关键驾驶决策所需的长程推理之间的矛盾。他们指出，虽然在通用驾驶方面的增益较为温和，但在依赖于过去 5–10 秒行为线索进行离散决策（停止/通行）的高信号场景中，该方法尤其具有影响力。