Collision-Aware Vision-Language Learning for End-to-End Driving with Multimodal Infraction Datasets

这篇论文提出了一种名为 VLAAD (Video-Language-Augmented Anomaly Detector) 的框架，旨在解决端到端（End-to-End, E2E）自动驾驶中碰撞率过高这一核心瓶颈。作者通过引入多模态学习（视觉 + 语言）和多重实例学习（MIL），显著提升了自动驾驶模型在闭环仿真和真实世界数据中的碰撞检测与规避能力。

以下是该论文的详细技术总结：

1. 问题背景 (Problem)

• 核心痛点： 尽管端到端自动驾驶在离线（开环）基准测试（如 nuScenes, Waymo）中表现良好，但在闭环（Closed-loop）评估（如 CARLA Leaderboard）中，碰撞（Collisions） 仍然是导致违规和任务失败的主要原因。
• 现有局限：
  • 现有的碰撞检测研究关注不足，且缺乏能够生成时间上局部化（Temporally Localized） 且稳定的碰撞风险信号的方法。
  • 现有的仿真数据集（如 DeepAccident, DiffScene）大多局限于十字路口场景，缺乏多样性，且缺乏丰富的语言描述，难以适配现代视觉 - 语言模型（VLM）。
  • 直接训练 VLM 进行碰撞检测往往产生时间上模糊、不稳定的预测 logits，难以在碰撞发生的瞬间提供可靠的预警信号。

2. 方法论 (Methodology)

2.1 VLAAD 模型架构

VLAAD 是一个轻量级的视觉 - 语言模型，基于冻结的 XCLIP 骨干网络构建：

• 输入： 驾驶视频片段及其对应的文本描述（Caption）。
• 核心组件：
  • 视频编码器 (Video Encoder)： 处理驾驶视频。
  • 文本编码器 (Text Encoder)： 处理场景描述（如“车辆在路口与黄色车辆碰撞”）。
  • 适配器 (Adapter)： 一个轻量级的 MLP，用于微调视频特征，使其与文本特征在语义上对齐。
  • 检测器 (Detector)： 输出碰撞概率。
• 训练目标： 联合优化两个损失函数：
  1. 余弦嵌入损失 (Cosine Embedding Loss)： 确保视频特征与描述该场景的文本特征在语义上对齐。
  2. 二元交叉熵损失 (Binary Cross-Entropy Loss)： 区分碰撞与非碰撞场景。

2.2 基于多重实例学习 (MIL) 的时间定位

为了解决视频级标签（Video-level label）导致的时间定位模糊问题，作者引入了 MIL：

• 机制： 将视频视为一个“包（Bag）”，包含多个时间片段（Snippets）。只要包中有一个片段包含碰撞风险，整个视频就被标记为正样本。
• 聚合策略： 使用温度控制的 Log-Sum-Exp (LSE) 池化操作，将片段级的 logits 聚合为视频级预测。
• 优势： 迫使模型将预测证据集中在包含风险的高显著性片段上，从而生成时间对齐、尖锐且稳定的碰撞风险信号，而非模糊的长尾响应。

2.3 数据构建

为了训练和评估 VLAAD，作者构建了两个大规模多模态数据集：

1. CARLA-Collide (仿真数据)：
   • 从 CARLA Leaderboard 的多样化路线中，利用 SOTA 驾驶代理（TransFuser++）自然发生的失败案例生成。
   • 包含车辆、行人、布局（静态物体）等多种碰撞类型，覆盖非路口场景。
   • 利用 LLM 自动生成丰富的文本描述（Caption），涵盖关键角色和事件动态。
2. Real-Collide (真实数据)：
   • 包含 1000 个来自公开行车记录仪（Dashcam）的视频片段（500 个正常，500 个碰撞）。
   • 数据来源多样化（Nexar, RetroTrucks, COOOL, YouTube），涵盖不同视角和环境。
   • 经过人工重新标注，确保碰撞定义的统一性，并配有语义丰富的文本描述。

2.4 端到端集成策略

• VLAAD 作为一个即插即用（Plug-in） 模块集成到现有的 E2E 驾驶模型（如 TransFuser++）中。
• 工作流程： VLAAD 计算碰撞风险分数，将其作为额外的 Token 与车辆速度、导航指令等高层状态拼接，输入到驾驶模型的全局编码器中。
• 微调： 仅需对预训练的驾驶模型进行极少量的微调（5 个 epoch），即可显著提升性能。

3. 主要贡献 (Key Contributions)

1. VLAAD 模型： 提出了一种结合 VLM 和 MIL 的轻量级碰撞检测器，能够生成时间局部化的碰撞风险信号。
2. CARLA-Collide 数据集： 发布了一个大规模、多模态的仿真碰撞数据集，填补了现有数据集在场景多样性和语言标注方面的空白。
3. Real-Collide 基准： 构建了一个包含真实世界行车记录仪数据的多模态基准，用于评估模型在真实场景下的泛化能力。
4. 性能提升： 证明了将碰撞感知模块集成到 E2E 驾驶策略中，能以极低的计算成本显著提升闭环驾驶的安全性和完成率。

4. 实验结果 (Results)

4.1 闭环驾驶性能 (CARLA Town 13)

在 CARLA Leaderboard 的验证路线上，将 VLAAD-MIL 集成到 TransFuser++ (TF++) 中：

• 驾驶分数 (Driving Score, DS)： 相对提升了 14.12%。
• 违规分数 (Infraction Score, IS)： 相对提升了 19.23%。
• 路线完成率 (Route Completion, RC)： 相对提升了 6.62%。
• 对比： 相比仅微调 TF++ 或无 MIL 的 VLAAD，MIL 版本表现最佳，证明了时间局部化信号的重要性。

4.2 碰撞检测性能 (Real-Collide & Simulated)

• 真实数据 (Real-Collide)： VLAAD (0.6B 参数) 的 AUC 达到 0.766，显著优于微调后的多百亿参数模型 LLaVA-Next (AUC 0.533)。这证明了针对特定任务的高效适配优于单纯堆砌参数。
• 消融实验：
  • MIL 的作用： 移除 MIL 后 AUC 下降，且预测信号变得模糊（如图 4 所示，MIL 能精准定位碰撞时刻，而非基线模型的宽泛响应）。
  • 多模态的作用： 移除文本模态后性能下降，证明语言描述提供了关键的语义结构，引导模型关注安全相关的时空特征。
  • 适配器 (Adapter) 的作用： 移除 Adapter 直接利用冻结特征会导致性能下降，说明微调视觉特征空间对于捕捉碰撞前的动态线索至关重要。

5. 意义与结论 (Significance)

• 解决核心瓶颈： 该工作直接针对 E2E 自动驾驶中最致命的“碰撞”问题，通过引入碰撞感知机制，有效降低了闭环测试中的事故率。
• 高效性： 证明了无需重新训练庞大的驾驶模型，仅通过引入轻量级的碰撞感知模块（VLAAD）并进行微调，即可实现显著的安全提升。
• 数据驱动： 提出的 CARLA-Collide 和 Real-Collide 数据集为社区提供了宝贵的资源，特别是其多模态（视频 + 文本）特性，推动了 VLM 在自动驾驶安全领域的应用。
• 泛化能力： 模型在仿真数据和真实世界数据上均表现出优异的泛化能力，且推理延迟低（增加约 50ms/帧，远低于驾驶模型本身），具备实际部署的潜力。

综上所述，VLAAD 通过结合多模态理解和多重实例学习，成功将“碰撞感知”这一关键能力注入端到端自动驾驶系统，为构建更安全、更鲁棒的自动驾驶系统提供了新的范式。