🤖 machine learning

TraVEL: Trajectory-Guided Video Embedding Learning for Driving-Video Retrieval

TRAVEL 是一种运动感知微调框架，它通过在群体相对策略优化（Group Relative Policy Optimization）中利用自我轨迹相似性作为奖励，增强了驾驶视频检索能力，使通用多模态模型能够在不依赖辅助感知数据或专家规则的情况下，有效地识别以运动为中心的事件。

原作者： Yi-Chung Chen, Philip Jacobson, Tom Lampo, Yiren Lu, Jin Yao, David I. Inouye, Jing Gao, Danhua Guo, Burhan Yaman

发布于 2026-08-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yi-Chung Chen, Philip Jacobson, Tom Lampo, Yiren Lu, Jin Yao, David I. Inouye, Jing Gao, Danhua Guo, Burhan Yaman

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

伟大的视频搜寻行动

想象你是一名正在破解谜题的侦探，但你的犯罪现场不是单一的，而是一个包含数百万小时视频资料的图书馆。这正是构建自动驾驶汽车的公司每天面临的现实。他们不仅在驾驶，还在记录一切。但是，要从海量数据中找到汽车差点撞到行人的那个特定瞬间，或者驾驶员做出一个复杂转向的精确秒数，就像是在一个由其他针组成的草堆里寻找一根针一样困难。

为了解决这个问题，科学家们使用了被称为“多模态嵌入”（multimodal embedding）的技术。可以将它想象成一个神奇的翻译器，能将一段视频片段和一句文本同时转化为一种单一的、秘密的代码（向量）。如果一段“红车左转”的视频代码与文本“红车左转”的代码非常相似，计算机就知道它们匹配。这就像是给每段视频一个独特的指纹，并为每次搜索查询配上一把匹配的钥匙。其目标是让计算机变得足够擅长匹配这些钥匙，从而无需人工观看，就能从数百万个选项中瞬间调取正确的视频。

然而，这里有一个陷阱。目前的“神奇翻译器”非常擅长识别静态物体，如树木、建筑或天空的颜色。但它们经常会被“运动”所迷惑。对于标准的 AI 来说，一辆左转的汽车看起来可能和一辆右转的汽车完全一样，只要背景场景相同。它们过于依赖“在哪里”，而忽略了“如何做”。这篇论文提出了一个问题：我们能否教会这些 AI 模型去更加关注运动本身，从而让它们能够分辨出一辆车是在加速还是在减速，即使场景看起来完全一致？

解决方案：教 AI 感受道路

这项研究背后的研究人员与 Uber AV Labs 和普渡大学合作，推出了一种名为 TraVEL（轨迹引导的视频嵌入学习，Trajectory-Guided Video Embedding Learning）的新方法。他们的主要发现是，通过使用汽车实际行驶的物理路径（即“自身轨迹”，ego-trajectory）作为一种特殊的训练工具，可以使 AI 对驾驶行为的理解能力大幅提升。

以下是他们实现这一目标的原理，使用了简单的类比：

问题所在：“语境”陷阱
想象有两个学生正在参加一场关于驾驶的测试。

学生 A（旧的 AI）看到一张晴天左转的汽车图片和一张晴天右转的汽车图片。因为天空和树木看起来一样，学生 A 认为：“这些基本上是同一张图片！”他们因为过度关注背景而感到困惑。
学生 B（新的 AI）被教导要忽略背景，转而关注汽车的车轮和转向。

研究人员发现，标准的 AI 模型表现得就像学生 A。它们可以区分“白天片段”和“夜晚片段”，但在场景相似时，却很难区分“加速”和“减速”。

解决方法：“特权”教练
为了解决这个问题，团队采用了两步走的训练过程。

第一步：阅读手册。 首先，他们利用配有文本描述（标题）的视频来教导 AI。这帮助 AI 学习了驾驶语言，但这还不够。AI 仍然没有深刻地“感受”到运动。
第二步：轨迹奖励。 这正是 TraVEL 脱颖而出的地方。他们引入了一位“特权”教练。在训练期间，AI 被展示视频以及汽车行驶的精确 GPS 路径。教练会说：“如果文本说是‘左转’，而视频显示的路径是‘右转’，你会得到低分。如果路径与文本相符，你会得到高分。”

至关重要的是，这个“教练”（GPS 路径）仅在训练期间使用。一旦 AI 完成学习，它就不再需要 GPS 路径了。它只需要视频和文本查询。AI 已经内化了对运动的感觉，以至于它只需通过一个单一的搜索代码，就能找到正确的视频，而无需在搜索时刻使用额外的传感器或复杂的规则。

他们的发现
研究结果非常令人振奋。当他们在名为 nuReasoning 的驾驶片段数据集上测试新方法时：

更擅长运动： AI 在根据运动寻找视频方面有了显著进步。例如，在搜索“加速”或“左转”时，准确率大幅提升。
数据表现： 在 20 亿参数规模的模型下，新方法在寻找“纵向”（前后）运动方面的能力比之前的最优方法提高了 9.8 个点，在“横向”（左右）运动方面提高了 4.7 个点。即使在更大的 80 亿参数规模下，它们也分别实现了 7.2 和 1.5 个点的增益。
视觉证明： 在一次测试中，旧 AI 试图寻找一辆车为行人减速的视频，却误选了一段汽车在夜间加速的视频。而新的 TraVEL 模型正确选择了那段汽车减速的视频，同时匹配了动作和语境。

他们排除了什么
论文明确反对“仅仅通过增大 AI 模型规模（增加更多参数）就能解决问题”的观点。他们测试了从小型到巨型的各种模型，结果显示，如果没有这种新的训练方法，即便模型更大，在处理运动问题时依然和小型模型一样困惑。他们还排除了使用复杂的多步系统（即每次搜索都需要额外的传感器或人工定义的规则）的必要性。TraVEL 保持了简洁：一个视频，一个代码，一次搜索。

他们有多确定？
作者认为，这种方法对于“以运动为中心”的检索是一个强有力的改进，但也谨慎地指出，它并非适用于所有驾驶场景的完美方案。他们发现，虽然 AI 在处理转向和停止等大幅度动作方面表现得更好，但在处理微妙的车道变换（如“在车道内轻微向左移动”）时仍然感到有些棘手。他们得出结论，虽然物理运动信号是一个强大的工具，但仍有提升空间，例如通过教 AI 去注意到其他车辆的运动，而不只是自己乘坐的那辆车。

简而言之，TraVEL 教会了自动驾驶汽车的计算机去关注车辆的“舞姿”，而不仅仅是它所处的“舞台”，这使得寻找那些对安全和学习至关重要的瞬间变得更加容易。

技术摘要：TraVEL —— 用于驾驶视频检索的轨迹引导视频嵌入学习

问题陈述

从大规模自动驾驶车辆日志中高效检索特定的驾驶场景，对于数据清洗、模型开发和安全性分析至关重要。虽然基于规则的结构化检索系统可以针对特定事件，但它们需要专家定义的规则、辅助数据（如目标检测、地图）以及多阶段感知流水线，这使得扩展到新领域时成本高昂。相比之下，多模态嵌入模型提供了一种更简单、更高效的替代方案，通过将视频表示为单个可搜索的向量。然而，通用视觉语言模型（VLMs）在驾驶领域往往表现不佳，因为它们依赖于静态场景上下文的快捷方式，而非细粒度的运动信息。当视觉背景相似时，它们难以区分操作上相反的事件（例如，加速与减速，左转与右转）。

方法论

作者提出了 TraVEL (Trajectory-Guided Video Embedding Learning)，这是一个旨在通过在训练期间引入物理运动信号，将通用多模态嵌入模型适配到驾驶视频检索中的框架，且该方法在推理阶段不需要这些信号。该方法由两个阶段的训练流水线组成：

1. 驾驶领域监督微调 (SFT)

作者首先解决了通用预训练数据与驾驶视频之间的领域差距。他们使用来自 nuReasoning 数据集的配对驾驶视频片段和推理轨迹描述（reasoning-trace captions）对 Qwen3-VL-Embedding 模型进行微调。这一阶段采用 InfoNCE 目标函数来对齐文本和视频表示，显著提升了整体检索性能。然而，作者指出，仅靠描述性文本监督对于细粒度车辆动力学提供的信号较为稀疏，使得以运动为中心的查询（如特定的加速度剖面）仍具有挑战性。

2. 轨迹感知的组相对策略优化 (GRPO)

为了解决仅靠描述性文本监督的局限性，TraVEL 引入了一个使用 组相对策略优化 (GRPO) 的强化学习阶段。

特权监督 (Privileged Supervision)： 在训练期间，每个视频片段都配有一个同步的 自我姿态序列 (ego-pose sequence)（横向位移和速度）。这些姿态是特权信息：它们仅作为训练期间的奖励信号使用，而不会作为输入提供给嵌入模型，在检索时也不需要。
运动表示： 自我姿态序列经过重采样并使用对数扭曲函数进行转换，以强调接近零附近的变换（例如，从停止到加速）。通过使用 动态时间规整 (DTW) 计算运动信号之间的相似度，以处理时间不对齐的问题。
奖励构建： 训练过程构建了两类候选组：
- 文本-视频组 ( $G_{t2v}$ )： 包括地面真值视频和硬负样本。奖励是二元的（正确配对为 1，否则为 0），以保持跨模态对齐。
- 视频-视频组 ( $G_{v2v}$ )： 包括基于当前模型的高分视频候选。奖励是一个由自我轨迹相似度（DTW 距离）导出的分级值。具有相似运动的片段会获得更高的奖励。
优化： GRPO 目标函数更新模型，以最大化正确配对和运动相似视频的优势，从而有效地重塑嵌入空间，使其对车辆运动敏感，同时保持单向量检索的效率。

核心贡献

TraVEL 框架： 一种简单且有效的方法，通过将物理运动信号集成到训练循环中，使通用多模态嵌入模型能够适配驾驶视频检索。
运动感知微调： 引入了在 GRPO 框架内的轨迹衍生奖励。这使得视频嵌入对自我运动（纵向和横向）敏感，而无需改变推理流程（在检索时不需要自我姿态或辅助感知）。
驾驶视频检索基准： 构建了一个源自 nuReasoning 数据集的检索基准，专门评估以运动为中心的查询。

实验结果

作者在 nuReasoning 数据集上使用 2B 和 8B 参数规模的 Qwen3-VL-Embedding 模型对 TraVEL 进行了评估。

基线性能： 现成的模型（包括 CLIP4Clip、InternVideo2 和预训练的 Qwen3-VL）表现出显著的领域差距，其 R@1 分数通常低于 2.5%，中位排名接近随机水平。
SFT 的影响： 使用配对片段进行监督微调显著提升了检索性能，但对于细粒度运动区分仍显不足。
TraVEL 性能：
- 实例级检索： TraVEL 大幅提升了召回率。在 2B 模型下，R@1 从 1.3%（预训练）提升至 8.7%，中位排名从 266 降至 23。在 8B 模型下，R@1 达到 10.1%，中位排名为 17。
- 运动中心检索： TraVEL 在运动特定查询上表现出最显著的增益。
  - 2B 模型： 纵向 mAP 提升了 9.8 个百分点（从 SFT 时的 45.9% 提升至 TraVEL 后的 55.7%）。横向 mAP 提升了 4.7 个百分点（从 31.0% 提升至 35.7%）。
  - 8B 模型： 纵向 mAP 提升了 7.2 个百分点（达到 57.5%），横向 mAP 提升了 1.5 个百分点（达到 39.9%）。
- 定性分析： 可视化结果显示，TraVEL 成功降低了视觉相似但运动不同的片段之间的相似度（例如，加速左转与减速右转），并增加了具有相同轨迹但不同视觉上下文的片段之间的相似度（例如，白天与黑夜）。

重要性与主张

本文声称 TraVEL 成功弥合了单向量嵌入搜索的效率与自动驾驶对运动敏感检索的需求之间的差距。通过使用自我轨迹相似度作为特权训练信号，该方法在不需要复杂的感知流水线或辅助数据的情况下，根据车辆动力学组织了视频嵌入空间。

作者强调，尽管 TraVEL 在处理细微的车道内偏移方面仍面临挑战，但在处理停止和转向行为等运动中心查询方面取得了明显的收益。他们将 TraVEL 定位为一种补充性的、高效的方法，而非取代结构化的基于规则的系统，它利用易于获取的物理运动信号来增强通用多模态模型的表示能力。这项工作表明，将基于物理的监督与基于嵌入的搜索相结合，是提高下游驾驶工作流（如数据清洗和安全性验证）性能的一条可行路径。