🤖 machine learning

Zero-Label Driving Scenario Complexity Detection via Joint Embedding Predictive Architecture

本文证明了在无标签驾驶数据上训练的自监督联合嵌入预测架构（JEPA），可以通过将时间预测误差作为零标签复杂度评分，从而有效地识别复杂且关乎安全的场景，并在无需任何人工标注的情况下，在异常检测方面取得了显著的性能。

原作者： Santosh Jaiswal

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Santosh Jaiswal

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人驾驶员如何处理复杂的路况，比如繁忙的交叉路口，或者行人从路缘踏出的瞬间。问题在于，大多数驾驶视频都很枯燥：只是直线行驶、空旷的高速公路以及巡航行驶的汽车。那些“刺激”且危险的内容非常罕见，被埋没在数百万小时的视频片段中。寻找这些稀有的片段通常需要人类观看所有内容并进行标注，这既缓慢、昂贵，又容易产生偏差。

这篇论文提出了一个简单的问题：计算机能否在没有任何人告诉它什么是“困难”的情况下，自动识别出哪些驾驶场景是“难”的？

根据作者的说法，答案是肯定的。他们构建了一个系统，这个系统就像是一个预测型梦境家（predictive dreamer）。

“梦境家”类比

把这个 AI 模型想象成一名观看过数千小时驾驶视频的学生。这个学生学习的不是死记硬背图像（比如天空的颜色或道路的纹理），而是学习运动规则。他们学习车辆和行人通常是如何相互运动的。

每当这个学生看到一个新的场景时，他们会闭上眼睛，并根据刚刚看到的景象来预测接下来会发生什么。

如果场景很枯燥（比如一辆车在空旷的路上直行），学生的预测是完美的。他们会说：“我完全知道接下来会发生什么。”此时，“惊喜度得分（surprise score）”很低。
如果场景很复杂（比如一辆车在突然转弯的同时，一名行人跨出了路缘），学生的预测就错了。他们会说：“等等，这不应该是这样的！”此时，“惊喜度得分”很高。

论文认为，高惊喜度 = 高复杂度。如果模型感到困惑，很可能是因为情况复杂且涉及安全关键点。

他们是如何构建它的（“黑盒” vs. “镜子”）

研究人员使用了一种被称为 JEPA（联合嵌入预测架构）的特定架构。为了简单起见，请想象两面镜子：

主动镜（上下文编码器）： 它观察当前的场景并试图猜测未来。
慢速镜（目标编码器）： 它观察实际的未来。但诀窍在于：慢速镜不会立即变化。它的更新非常缓慢，就像厚重的老玻璃中的倒影一样。

主动镜试图去匹配慢速镜。因为慢速镜总是稍微“滞后”且经过平滑处理，所以主动镜无法通过简单的复制自身来“作弊”。它必须真正学习交通流动的深层模式。如果它无法匹配慢速镜，这种“失败”（预测误差）就成为了复杂度得分。

他们的发现

他们在真实的城市驾驶数据集上进行了测试。在从未被告知“这是一个转弯”或“这是一个行人”的情况下，模型自然而然地在以下场景中给出了最高的“惊喜度”得分：

无保护左转（需要在车流间寻找间隙）。
与人行横道处的行人互动。
车辆在红灯前停车。

它在以下场景中给出了最低得分：

车辆仅仅是在车道内行驶。
完全静止且无变化的交通状况。

“消融实验”（证明这不是魔法）

为了确保这不仅仅是偶然现象，他们运行了四个“假设”实验：

洗牌测试： 如果他们随机打乱得分，模式就会消失。这证明了该系统并非在瞎猜。
随机权重： 如果他们使用一个未学习任何内容的模型（随机数字），它就无法找到复杂的场景。这证明了“学习”过程才是关键。
“物理学”基准： 他们尝试了一个简单的规则：“假设汽车保持相同的速度运动”。这个实验失败得很惨。为什么？因为复杂的事件往往始于缓慢的动作（比如车辆减速准备转弯）。简单的物理规则认为“慢即是安全”，因此会给出低惊喜度得分。然而，这个 AI 模型能识别出“缓慢接近”往往会导致“复杂的转弯”，因此它给出了高惊喜度得分。
移除“慢速镜”： 如果他们移除了让两面镜子保持差异的特殊训练技巧（EMA），系统就会崩溃。两面镜子变得完全一致，模型停止了学习，并且每个场景都得到了完全相同的得分。这证明了这种特定的训练方法是必不可少的。

结果

最后，他们测试了这种“惊喜度得分”是否可以作为一个过滤器，自动寻找危险场景。

目标： 找到前 5% 最复杂的场景。
结果： AI 模型在前 5% 的场景中找到复杂场景的准确率约为 56%。
基准线： 如果他们随机猜测，找到这些场景的概率约为 43%。
物理学基准： 那个简单的“保持相同速度运动”的规则，表现甚至比随机猜测还要差，对于前 5% 的场景。

核心结论

这篇论文表明，你不需要一个团队的人类去标注数百万小时的驾驶视频来寻找危险场景。你可以直接在原始数据上训练一个“预测型梦境家”。当梦境家对接下来会发生什么感到困惑时，这种困惑本身就是一个可靠的信号，表明驾驶情况复杂且具有潜在危险。

这就像拥有一个不需要说明书的副驾驶，他们之所以知道路况变得棘手，仅仅是因为他们无法预测即将发生的事情。

技术摘要：通过联合嵌入预测架构实现零标签驾驶场景复杂度检测

问题陈述

现实世界的自动驾驶（AV）数据集在无事发生、常规驾驶场景方面存在严重的分布倾斜，这使得识别罕见、复杂且关乎安全的事件变得耗时且昂贵。现有的解决方案依赖于人工标注、监督分类器或手工设计的规则集，所有这些方法都需要大量的先验知识或高昂的数据采集成本。作者提出了一种方案，旨在完全在无标签的情况下发现场景复杂度，即探讨一个模型是否仅凭其预测未来智能体动力学（agent dynamics）的能力，就能自主识别出高难度场景。

方法论

数据与表示

本研究利用 nuPlan mini 数据集，提取了 1,322 个场景（每个场景时长 5 秒，频率为 10 Hz）。与使用原始像素的方法不同，该方法基于结构化智能体状态数据进行操作。每个场景被表示为一个形状为 $[50, 21, 6]$ 的张量，编码了 50 个时间步和最多 21 个智能体（包括自身车辆及周围 20 个智能体）。每个智能体的六个特征包括位置（ $x, y$ ）、速度（ $v_x, v_y$ ）、朝向（ $\theta$ ）和智能体类型。数据经过归一化处理，以确保典型值落在 $[-1, 1]$ 附近。

架构：联合嵌入预测架构 (JEPA)

该方法的核心是一个在结构化智能体状态上训练的极简联合嵌入预测架构 (JEPA)。该架构由四个部分组成：

上下文编码器 (Context Encoder)： 一个 4 层 Transformer，处理前 25 个时间步（上下文窗口），生成潜在表示 $z_{ctx}$ 。
预测器 (Predictor)： 一个 2 层 Transformer，将 $z_{ctx}$ 映射到预测的未来潜在表示 $\hat{z}_{tgt}$ ，并以可学习的时刻嵌入（horizon embedding）为条件。
目标编码器 (Target Encoder)： 与上下文编码器完全相同的副本，处理未来 25 个时间步（目标窗口），生成地面真值潜在表示 $z_{tgt}$ 。至关重要的是，该编码器从未通过反向传播进行更新；其权重仅通过上下文编码器权重的指数移动平均 (EMA) 进行更新。
位置解码器 (Position Decoder)： 一个小型 MLP，将预测的潜在表示解码为未来的位置，作为辅助监督信号。

训练目标

模型使用结合了两个项的自监督损失函数进行训练：
$\mathcal{L} = \underbrace{\|\hat{z}_{tgt} - z_{tgt}\|_2^2}_{\text{JEPA 损失}} + \lambda \underbrace{\|\hat{p} - p_{tgt}\|_2^2}_{\text{位置损失}}$
其中 $\lambda = 0.1$ 。梯度流经上下文编码器和预测器，但在目标编码器处停止。EMA 更新（ $\alpha = 0.996$ ）通过确保目标编码器保持为上下文编码器的平滑历史平均值，从而防止表示崩溃（representation collapse）。

复杂度指标：惊奇度分数 (Surprise Score)

在推理阶段，不使用任何标签。场景的惊奇度分数 ( $s$ ) 定义为预测的未来潜在表示与实际的未来潜在表示之间的 L2 距离：
$s = \|\hat{z}_{tgt} - z_{tgt}\|_2$
高分表示模型对未来状态的预测不准确，意味着该场景包含了复杂的、难以预料的交互。

核心贡献

零标签复杂度评分： 作者证明，在没有任何标签的情况下，在结构化驾驶数据上训练的 JEPA 模型所产生的惊奇度分数，与地面真值场景标签（例如“无保护转弯”、“行人接近”）具有强相关性。
消融分析： 四项实验隔离了信号的来源：
- 打乱评分 (Shuffled Scores)： 确认相关性并非分析流程的人为产物。
- 随机编码器 (Random Encoder)： 证明了训练权重是必要的（随机初始化会导致无相关性）。
- 等速基准 (Constant-Velocity Baseline)： 表明简单的运动学预测无法正确对复杂场景进行排序，通常会对复杂动作前的减速接近过程分配较低的惊奇度。
- 无 EMA 训练 (No-EMA Training)： 证明如果没有 EMA，模型会发生崩溃（分数分布范围下降了 44 倍），从而证明 EMA 是实现学习时间结构的特定机制。
下游异常检测： 惊奇度分数是一个有效的零样本异常检测器，相对于 0.436 的机会基准（chance baseline），其平均精度 (AP) 达到了 0.512。

结果

标签相关性： 模型为复杂标签（如“开始无保护转弯”为 1.978，“靠近人行道上的行人”为 1.834）分配了显著更高的惊醒度分数，而为常规标签（如“跟随前车行驶在车道内”为 1.406）分配了较低的分数。
消融发现： 等速基准显示出中度相关性 ( $\rho=0.314$ )，但无法区分以受控减速开始的复杂场景。无 EMA 模型完全失效，所有场景接收到的分数几乎完全相同。
异常检测： 训练后的 JEPA 模型是唯一一种能在整个排名曲线中始终保持在机会基准之上的方法。等速基准在排名前 5% 的场景后便跌破了机会基准。
定性验证： 对惊奇度最高的 9 个场景进行视觉检查，发现存在密集的智能体聚集、交叉路口和行人过街现象；而惊奇度最低的 9 个场景则表现为稀疏的平行车道行驶。

意义与主张

本文声称，在自监督潜在世界模型中的时间预测误差，是衡量驾驶场景复杂度的实用代理指标。

机制： 模型学习预测“压缩后的未来智能体交互本质”。它针对异常的多智能体动力学产生反应，而非针对视觉噪声或静态属性。
优于运动学： 与等速基准不同，JEPA 模型能够识别出向交叉路口进行的受控减速是复杂事件的前兆，甚至在关键动作发生之前就会分配更高的惊奇度分数。
实用性： 该方法不需要标注成本。通过一个使用标准自监督目标端到端训练的单一模型，可以自动筛选数据集，通过呈现复杂场景来解决自动驾驶开发中的数据不平衡问题。

作者保持了谨慎的范围，指出其局限性包括使用了 nuPlan 的 mini 子集（1,322 个场景）以及目前与 nuPlan 数据流水线的耦合，并暗示随着更大规模数据的引入，校准效果可能会有所提升。