💻 computer science

Scaling-Aware Data Selection for End-to-End Autonomous Driving Systems

本文提出了名为 MOSAIC 的通用数据选择框架，该框架通过分区数据集、拟合神经缩放律并迭代优化数据混合比例，在自动驾驶端到端规划任务中以少至 80% 的数据量实现了优于基线的 EPDMS 评估指标。

原作者： Tolga Dimlioglu, Nadine Chang, Maying Shen, Rafid Mahmood, Jose M. Alvarez

发布于 2026-04-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Tolga Dimlioglu, Nadine Chang, Maying Shen, Rafid Mahmood, Jose M. Alvarez

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 MOSAIC 的新方法，旨在帮助自动驾驶汽车（AI 司机）更聪明、更高效地学习。

为了让你轻松理解，我们可以把训练自动驾驶 AI 的过程想象成培养一名“超级司机”。

1. 核心问题：为什么现在的“司机”学得很慢？

想象一下，你有一本厚厚的驾驶教科书（海量数据），里面包含了成千上万小时的驾驶视频。

现状：以前的做法是，不管视频里是下雨天、堵车、还是空旷的高速公路，统统一股脑地塞给 AI 去学。
问题：
1. 资源浪费：就像让一个新手司机反复练习“在空无一人的直路上开直线”一样，这对他学“如何在复杂路口转弯”毫无帮助，纯属浪费时间。
2. 顾此失彼：自动驾驶不仅要开得稳（不撞车），还要守规矩（不闯红灯）、坐得舒服（不晕车）。有时候，专门练“高速超车”的视频，反而会让它“在狭窄街道停车”的能力变差。
3. 盲目：我们不知道哪类视频对提升哪方面能力最有用。

2. MOSAIC 是什么？（聪明的“课程表”制定者）

MOSAIC 就像一个超级精明的“驾校教练”，它不让你漫无目的地刷题，而是为你量身定制一份最高效的学习计划。它的名字 MOSAIC 代表“马赛克”，寓意把不同的数据块拼凑成完美的整体。

它的工作流程分为三步，我们可以用**“挑选食材做一道完美大餐”**来比喻：

第一步：分类（把食材分门别类）

教练先把所有的驾驶视频（食材）分成不同的“类别”。

比如：有的视频是“暴雨天”，有的是“早高峰堵车”，有的是“乡村小路”。
比喻：就像把蔬菜、肉类、海鲜分开，而不是混在一个大袋子里。

第二步：预测（估算每种食材的“营养值”）

这是 MOSAIC 最厉害的地方。它利用**“缩放定律”**（Scaling Laws，一种数学规律）来预测：

如果我再多吃点“暴雨天”的视频，我的“雨天驾驶能力”能提升多少？
如果我再多吃点“堵车”的视频，我的“跟车距离控制”能提升多少？
比喻：就像营养师知道，吃 100 克牛肉能补多少铁，吃 100 克菠菜能补多少维生素。MOSAIC 能算出：“再学 10 个‘暴雨’视频，比学 10 个‘晴天’视频，对提升整体成绩更有效。”

第三步：迭代挑选（动态调整菜单）

教练不会一次性定死菜单，而是一步步来：

先看现在缺什么？（比如“雨天能力”还差一点）。
看哪个类别的“营养”提升最快？（发现“暴雨”视频性价比最高）。
挑一个最好的“暴雨”视频加进去。
再重新评估，发现现在“暴雨”练得差不多了，边际效益下降了，于是转而去练“乡村小路”。

比喻：这就像你在健身，今天练腿效果最好，就练腿；明天腿练累了，效果变差，教练就让你换练手臂。MOSAIC 始终让你在做**“性价比最高”**的训练。

3. 结果有多惊人？

论文在真实的自动驾驶测试（NAVSIM 和 OpenScene 数据集）中进行了实验：

省料：MOSAIC 只需要用不到 20%（甚至少 80%）的数据量，就能达到其他方法用海量数据训练出来的效果。
更强：在同样的数据量下，MOSAIC 训练出来的 AI 司机，在遵守交通规则、避免碰撞等综合评分上，比那些“笨办法”（随机挑选或只挑难的视频）都要好得多。

4. 总结：为什么这很重要？

以前，为了让 AI 变强，我们只能**“堆数据”**（Data Brute Force），像无头苍蝇一样收集海量视频，既费钱又费时间。

MOSAIC 的核心贡献是：
它不再盲目地“多”，而是追求“精”。它通过科学地分析不同场景对 AI 能力的具体影响，像配药方一样精准地混合数据。

一句话总结：
MOSAIC 就是自动驾驶领域的**“顶级私教”**，它知道什么时候该练什么，用最少的训练时间（数据），把 AI 司机培养成最安全、最守规矩的“老司机”。

这是一篇关于端到端自动驾驶系统数据选择的学术论文，提出了一种名为 MOSAIC (Mixture Optimization via Scaling-Aware Iterative Collection) 的通用数据选择框架。该框架旨在解决在有限的数据预算下，如何通过智能选择数据来最大化模型在多个竞争指标上的性能。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

背景：大规模深度学习模型（特别是物理 AI，如自动驾驶）依赖于多样化的数据收集。然而，收集到的数据量往往极其庞大（数亿小时），直接训练所有数据在计算上是低效的。因此，需要数据混合（Data Mixture）选择策略来构建最具影响力的训练集。
核心挑战：
1. 多指标竞争：物理 AI 系统（如自动驾驶）需要在多个可能相互竞争的指标上进行评估（例如：既要遵守交通规则，又要保证行驶舒适，还要避免碰撞）。
2. 数据异质性与影响率差异：不同的数据样本对不同指标的影响速率不同。例如，某些场景可能显著提升车道保持能力，但对舒适性提升甚微。
3. 领域划分模糊：现有的数据混合方法通常假设数据可以划分为定义明确且同质的领域（Domain），但现实数据往往难以直接分离，且不同来源的数据对性能提升的贡献是非线性的。
目标：在有限的预算（B）下，从数据池（ $D_{pool}$ ）中选择一个子集（ $D_{sel}$ ），使得模型在重新训练后，其聚合效用函数（Utility Function，通常由多个评估指标加权组成）最大化。

2. 方法论：MOSAIC 框架 (Methodology)

MOSAIC 是一个三阶段的数据选择框架，核心思想是利用**神经缩放定律（Neural Scaling Laws）**来指导迭代式的数据收集。

2.1 核心流程

聚类与排序 (Clustering & Ranking)：
- 将数据池 $D_{pool}$ 划分为 $M$ 个离散的领域（Clusters），这些领域代表不同的驾驶场景上下文（如不同的城市、天气或道路类型）。
- 在每个聚类内部，根据样本对效用函数的潜在贡献（重要性分数 $I(x)$ ）对样本进行排序。优先选择高影响力的样本。
估算领域缩放定律 (Estimating Cluster Scalings)：
- 对于每个聚类，通过小规模试点运行（Pilot Runs）拟合饱和指数缩放定律：
  $\Delta U_i(n) \approx a_i (1 - e^{-n/\tau_i})$
  其中， $n$ 是添加的样本数， $a_i$ 代表该领域的渐近改进上限， $\tau_i$ 控制边际收益递减的速率。
- 这一步量化了从特定领域增加数据时，模型性能（效用 $U$ ）的预期提升曲线。
基于缩放感知的迭代收集 (Scaling-Aware Iterative Collection)：
- 将数据混合优化问题转化为一个代理优化问题：在总预算 $B$ 下，分配每个领域的样本数量 $n_i$ 以最大化总效用增益。
- 算法采用贪心迭代策略：在每一步，计算从每个领域再添加一个样本的边际增益（即一阶差分 $\delta_i(b_i)$ ）。
- 选择边际增益最大的领域，从中按重要性排序取出下一个样本加入训练集，并更新该领域的计数。
- 重复此过程直到达到预算上限。

2.2 数学形式化

目标函数被近似为各独立领域增益的线性叠加（假设领域间交互项较小）：
$\max_{n_1, \dots, n_M} \sum_{i=1}^M \Delta U_i(n_i) \quad \text{s.t.} \sum n_i = B$
通过求解上述凹最大化问题，MOSAIC 能够动态调整不同场景数据的采样比例，优先采集那些处于“高回报区”的数据。

3. 主要贡献 (Key Contributions)

提出 MOSAIC 框架：首个将聚类、样本排序和领域特定缩放定律建模相结合的数据选择流水线。它不依赖固定的领域划分，而是通过数据驱动的方式发现具有不同缩放特性的子集。
在端到端自动驾驶中的成功应用：
- 在 NAVSIM 和 OpenScene 基准测试上，使用获奖模型 Hydra-MDP 进行了验证。
- 优化目标为 EPDMS（Extended Predictive Driver Model Score），这是一个综合了 9 项驾驶规则合规性指标（如车道保持、避免碰撞、交通灯遵守等）的聚合分数。
显著的数据效率提升：
- MOSAIC 在达到相同性能水平时，比随机选择（Random）和其他基线方法（如 Coreset, Chameleon, Uncertainty）节省高达 80% 的数据。
- 在 OpenScene 实验中，仅需 42% 的数据量即可达到全量数据训练的性能。
鲁棒性验证：
- 证明了该框架对聚类方式不敏感（无论是基于地理位置还是基于语义描述/Captions 聚类，均表现优异）。
- 消融实验表明，“聚类 + 排序 + 缩放建模”的组合缺一不可，其中排序确保了样本质量，缩放建模确保了资源分配的最优性。

4. 实验结果 (Results)

性能表现：
- 在 OpenScene 数据集上，MOSAIC 在所有预算下均取得了最高的 EPDMS 分数（比次优方法高出约 1 分）。
- 在 Navtrain（更复杂的非平凡驾驶场景）数据集上，MOSAIC 同样表现最佳，EPDMS 提升明显，且 BRMR（匹配随机选择性能所需的数据预算比率）低于 0.4，意味着仅需 40% 的数据量。
指标分解：
- MOSAIC 能够识别哪些指标（如 DAC - 避免碰撞）仍有较大提升空间，并针对性地采集相关数据，而不是盲目提升所有指标。
- 相比之下，其他方法（如 Uncertainty）往往在次要指标上提升，而忽略了关键指标。
计算成本分析：
- 虽然 MOSAIC 需要额外的计算成本进行试点运行（Pilot Runs）以拟合缩放曲线，但在大数据预算下，其节省的总训练计算量（GPU Hours）远超初始开销。在最高预算下，相比随机选择节省了 57% 的算力。

5. 意义与局限性 (Significance & Limitations)

意义：
- 为物理 AI 系统提供了一种**原则性（Principled）**的数据选择蓝图，解决了多目标优化下的数据分配难题。
- 证明了利用缩放定律指导数据收集比传统的基于不确定性或多样性的方法更有效。
- 对于资源受限的自动驾驶开发，能够显著降低数据采集和标注成本，加速模型迭代。
局限性：
- 线性近似假设：该方法假设不同领域对性能的提升是独立的（忽略交叉领域交互项）。如果聚类效果不佳导致领域间强耦合，近似误差可能会增大。
- 试点运行开销：需要额外的计算资源来拟合缩放曲线，尽管长期来看是划算的，但在极小预算或算力极度受限的场景下可能是一个门槛。

总结

MOSAIC 通过结合数据聚类、样本重要性排序和神经缩放定律，实现了一种智能的、自适应的数据混合优化策略。在端到端自动驾驶任务中，它证明了**“更少但更聪明”的数据选择**可以大幅超越传统方法，在大幅减少数据需求的同时，显著提升模型在复杂现实场景中的综合驾驶能力。