StandardE2E: A Unified Framework for End-to-End Autonomous Driving Datasets
本文介绍了 StandardE2E，这是一个开源框架，它通过将多种不同的自动驾驶数据集统一在单一的标准架构和接口之下，旨在简化端到端驾驶模型的跨数据集实验、预训练和预处理流程。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下你正在尝试教一个机器人开车。为此，你需要向它展示成千上万小时的视频，这些视频来自不同的汽车、不同的城市，并使用了不同的摄像头和传感器。
问题所在：巴别塔困境
目前，每一个主要的驾驶数据集（如 Waymo、Argoverse 或 NAVSIM）都说着自己的语言。
- 一个数据集将数据保存为一种类似“锁定的盒子”（Protobuf）的形式。
- 另一个使用类似“电子表格”的格式（Parquet）。
- 第三个则是一个“腌制文件罐”（Pickled files）。
- 它们对“向前”和“向左”的测量方式也各不相同。
如果一名研究人员想要使用来自两个不同来源的数据来训练他们的 AI，他们必须为每一种来源构建一个定制的“翻译器”。这就像是在做一锅炖菜，而每种食材都自带不同的语言，在开始切菜之前，你必须先为每种蔬菜写一本专门的字典。这既缓慢、昂贵又令人沮丧。
解决方案：StandardE2E
这篇论文介绍了一个名为 StandardE2E 的框架，它充当了一个通用翻译器和一个大厨的备菜站。它的目标是将所有这些杂乱、各异的数据源转化为一种单一、整洁的标准格式，让任何 AI 模型都能立即“食用”。
以下是它的工作原理，我们使用了一些类比：
1. “通用适配器”（翻译器）
把每个数据集的原始数据想象成各种不同的电源插头（美国、英国、欧洲等）。你不能直接把它们插进你的墙上插座（AI 模型）。
- StandardE2E 说：“我们不需要改变墙上的插座。”
- 相反，我们只需为每个特定的数据集构建一个单一的小型适配器。这个适配器会将该数据集奇特的原生格式转换为一个标准的“插头”，称为
StandardFrameData。 - 一旦数据进入了这个标准插头，系统就不再关心它来自哪里。它们全都变得一样了。
2. “备菜站”（适配器链）
一旦数据进入标准格式，它就会进入一个“备菜站”（称为适配器链）。
- 想象一条工厂流水线。原始数据进来后，你可以精确选择想要保留的内容。
- 你需要高清视频吗？流水线会对它进行缩放和裁剪。
- 你需要道路的 3D 地图吗？流水线会将激光扫描转换为平面的鸟瞰视图。
- 你不需要音频吗？流水线会直接将其丢弃。
- 神奇之处在于： 你可以通过一个简单的清单（YAML 文件）来配置这条流水线。如果你没有勾选“LiDAR（激光雷达）”，系统就永远不会浪费时间去处理它。这节省了大量的计算能力和硬盘空间。
3. “大师级食谱书”（索引）
数据经过处理后，会以整齐有序的方式（作为 .npz 文件）保存到硬盘中，并创建一个“大师级食谱书”（Parquet 索引）。
- 这本书不仅列出了文件，还详细说明了每个文件内部包含什么。
- 它允许研究人员说：“我只想训练发生在芝加哥雨天的场景，”或者“我想把 50% 的 Waymo 数据和 50% 的 Argoverse 数据混合在一起。”
- 因为一切都在同一种格式下，计算机可以瞬间抓取并混合来自不同来源的数据，就像将不同的水果搅拌成一杯单一的奶昔。
4. “智能厨房”（统一数据集）
最后，AI 模型（大厨）开始工作。它使用一个 PyTorch DataLoader，这就像是一个智能厨房助手。
- 这个助手查看“大师级食谱书”。
- 它从不同的数据集中抓取预处理好的食材（标准数据文件）。
- 它以稳定、持续的流式方式将数据喂给 AI 模型。
- AI 模型并不知晓、也不在乎某些数据是来自旧金山的汽车还是来自伦敦的汽车。对于模型来说，它们全都是“驾驶数据”。
为什么这很重要？
论文声称，在此之前，为一个研究项目添加新数据集是一件极其头疼的事，需要从头开始重写代码。有了 StandardE2E，添加一个新数据集只需编写一个小型“翻译器”脚本即可。
该框架已经开箱即用地支持了六个主要数据集（包括 Waymo、Argoverse 和 NAVSIM）。作者表示，由于该系统具有高度的模块化，未来添加第七个数据集将会非常快速且简单，从而允许研究人员自由地混合和匹配数据，以构建更强大的自动驾驶汽车。
简而言之： StandardE2E 让研究人员不再把时间浪费在为每个新数据集构建定制翻译器上，而是让他们能够专注于真正教车如何驾驶。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。