TerraTransfer: Learning End-to-End Driving Policies Without Expert Demonstrations
TerraTransfer 引入了一种端到端的自动驾驶框架，通过将策略学习与视觉感知解耦，消除了对专家演示的需求，利用矢量化模拟器中的自我博弈来生成驾驶策略，随后仅使用配对的（图像，场景状态）数据将该策略与预训练的视觉主干进行对齐。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下正在教一辆自动驾驶汽车开车。通常，行业的标准做法就像雇佣一名拥有数百万英里驾驶经验的人类教练。你记录他们的每一个动作，标注数据（他们看到了什么，做了什么），然后尝试教 AI 去模仿他们。这既昂贵又缓慢，而且 AI 只能从人类的“完美时刻”中学习，从而错过了现实道路上真正发生的那些混乱、危险的险些碰撞的情况。
TerraTransfer 提出了一种完全不同的教学方式，它不需要任何人类驾驶日志。可以将其视为一个两步走的流程：第一，在电子游戏中学习驾驶。第二，学习观察真实世界。
以下是其工作原理，使用了简单的类比：
第一阶段：“电子游戏”司机（自我博弈）
想象一款电子游戏，成千上万辆车在虚拟城市中行驶。在这款游戏中，车辆并非由人类控制，而是由一个单一的 AI 大脑控制，它通过不断地与自己对弈来进行学习。
- 超能力： 因为这是一个电子游戏（一个“矢量化模拟器”），AI 每秒可以驾驶 200 万步。在人类驾驶一英里的时间内，它可以在模拟中经历数百万次碰撞、恢复和从险些碰撞中学习的过程。
- 结果： 这个 AI 成了一名驾驶大师。它知道在每种情况下该做什么，因为它在模拟中经历过每一种可能的灾难与成功。
- 缺陷： 这个驾驶大师对真实世界是“盲目”的。它不看摄像机图像；它只看到一组数字（例如“前方车辆距离 50 米”）。这就像一位国际象棋特级大师，如果有人告诉他棋盘坐标，他就能下棋，但他无法真正“看到”棋盘。
第二阶段：“眼睛”（视觉对齐）
现在，我们需要教会一辆真实的汽车（配备了摄像机）像那位游戏大师一样驾驶。通常，你需要向这辆真实的汽车展示数百万小时的人类驾驶过程来教它。TerraTransfer 做了一些更聪明的事情。
- 设置： 我们获取第一阶段中那个“盲目”的驾驶大师，并冻结它的脑部。它不再学习，而仅仅充当“老师”。
- 学生： 我们构建一个新的 AI，它拥有摄像机（眼睛）但没有驾驶经验。
- 课程： 我们给“学生”看一张道路照片，而“老师”（它看到的同一条道路是一组数字）告诉“学生”：“如果我看到了这组数字，我会向左转。你，看着这张照片，也应该向左转。”
- 魔术技巧： 论文引入了一种特殊的“结构化损失（structural loss）”。想象一下，老师的大脑将驾驶情况组织得像一个图书馆。与其强迫学生记住每一本书的具体书名（每一个具体的数字），不如让学生学习图书馆的布局。它学习到“雨天且前方有慢车”的感觉，在老师的脑海中与“雾天且前方有慢车”的感觉是相似的。通过匹配这种内部关系的地图，学生无需看到人类的驾驶日志，就能学会正确驾驶。
为什么这很重要
- 无需人类日志： 你不需要雇佣司机、记录他们的里程，也不需要支付昂贵的数据标注费用。这位“老师”完全是通过在模拟器中玩耍来学习的。
- 更便宜、更快： 在强大的计算机上训练“老师”仅用了 96 小时。对齐“学生”（带摄像机的车）仅用了 10 小时。
- 擅长处理极端情况： 因为老师在游戏中通过碰撞和恢复进行学习，它天生擅长处理罕见、危险的情况（即“长尾”问题），而人类日志往往会遗漏这些情况。
结果
当他们在一种现实感极强的、照片级的模拟环境（使用 3D 高斯泼溅技术，使虚拟世界看起来像真实的视频）中测试这个新的“学生”车时，它的表现与现有的依赖人类数据的最佳自动驾驶系统一样好，甚至更好。
当前的局限性
论文诚实地说明了它目前还不能做到的事情：
- 视觉细节： 由于老师是从简单的形状（方块）中学习的，学生可能会错过细微的视觉线索，比如驾驶员挥手或刹车灯闪烁。
- 行人与骑行者： 模拟主要处理汽车，因此 AI 尚未学会在与自行车手或步行者共享道路方面做得很好。
- 交通灯： 它尚未完全掌握复杂的交叉路口规则。
简而言之： TerraTransfer 教会汽车驾驶的方法，是让它通过玩一款超高速的电子游戏来成为大师，然后教一辆配备摄像机的车去模仿那位大师的逻辑，从而完全跳过了复制人类驾驶员这一既昂贵又缓慢的过程。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。