VERDI: VLM-Embedded Reasoning for Autonomous Driving
本文提出了 VERDI 框架，通过将视觉语言模型（VLM）的推理过程与常识知识蒸馏至感知、预测和规划等中间模块，在无需推理时调用大模型的前提下，显著提升了自动驾驶系统在开放与闭环场景中的决策性能与安全性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这篇论文介绍了一个名为 VERDI 的新系统，它的核心目标是让自动驾驶汽车像人类司机一样“会思考”，而不仅仅是“会模仿”。
为了让你更容易理解，我们可以把自动驾驶系统想象成一个正在学开车的实习生，把大模型（VLM）想象成一位经验丰富的老司机导师。
1. 现在的困境：实习生只会“死记硬背”
目前的自动驾驶技术（End-to-End 模型）就像那个实习生。它看了成千上万个小时的人类驾驶录像，学会了“看到红灯就停，看到绿灯就走”。
- 优点：反应快，算得准。
- 缺点：它不懂为什么。如果遇到没见过的奇怪情况（比如前面有辆卡车，但旁边有个奇怪的路障），它可能会因为没在录像里见过而不知所措，或者做出危险的决定。它缺乏“常识”。
2. 之前的尝试：请个“超级导师”实时指导
最近，有人想：既然大语言模型（VLM）像博学的老司机，能理解复杂的场景和推理，那我们让它在开车时实时给实习生出主意吧？
- 问题：这个“超级导师”太笨重了！
- 太慢：它思考一次需要好几秒，而开车需要毫秒级的反应。
- 太贵：需要巨大的电脑内存，普通汽车根本装不下。
- 不靠谱：有时候这个导师自己也会“胡言乱语”（幻觉），比如把路边的垃圾桶看成行人，导致车乱开。
3. VERDI 的解决方案：把导师的“智慧”装进实习生的脑子里
VERDI 的聪明之处在于，它不在开车的时候请导师，而是在训练的时候把导师的智慧“蒸馏”（提取并压缩）进实习生的大脑里。
这就好比：
你不想在考试时一直带着百科全书（太慢太重），于是你在备考时，让百科全书里的专家给你讲题，让你理解背后的逻辑和常识。等到真正考试（上路开车）时，你不需要带书，因为那些逻辑已经刻在你的脑子里了。
具体是怎么做的？（三个步骤的“师徒对话”）
VERDI 把开车过程分成了三个环节，让“导师”（VLM）和“实习生”（自动驾驶模型）在这三个环节里进行思维对齐：
感知（Perception）——“你看到了什么？”
- 导师看着路况图片说：“前面有个白卡车，左边有个绿色垃圾桶，右边有个蓝色路障。”
- 实习生不仅要识别出这些物体，还要学习导师描述这些物体时的语义特征（比如理解“绿色垃圾桶”意味着什么）。
- 比喻：就像老师教学生认字，不仅教学生认出“猫”这个字，还教学生理解“猫”是毛茸茸的、会抓老鼠的。
预测（Prediction）——“别人会做什么？”
- 导师推理：“白卡车在往前开，那个行人要过马路了。”
- 实习生学习这种推理逻辑，预测其他车辆和行人的未来动作，而不是瞎猜。
- 比喻：老师教学生预判：“那个小孩在路边玩球，球可能会滚到路上，所以我们要减速。”
规划（Planning）——“我该怎么做？”
- 导师决定：“因为前面有车，我们要稍微慢一点，然后向左打一点点方向盘。”
- 实习生学习这种决策背后的常识，而不是死板地执行指令。
- 比喻：老师教学生：“虽然绿灯亮了，但前面有人过马路，我们要等一等，这才是安全的。”
4. 结果如何？
- 速度快：因为开车时不需要调用那个笨重的“超级导师”，VERDI 跑起来非常快（每秒 4.5 帧），完全满足实时驾驶需求。
- 更安全：在模拟测试中，VERDI 比没有这种“思维训练”的普通模型少撞了 10%。它学会了像人类一样，在危险边缘懂得“见好就收”或“谨慎通过”。
- 更聪明：它能处理一些训练数据里没见过的复杂情况（比如复杂的路口、奇怪的障碍物），因为它学会了推理的逻辑，而不仅仅是模仿动作。
总结
VERDI 就像是一个“超级速成班”。它利用大模型（VLM）作为老师，在训练阶段把“老司机”的常识、推理能力和安全意识，通过一种巧妙的方法（特征对齐），全部“灌输”给了轻量级的自动驾驶模型。
最终，这辆自动驾驶汽车既保留了实习生的“手速”（反应快、成本低），又拥有了老司机的“脑速”（会思考、懂常识），从而在复杂的现实世界中开得更安全、更聪明。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。