⚡ electrical engineering

On-Policy Distillation of Language Models for Autonomous Vehicle Motion Planning

该论文提出了一种基于 GPT-Driver 框架的在线策略广义知识蒸馏方法，成功将大型语言模型的运动规划知识高效迁移至规模缩小 5 倍的轻量级学生模型，使其在 nuScenes 基准测试中性能接近教师模型并显著优于强化学习基线，从而解决了大模型在自动驾驶车载资源受限环境下的部署难题。

原作者： Amirhossein Afsharrad, Amirhesam Abedsoltan, Ahmadreza Moradipari, Sanjay Lall

发布于 2026-04-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Amirhossein Afsharrad, Amirhesam Abedsoltan, Ahmadreza Moradipari, Sanjay Lall

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲的是如何让自动驾驶汽车变得更聪明，同时还能在算力有限的车载电脑上跑得飞快。

为了让你更容易理解，我们可以把整个过程想象成**“教一个新手司机（学生）向一位顶级赛车手（老师）学习开车”**的故事。

1. 背景：为什么需要“教”？

现在的自动驾驶技术里，有一种很厉害的方法叫**“大语言模型”（LLM）。你可以把它想象成一位博学的赛车手老师**。

老师的厉害之处：他读过无数本书，见过各种路况，能像人类一样用“语言”思考（比如：“前面有个行人，我要减速右转”），然后规划出完美的行车路线。
老师的缺点：这位老师太“胖”了（模型太大），脑子转得太慢，而且需要超级计算机才能跑起来。普通的汽车电脑（车载芯片）根本带不动他，就像你没法把一台巨大的服务器塞进汽车里一样。

目标：我们需要培养一个**“瘦小但机灵”的学生司机**（小模型），让他能装进车里，同时还能像老师一样聪明。

2. 核心难题：传统的“死记硬背”行不通

以前教学生，通常是把老师写好的“完美路线”直接给学生背。

问题：这就像学生只背了标准答案，但一上路，只要稍微走错一步（比如第一个转弯角度偏了一点点），后面所有的路线都会跟着错，最后可能直接撞车。这在自动驾驶里叫**“误差累积”**。

3. 论文提出的两种“教学法”

作者对比了两种教学生的方法：

方法 A：强化学习（RL）——“只给分数的教练”

怎么教：学生自己开车，开完一段路后，老师只看学生最后选的那个动作，然后给个分数：“这个动作不错，加 1 分”或者“这个动作不好，扣 1 分”。
比喻：就像你蒙着眼睛开车，开完一段，教练只告诉你“刚才那个方向盘打得还行”，但他没告诉你“其实往左打一点点会更好”或者“往右打会撞墙”。学生只能靠猜，不知道周围还有哪些更好的选择。
结果：学生学得比较慢，而且容易走弯路。

方法 B：GKD（在线策略蒸馏）——“手把手的全知教练”

怎么教：这是论文的主角。学生自己开车，开一步，老师就立刻在他耳边说：“你看，在这个路口，我有 80% 的概率会选左转，15% 的概率选直行，5% 的概率选右转。你刚才选了直行，虽然也能走，但左转其实更优。”
比喻：老师不仅告诉你**“你做得对不对”，还把你“没选的那些路”**的可能性都展示给你看。他让你明白，为什么“左转”比“直行”好，以及“右转”为什么是危险的。
关键点：老师是在学生自己开车的时候实时指导的，而不是等开完了再改作业。这样学生就能在犯错的过程中立刻修正，学会如何处理复杂的连续动作。

4. 实验结果：谁赢了？

作者用真实的自动驾驶数据（nuScenes 数据集）进行了测试：

老师（大模型）：80 亿参数，开得最稳，几乎不撞车。
GKD 学生（小模型）：只有 17 亿参数（是老师的 1/5），成绩惊人地接近老师。
- 路线准确度：只比老师差一点点（约 5%）。
- 安全性：几乎和老师一样，很少撞车。
RL 学生（小模型）：也是 17 亿参数，但表现差很多。
- 路线偏差大，撞车率是 GKD 学生的 2 倍多。

5. 为什么 GKD 这么厉害？

这就回到了那个**“坐标”**的问题。

自动驾驶规划路线时，需要输出一连串的数字（比如：x=1.23, y=4.56...）。
RL 方法只告诉学生：“你刚才写的'1'是对的”。
GKD 方法告诉学生：“在这个位置，'1'是大概率，'2'也有可能，但'9'绝对不行，因为那样车就飞出去了。”
这种**“全知视角”**的反馈，让学生不仅学会了“怎么做”，还学会了“为什么不能那么做”，从而在复杂的驾驶场景中更加稳健。

总结

这篇论文的核心贡献就是证明了一种**“高效且安全”的压缩技术：
我们可以把一位“超级赛车手老师”的智慧，通过“手把手实时教学”（GKD），完美地传递给一个“小巧玲珑的学生”**。

这意味着什么？
这意味着未来我们的汽车不需要巨大的服务器，只需要一块普通的芯片，就能运行像顶级专家一样聪明的自动驾驶系统，既省钱、省电，又安全。这为自动驾驶真正走进千家万户扫清了一个巨大的技术障碍。

论文技术总结：基于策略蒸馏的语言模型用于自动驾驶运动规划

1. 研究背景与问题定义 (Problem)

背景：
大型语言模型（LLM）通过将轨迹预测重构为语言生成问题，在自动驾驶运动规划领域展现出巨大潜力。例如，GPT-Driver 框架将驾驶场景转化为自然语言提示，利用思维链（Chain-of-Thought）推理生成包含航路点（waypoints）的轨迹。然而，高性能 LLM 通常参数量巨大，难以在资源受限的车载嵌入式系统中进行实时推理。

核心挑战：
传统的知识蒸馏（Knowledge Distillation, KD）方法通常存在**训练 - 推理分布不匹配（Train-Inference Distribution Mismatch）**的问题：

训练时：学生模型基于教师模型生成的完整序列或真实标签进行监督学习。
推理时：学生模型必须基于自身生成的（可能包含错误的）前缀来预测下一个 token。
后果：在自回归生成中，早期的微小误差（如坐标数字错误）会级联放大，导致后续整个轨迹偏离，这在运动规划中是致命的。

研究目标：
研究如何有效地将大型教师 LLM 的运动规划知识迁移到更小、更易于部署的学生模型中，同时解决分布不匹配问题，确保在压缩模型规模的同时保持高安全性和准确性。

2. 方法论 (Methodology)

本文基于 GPT-Driver 框架，提出了一种**基于策略的广义知识蒸馏（On-Policy Generalized Knowledge Distillation, GKD）**方法，并将其与一种基于密集反馈的强化学习（RL）基线进行了对比。

2.1 任务设定

输入：感知与预测系统的输出（自然语言描述的车辆、行人等对象状态）+ 自车状态（速度、加速度、历史轨迹）+ 任务目标。
输出：包含四个部分的结构化文本：(i) 显著对象识别，(ii) 潜在影响分析，(iii) 元动作（高层决策），(iv) 6 个航路点坐标（3 秒内，每 0.5 秒一个）。
模型架构：
- 教师模型：Qwen3-8B，在 nuScenes 数据集上经过监督微调（SFT）。
- 学生模型：Qwen3-1.7B（教师规模的 1/5）。

2.2 核心方法：基于策略的广义知识蒸馏 (GKD)

GKD 通过让学生模型在**自身生成的序列（On-Policy）**上进行训练，解决了分布不匹配问题。

训练过程：
1. 学生模型根据输入提示 $x$ 采样生成完整响应 $\hat{y}$ 。
2. 计算学生模型在生成序列 $\hat{y}$ 的每个 token 位置上的分布与教师模型分布之间的散度。
3. 关键机制：梯度不通过学生模型的采样过程反向传播（即采样前缀被视为常数），仅对 token 级别的散度进行优化。这类似于停止梯度（Stop-Gradient）操作，降低了方差并提高了训练稳定性。
散度选择：使用广义 Jensen-Shannon 散度（JSD），在正向 KL（覆盖模式）和反向 KL（寻找模式）之间取得平衡（ $\beta=0.5$ ）。
优势：教师模型提供的是**全词汇表（Full-vocabulary）**的概率分布信号。对于坐标生成，这意味着学生不仅能知道“3"是合理的，还能知道"4"也是合理的，而"9"是不合理的。这种丰富的信号帮助学生理解坐标序列的隐含物理结构。

2.3 对比基线：密集反馈强化学习 (Dense-Feedback RL)

方法：将教师模型的 log-probabilities 作为每个 token 的奖励信号，使用策略梯度（Policy Gradient）更新学生模型。
信号差异：RL 基线仅基于采样到的 token 提供标量奖励信号（优势函数），丢弃了关于其他未采样 token 的信息。这类似于稀疏奖励，对于需要精确数值序列的规划任务，信息量不足。

3. 实验设置 (Experimental Setup)

数据集：nuScenes 自动驾驶数据集（GPT-Driver 处理版本），包含 1000 个驾驶场景。
评估指标：
- L2 位移误差：预测航路点与真实轨迹的欧氏距离（1s, 2s, 3s 视界）。
- 碰撞率：预测轨迹与真实物体边界框的重叠比例。
- 格式错误率：无法解析出有效 6 点轨迹的比例。
硬件：8 张 NVIDIA H200 GPU。
对比对象：
1. 教师模型 (Qwen3-8B)
2. GKD 学生模型 (Qwen3-1.7B)
3. RL 学生模型 (Qwen3-1.7B)

4. 主要结果 (Results)

实验结果表明，GKD 方法显著优于 RL 基线，并非常接近教师模型的性能，尽管学生模型参数量仅为教师的 1/5。

指标	教师 (8B)	GKD 学生 (1.7B)	RL 学生 (1.7B)	结论
平均 L2 误差 (STP-3)	0.355 m	0.373 m	0.579 m	GKD 比教师仅差 5%，比 RL 好 55%
平均 L2 误差 (UniAD)	0.730 m	0.772 m	1.092 m	GKD 比教师仅差 6%，比 RL 好 41%
平均碰撞率 (STP-3)	0.101%	0.138%	0.363%	GKD 的碰撞率是 RL 的 1/3 左右
格式错误率	~0.08%	0%	0%	两者均能完美掌握结构化输出格式

误差累积效应：随着时间视界（1s -> 3s）的增加，RL 模型的误差增长速度快于 GKD，表明 RL 在长序列生成中更容易发生误差级联。
定性分析：在复杂的转弯场景中，GKD 学生生成的轨迹虽然未能完美复刻教师，但比 RL 学生更接近真实轨迹（ADE 误差 3.09m vs 6.29m）。
训练稳定性：GKD 学生在训练过程中性能稳步提升（最佳在 Epoch 3），而 RL 基线在 Epoch 1 达到峰值后性能下降，显示出 RL 在结构化序列生成任务中更容易过拟合或不稳定。

5. 核心贡献 (Key Contributions)

高效的模型压缩：证明了基于策略的知识蒸馏（GKD）可以将 LLM 规划器压缩 5 倍（从 8B 到 1.7B），同时保持接近教师模型的轨迹精度和安全性。
算法对比研究：在严格控制变量的条件下，首次系统性地对比了**全分布匹配（GKD）与采样 token 奖励塑形（RL）**在自动驾驶规划任务中的表现。
实证结论：揭示了在运动规划等需要精确数值序列的任务中，GKD 提供的丰富分布信号（Full-distribution signal）比 RL 的标量奖励信号（Scalar reward）更为关键，能有效防止误差级联并提升安全性。

6. 意义与展望 (Significance)

实际部署价值：该研究为在资源受限的车载硬件上部署基于 LLM 的自动驾驶规划器提供了一条切实可行的技术路径。通过 GKD，可以在不牺牲太多性能的前提下，大幅降低计算成本和内存需求。
理论启示：强调了在序列决策问题（特别是涉及物理约束的规划）中，解决训练 - 推理分布不匹配的重要性。GKD 通过“自举”（On-Policy）训练和全分布监督，比传统的 RL 方法更适合此类任务。
未来方向：包括在闭环仿真中进行评估、引入矢量地图和传感器输入、研究师生模型容量比例对蒸馏质量的影响，以及将显式的安全目标整合到蒸馏过程中。

总结：本文提出了一种基于 GKD 的 LLM 蒸馏方案，成功解决了自动驾驶运动规划中模型压缩与分布不匹配的难题，证明了其相比强化学习基线在精度、安全性和训练稳定性上的显著优势。