💻 computer science

Before Parc Fermé: RL-Time Pruning for Efficient Embodied LLMs in Autonomous Driving

该论文提出了“赛前准备”（Before Parc Fermé, BPF），一种新颖的剪枝策略，通过在强化学习过程中进行迭代式模型压缩来优化用于自动驾驶的具身大语言模型控制器，实现了优于后训练剪枝或选择更小稠密模型的性能-显存权衡，且解码吞吐量提升高达 27%。

原作者： Luca Benfenati, Ali Azimi, Matteo Risso, Fabio Carapellese, Daniele Jahier Pagliari, Alessio Burrello

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Luca Benfenati, Ali Azimi, Matteo Risso, Fabio Carapellese, Daniele Jahier Pagliari, Alessio Burrello

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你拥有一个名叫 RobotxR1 的天才、超级聪明的机器人驾驶员。这个驾驶员由一个被称为“大语言模型”（LLM）的“大脑”驱动。把这个大脑想象成一位世界级的一级方程式赛车（F1）工程师，他读过每一本关于驾驶的书籍，了解每辆车的物理特性，并且能理解你用任何自然语言给出的指令。

然而，问题在于：这个工程师太庞大了。他背着一个装满书籍的巨大背包（记忆），并且在给出指令前需要思考很长时间（延迟）。如果你试图把这个沉重的背包放在一辆小巧、快速的赛车（实际的机器人）上，这辆车就会变得无法进行实时比赛。这就像是试图背着一台钢琴去跑马拉松。

问题所在：何时缩小大脑？

为了让机器人变得更快，工程师通常尝试对大脑进行“剪枝”（Pruning）。剪枝就像是编辑一份手稿：你删掉不必要的句子、段落或整个章节，使书变得更短、更轻。

但棘手的地方在于：你何时进行编辑？

比赛结束后？（训练后/Post-training）：你训练完整的脑，让它学习一切，然后尝试将其缩小。问题是，大脑已经记住了那些错误的、沉重的部分，而进行切割可能会破坏它的驾驶能力。
开始训练之前？（预训练/Pre-training）：你先对大脑进行切割，然后再进行训练。问题是，在脑尝试驾驶之前，你还不知道哪些部分实际上是没用的。

解决方案：“围场封闭前”（Before Parc Fermé, BPF）

该论文的作者提出了一种名为 “围场封闭前”（Before Parc Fermé, BPF） 的新策略。

要理解这个名字，请想象 一级方程式赛车。在比赛开始前，赛车会进入一个“围场封闭”（Parc Fermé，即封闭车库）状态，车辆被封存起来。没有人被允许再去触摸或修改赛车了。进入车库的那辆车就是最终参赛的那辆。

在 AI 训练的世界里，“围场封闭”是指训练结束且模型被固定下来的时刻。作者认为，你不应该等到模型被锁进车库时才开始编辑它。相反，你应该在赛车还在赛道上进行调校时就开始编辑。

他们称之为 RL-Time Pruning（强化学习阶段剪枝）。

它是如何工作的：两种变体

论文测试了两种在“赛道上”进行编辑的方法：

BPF-RL（迭代编辑）： 想象机器人驾驶员正在学习驾驶赛道。每隔几圈，工程师就会介入，查看驾驶员的笔记，并说：“你不需要这段关于轮胎压力的特定段落；把它删掉吧。”然后，驾驶员在接下来的几圈中带着更轻的笔记继续行驶，学习如何适应缺失的信息。他们重复这个过程，直到笔记的大小恰到好处。
BPF-SFT/RL（两阶段编辑）： 首先，在驾驶员学习基本规则（监督微调/SFT）时，进行一次轻量级编辑。然后，一旦驾驶员开始在实时模拟中进行比赛（强化学习/RL），他们进行重度编辑，在驾驶员积极应对赛道时，切掉更多的冗余内容。

结果：更轻、更快、更聪明

研究人员在一个包含两个部分的真实自动驾驶设置上进行了测试：

DecisionxR1： 决定做什么的“大脑”。
MPCxR1： 实际控制转向的“双手”。

以下是他们的发现：

更好的权衡： 如果你只是选择一个天生较小、较弱的大脑（一个 1.5B 的模型）而不是一个大的大脑，赛车的表现会更差。但如果他们使用 BPF-SFT/RL 方法来缩小大模型，得到的这个“微型大脑”在平衡尺寸与性能方面，比最初直接选择那个小的模型要好 1.69 倍。它保留了大模型的“智慧”，却拥有了小模型的“重量”。
现实世界的速度： 当他们将这些模型部署在配备了 Jetson AGX Orin 计算单元的真实机器人车上时，经过剪枝后的模型生成指令的速度快了 27%。
“冗长”陷于陷阱： 他们发现了一个令人惊讶的转折。有时，减小模型规模并不一定会让整个系统变快。为什么？因为较小的模型有时会开始写出更长的句子来解释它们的决策。这就像是一个体型更轻盈的跑者，却在跑步过程中不停地自言自语，从而拖慢了速度。这告诉他们，不能只看模型大小，必须观察整个流水线。

核心结论

这篇论文声称，对于需要实时思考和行动的机器人（如自动驾驶汽车），你不应该等到训练结束后再让 AI 变小。相反，你应该在它学习的过程中对其进行缩减，让机器人能够实时适应自身的“手术”。

这种“围场封闭前”的方法创造了一个既足够轻盈以保证速度，又足够聪明以处理复杂驾驶任务的机器人驾驶员，其表现优于那些沉重的原始模型以及天生较小的模型。

技术摘要：Before Parc Fermé (BPF) 用于高效具身大语言模型

问题陈述

具身大语言模型（LLM）正越来越多地被部署在机器人控制管线中（如自动驾驶），用于解释自然语言指令并调整控制器参数。然而，这些模型面临着显著的部署挑战，包括内存开销和生成延迟，这阻碍了其在受限硬件（如 Jetson AGX Orin）上的实时执行。

虽然剪枝提供了一种减少模型大小和计算成本的方案，但在具身 LLM 特定训练管线中进行剪枝的最佳时机尚不明确。这些系统通常经历监督微调（SFT）以及随后的基于闭环反馈的强化学习（RL）。

后训练剪枝（在 SFT 和 RL 之后）压缩了最终模型，但剩余权重没有机会适应被移除的结构。
RL 前剪枝（在 SFT 之后，RL 之前）在模型学习完成任务所需的特定闭环行为之前就移除了结构，这可能会丢弃关键组件。
直接选择较小的稠密模型（例如 1.5B 对比 3B 参数）通常会导致模型大小与控制适应性之间的权衡并非最优，因为较大的模型提供的推理能力显著优于较小的模型，而这是较小模型无法匹配的。

核心挑战在于确定何时进行剪枝，以最大程度保留推理和控制能力，同时最小化资源消耗。

方法论：Before Parc Fermé (BPF)

作者提出了 Before Parc Fermé (BPF)，这是一套将压缩直接集成到训练过程中的剪枝策略家族，特别是将剪枝与 RL 阶段相结合。名称“Parc Fermé”指的是一级方程式赛车中车辆被锁定禁止修改的时期；在这里，它隐喻了架构固定的后训练阶段。BPF 在这种“锁定”之前进行压缩，即在模型仍在针对闭环行为进行优化时进行压缩。

该框架利用带有 Taylor 重要性评分的 LLM-Pruner 来执行结构化剪枝。论文评估了两种主要的 BPF 变体，并将其与几种基准模型进行了对比：

BPF-RL（RL 期间的迭代剪枝）：
- 模型在没有剪枝的情况下进行完整的 SFT。
- 在 RL 阶段，在预定义的间隔（ $\Delta t_{RL}$ ）内进行迭代剪枝。
- 在每个间隔，移除得分最低的参数组，以增量式达到目标剪枝比例。
- 这使得剩余权重能够在接收闭环任务反馈的同时，适应被移除的结构。
BPF-SFT/RL（拆分剪枝）：
- SFT 阶段： 在初始预热阶段后应用部分压缩，移除模型的一部分（ $\rho_{SFT}$ ）。
- RL 阶段： 通过类似于 BPF-RL 的方式，在 RL 期间实现剩余的压缩（ $\rho - \rho_{SFT}$ ）。
- 这种方法利用 SFT 根据任务提示移除明显的冗余结构，同时依靠 RL 反馈根据闭环性能来精炼压缩效果。

对比基准：

后训练剪枝 (PTP)： 在完整的 SFT 和 RL 之后进行剪枝。
PTP + Recovery： PTP 之后进行额外的 RL 步骤以恢复性能。
SFT 阶段剪枝： 在 RL 之前的 SFT 阶段进行单次压缩步骤。
更小的稠密模型： 直接使用来自同一模型家族的较小架构（例如 Qwen2.5-1.5B）。

核心贡献

引入 BPF： 一种新型剪枝方案，将 RL 与结构化剪枝结合用于具身 LLM 控制器，证明了压缩时机是一个关键的设计选择。
性能与效率的权衡： 作者表明，BPF 策略（尤其是 BPF-SFT/RL）与后训练剪枝或简单选择更小的稠密模型相比，在模型大小与任务性能之间实现了更优的权衡。
端到端评估： 本研究强调必须对具身 LLM 进行整体评估。由于剪枝导致的生成 Token 数量变化可能会改变下游延迟和行为，因此需要进行全管线评估，而非仅仅进行孤立的指标分析。

实验结果

这些方法在 RobotxR1 上进行了评估，这是一个包含两个模块的自动驾驶管线：

DecisionxR1： 评估当前行为是否符合用户指令。
MPCxR1： 调整模型预测控制（MPC）参数。

1. 任务性能与适应性

BPF-SFT/RL 的优越性： 在 DecisionxR1 模块（3B 参数）上，BPF-SFT/RL 实现了最佳权衡。在 45% 的剪枝比例下，其控制适应性比 PTP+R 提高了 11.4%，比 PTP 提高了 17%。
与较小模型的比较： 在压缩 3B 模型时，BPF-SFT/RL 实现的尺寸–端到端性能权衡比直接选择 1.5B 稠密模型好 1.69 倍。具体而言，BPF-SFT/RL 减少了 0.91B 参数，仅损失 7.61% 的适应性；而切换到 1.5B 模型减少了 1.55B 参数，但造成了 21.7% 的性能损失。
联合剪枝： 对两个模块进行联合剪枝显示，MPCxR1 比 DecisionxR1 对剪枝更敏感。对 MPCxR1 进行适度剪枝（例如 10%）并结合对 DecisionxR1 进行较高比例剪枝（例如 30-45%）可以获得最佳的帕累托最优结果。

2. 嵌入式部署 (Jetson AGX Orin)

吞吐量与内存： 剪枝后的模型在解码吞吐量和内存占用方面表现出显著改善。例如，将 DecisionxR1 剪枝 45%，使内存从 2.07GB 降至 1.51GB，并将吞吐量从 45 tokens/sec 提高到 58 tokens/sec。
延迟细微差别： 论文指出，减少参数并不自动减少端到端延迟。剪枝可能会增加生成 Token 的冗余度（例如，MPCxR1 生成更多文本），这可能会抵消计算收益。对于延迟的最优配置（DecisionxR1 剪枝 20%，MPCxR1 剪枝 0%）在仅降低 0.8% 任务性能的情况下，减少了 19.5% 的延迟。

意义与主张

论文声称 BPF-SFT/RL 是在自动驾驶中部署具身 LLM 最有效的策略。其主要意义在于证明了：

时机至关重要： 在 RL 阶段（即模型仍在适应闭环反馈时）进行剪枝，比在训练完成后进行剪枝能保留更多的推理和控制能力。
效率与能力的平衡： 可以显著压缩更大、更强大的模型（例如 45%），同时保持接近原始大模型的性能水平，这比单纯切换到较小的稠密模型要有效得多。
整体评估： 机器人系统的有效压缩需要评估整个控制管线，因为剪枝引起的 Token 生成长度变化会对下游延迟和系统行为产生关键影响。

作者承认了局限性，包括缺乏剪枝模块的联合训练（MPCxR1 是基于未剪枝的 DecisionxR1 输出进行训练的）、使用了固定的剪枝间隔，以及缺乏量化感知剪枝，目前这需要通过填充（padding）来对齐维度以适配推理运行时。