🤖 machine learning

SERFN: Sample-Efficient Real-World Dexterous Policy Fine-Tuning via Action-Chunked Critics and Normalizing Flows

本文提出了 SERFN 框架，通过结合可计算精确似然的归一化流策略与动作块级价值评估，首次实现了在真实机器人硬件上针对多模态长程灵巧操作任务的高效、稳定策略微调。

原作者： Chenyu Yang, Denis Tarasov, Davide Liconti, Hehui Zheng, Robert K. Katzschmann

发布于 2026-03-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Chenyu Yang, Denis Tarasov, Davide Liconti, Hehui Zheng, Robert K. Katzschmann

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 SERNF 的新技术，它的目标是让机器人变得更“灵巧”，并且能用极少的试错次数学会高难度的任务。

想象一下，你教一个刚出生的婴儿用剪刀剪断胶带，或者教他用手在掌心里转魔方。如果让机器人像婴儿一样，靠无数次“剪坏”、“掉地”来学习，那不仅效率极低，还可能把昂贵的机器人弄坏。

SERNF 就是为了解决这个“样本效率”问题而生的。我们可以用三个生动的比喻来理解它的核心创新：

1. 核心难题：机器人为什么学不会？

传统的机器人学习就像让一个只会画直线的画家去画一幅充满各种可能性的抽象画。

多模态困境：很多任务（比如抓剪刀）有好几种抓法（抓柄、抓尖、侧着抓）。传统的算法（高斯分布）就像只会画直线的画家，它试图把所有可能性平均成一条线，结果画出来的东西既不像这个也不像那个，导致机器人动作僵硬、无法成功。
无法“保守”学习：有些高级算法（如扩散模型）能画出复杂的画，但它们不知道“自己画得有多像”。在机器人真机训练时，我们不敢让它乱试，必须确保它大部分时间是在模仿专家的动作，偶尔才去尝试新东西。如果算法不知道自己“像不像”，就不敢进行这种保守的改进。

2. SERNF 的三大法宝

法宝一：像“变形金刚”一样的策略（归一化流 Normalizing Flows）

比喻：想象机器人的大脑里住着一个超级灵活的橡皮泥艺术家（归一化流）。
作用：这个艺术家不仅能画出复杂的形状（处理多模态动作，比如多种抓法），而且它有一个神奇的“计数器”。它能精确地告诉你：“我刚才画的这个动作，有 90% 的概率是专家会做的，只有 10% 是瞎蒙的。”
好处：因为知道概率，机器人就可以放心大胆地保守微调。它知道哪些动作是安全的（高概率），哪些是冒险的（低概率），从而在极少的尝试中快速进步，而不会把机器人搞坏。

法宝二：像“看剧本”一样的批评家（动作分块 Critic）

比喻：传统的机器人像是一个只看眼前一步的短视者。它每走一步，裁判（Critic）就给它打分。但机器人执行动作时，往往是“一次下达一串指令”（比如：先抓、再剪、再放），这叫“动作分块”。
问题：如果裁判只盯着第一步打分，机器人可能为了第一步的分数，牺牲了后面几步，导致最后剪不断胶带。
SERNF 的做法：它请了一位懂剧本的导演（动作分块 Critic）。这位导演不看单步，而是看整段动作序列（比如“抓 + 剪”这一整套）。如果这一套动作连贯且最终成功了，导演就给高分。
好处：这让机器人学会了长远规划，不再为了眼前的利益而牺牲最终目标。

法宝三：像“私教 + 实战”的混合训练法

比喻：
1. 私教课（离线模仿学习）：先让机器人看人类专家的视频（遥操作数据），模仿着练。
2. 实战演练（在线强化学习）：然后让机器人上真机。这时候，它不会盲目乱撞，而是利用上面的“橡皮泥艺术家”和“懂剧本的导演”，在极少量的真实互动中，把那些“差点成功”的动作修正为“完全成功”。
成果：它不需要像传统方法那样在真机上练几千次，往往几十次就能学会。

3. 他们做了什么实验？

论文在两个非常难的“真机”任务上测试了 SERNF：

找剪刀剪胶带：
- 难点：剪刀孔很小，手指要精准伸进去，还要在空中剪断悬空的胶带。
- 结果：一开始机器人只会抓，不会剪。经过 SERNF 的少量微调，它学会了调整角度，成功剪断了胶带。
手里转魔方：
- 难点：要在手掌心里把魔方转起来，不能掉，还要连续转。这完全靠手指的精细配合。
- 结果：机器人从模拟环境（电脑里）学了一个基础版，然后带到真机上。经过 SERNF 的少量“实战微调”，它从“拿不稳”变成了能连续快速旋转魔方。

总结

SERNF 就像给机器人装上了一套“高智商的直觉”和“长远的规划眼”。

它不再盲目试错，而是懂得计算概率，知道哪些动作是安全的。
它不再只看眼前，而是懂得看整体，知道这一串动作最终能不能成。
最重要的是，它极其省资源，让机器人能在很少的真实互动中，从“差不多会了”进化到“完美掌握”。

这项技术对于未来让机器人进入家庭、工厂，处理那些需要精细操作（如穿衣、做饭、维修）的任务，具有非常重要的意义。

SERNF 论文技术总结

论文标题：SERNF: Sample-Efficient Real-World Dexterous Policy Fine-Tuning via Action-Chunked Critics and Normalizing Flows
作者单位：ETH Zurich Soft Robotics Lab
核心领域：具身智能、强化学习（RL）、灵巧操作、归一化流（Normalizing Flows）

1. 研究背景与问题 (Problem)

在现实世界中进行灵巧操作（Dexterous Manipulation）策略的微调（Fine-tuning）面临两大核心挑战：

交互预算有限：真实机器人的交互时间成本高昂，收集大量高质量数据不切实际。因此，算法必须具备极高的样本效率（Sample Efficiency），即从每一次 rollout 中榨取最大收益。
多模态动作分布与执行模式的不匹配：
- 多模态性：灵巧任务（如抓取、切割）的动作分布通常是高度多模态的（Multimodal）。传统的单高斯策略（Gaussian Policies）难以表达这种复杂性，容易坍缩；而扩散模型（Diffusion Models）虽然表达能力强，但其动作概率密度不可计算（Intractable Likelihoods），导致无法在微调阶段进行保守的基于似然（Likelihood-based）的更新。
- 动作分块（Action Chunking）：现代机器人控制常采用“动作分块”策略（即一次预测并执行一段连续动作序列），以减少反馈频率并提高实时性。然而，标准的逐步（Per-step）价值函数（Critic）无法与这种分块执行模式对齐，导致长期视野下的**信用分配（Credit Assignment）**效果差。

2. 方法论 (Methodology)

作者提出了 SERNF（Sample-Efficient Reinforcement learning with Normalizing Flows），一个结合归一化流策略和动作分块价值函数的离线/在线混合微调框架。

2.1 核心组件

基于归一化流（NF）的策略网络（Actor）：
- 使用条件归一化流（Conditional Normalizing Flow）对动作分块（Action Chunks）进行建模。
- 优势：NF 能够表达复杂的多模态分布，同时提供精确的似然值（Exact Likelihoods）。这使得在微调过程中可以计算策略与初始行为策略（Behavior Policy）之间的散度，从而实现保守的、稳定的策略更新（通过似然正则化）。
- 架构：基于 Transformer 的耦合层（Coupling Layers），输入为观测值，输出为动作序列。
动作分块价值函数（Action-Chunked Critic）：
- 设计了一个与策略执行粒度对齐的 Critic，直接评估整个动作分块序列的价值，而非单步价值。
- 优势：改善了长视野任务中的信用分配问题，减少了方差。
- 实现：使用基于 Transformer 的 Q 网络，并采用分布式回归（HL-Gauss）以提高稳定性。
训练流程（四阶段）：
1. 策略初始化：利用少量成功演示数据（Imitation Learning, IL）训练 NF 策略。
2. Critic 预热（Offline）：在固定初始策略下，利用离线数据（包含成功和失败轨迹）训练 Critic。
3. 全离线 RL：结合 Critic 和 IL 损失（TD3+BC 风格）进行离线微调，正则化项防止策略偏离数据分布过远。
4. 在线微调（Online）：在真实机器人上进行有限次数的交互，混合离线与在线数据进行最终微调。

2.2 关键技术细节

保守正则化：利用 NF 的精确似然，在优化目标函数中加入 $-\lambda \log \pi_\theta(a|o)$ 项，确保策略在探索时不会过度偏离初始演示分布，防止灾难性遗忘。
动作选择：在推理时，从 NF 中采样多个候选动作分块，利用 Critic 评估其价值，选择价值最高的执行（类似 Actor-Critic 中的采样评估机制）。

3. 主要贡献 (Key Contributions)

首个真实机器人上的 NF+ 分块价值学习：据作者所知，这是首次在真实机器人硬件上展示结合了基于似然的多模态生成式策略（NF）与分块级价值学习（Chunk-level Value Learning）的框架。
解决多模态与样本效率的矛盾：证明了 NF 策略在保持表达力的同时，通过精确似然实现了保守的 RL 微调，解决了扩散模型无法直接用于保守 RL 更新的痛点。
对齐执行与评估：提出了动作分块 Critic，解决了传统逐步 Critic 与分块执行接口不匹配导致的信用分配问题。
实机验证：在两个极具挑战性的真实世界灵巧任务上验证了方法的有效性，展示了在有限交互预算下的高性能适应。

4. 实验结果 (Results)

作者在两个真实世界任务上进行了评估：

任务一：剪刀取物与胶带切割 (Scissors Retrieval & Tape Cutting)

场景：从盒子中取出剪刀并切割悬挂的胶带。涉及复杂的接触动力学，难以模拟。
数据：121 次遥操作演示（仅 71 次完全成功）。
结果：
- 初始模仿学习策略抓取成功率 50%，无法完成切割。
- 离线 RL 显著提升了抓取成功率（至 80%），但切割行为仍不稳定。
- 在线微调 后，策略学会了主动调整剪刀姿态，最终切割成功率达到 70%。
- 对比基线：SERNF 显著优于纯模仿学习（即使增加数据量）、Flow-Matching 策略和 ACT 基线。单纯增加数据无法解决切割问题，必须依靠 RL 微调。

任务二：手内立方体旋转 (In-hand Cube Rotation)

场景：手掌向下，仅靠手指在手中旋转立方体。
数据：从仿真（IsaacLab）训练的 PPO 策略蒸馏而来，进行 Sim-to-Real 微调。
结果：
- 初始策略在真实世界中表现脆弱，容易掉落。
- 经过 SERNF 在线微调（约 105 分钟真实交互数据），策略从偶尔旋转发展为连续稳定旋转。
- 旋转速度从初始的 1.49 RPM 提升至峰值 6.25 RPM，平均每次轨迹完成 1.01 次完整旋转。
- 证明了该方法能有效桥接 Sim-to-Real 差距，将仿真策略转化为鲁棒的实机策略。

5. 意义与局限性 (Significance & Limitations)

意义

实用性强：为高容量视觉运动策略（Visuomotor Policies）提供了一种可扩展、可靠的真实世界微调方案，特别适用于数据稀缺的灵巧操作场景。
理论突破：成功将归一化流引入离线/在线混合 RL 框架，解决了多模态策略在 RL 中难以进行保守更新的问题。
架构创新：Action-Chunked Critic 的设计为长视野、分块执行的机器人控制任务提供了新的价值学习范式。

局限性

扩展性：目前仍依赖实机交互和严格的安全措施，扩展到多任务持续学习仍有挑战。
奖励设计：实验依赖稀疏的人工标注奖励，奖励设计的质量直接影响学习效果。
计算开销：相比简单的高斯策略，NF 和 Transformer 架构增加了训练和推理的计算成本及工程复杂度。

总结

SERNF 通过结合归一化流（提供精确似然和多模态表达）与动作分块 Critic（优化长视野信用分配），成功解决了真实世界灵巧操作策略微调中“数据少、分布复杂、执行模式特殊”的难题。实验表明，该方法能在极少的真实交互预算下，将初始策略（无论是来自遥操作还是仿真）微调为高性能的实机控制策略，为未来具身智能的落地提供了重要的技术路径。