💻 computer science

Normalizing Flows are Capable Models for Bi-manual Visuomotor Policy

本文提出了基于条件归一化流的 NF-P 双臂视觉运动策略，该策略通过单次前向采样实现轨迹生成与可计算似然，结合随机批量选择与梯度优化等推理策略，在提升任务成功率的同时显著降低了训练与推理延迟，为实时且具备不确定性感知能力的机器人控制提供了一种高效且具竞争力的解决方案。

原作者： Jialong Li, Simon Kristoffersson Lind, Wenrui Xie, Maj Stenmark, Volker Krüger

发布于 2026-02-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jialong Li, Simon Kristoffersson Lind, Wenrui Xie, Maj Stenmark, Volker Krüger

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种让机器人变得更聪明、更灵活的新方法，叫做**“归一化流策略”（NF-P）**。

为了让你轻松理解，我们可以把机器人学习做任务（比如双手配合叠积木、擦桌子）想象成学习做一道复杂的菜。

1. 现状：以前的机器人像“死记硬背的学生”

以前的主流方法（比如扩散模型 Diffusion Models）就像是一个正在努力画画的艺术家。

怎么学？ 它看着人类演示（比如倒水），然后试图一点点“去噪”，从一团乱麻中慢慢画出正确的动作。
缺点：
- 太慢了： 就像画画要一笔一笔描，它需要很多步才能算出下一步动作，导致机器人反应迟钝，没法做需要快速反应的事。
- 心里没底： 它画完了，但不知道自己画得对不对，也不知道有没有更好的画法。它只能“蒙”一个结果。

2. 新方案：NF-P 像“拥有完美地图的导航员”

这篇论文提出的 NF-P 方法，换了一种思路。它不像是在画画，而像是在学习如何把复杂的动作“压缩”成简单的信号，再“解压”回动作。

核心魔法（归一化流）：
想象一下，机器人的动作空间（所有可能的手部动作）是一个形状怪异的迷宫。
- 以前的模型是在迷宫里乱撞，试图找到出口。
- NF-P 则像是一个拥有神奇魔法的导航员。它能把这个怪异的迷宫，瞬间拉伸、扭曲成一个完美的圆形广场（高斯分布，也就是最简单的形状）。
- 在圆形广场上，它随便扔个飞镖（采样），都能轻松算出这个飞镖落在哪里的概率。
- 然后，它利用魔法把广场反向折叠回原来的迷宫，那个飞镖就变成了一个完美的动作指令。

3. 为什么它更厉害？（两大绝招）

因为 NF-P 知道“每个动作发生的概率是多少”（就像导航员知道哪条路最通畅），它有了两个以前模型没有的超能力：

绝招一：海选法（Stochastic Batch Selection）

比喻： 就像你要选一个最佳方案，以前模型只能随机选一个，然后硬着头皮做。
NF-P 的做法： 它瞬间生成 128 个 可能的动作方案（就像 128 个不同的厨师同时做菜）。因为它知道每个方案的“成功率”（概率），它直接挑出那个最靠谱、最像人类演示的方案来执行。
结果： 机器人动作更精准，不容易出错。

绝招二：微调法（Gradient Refinement）

比喻： 就像你写了一封邮件，觉得有点别扭。
NF-P 的做法： 它先随机生成一个动作，然后利用“概率地图”告诉它：“往左一点，成功率更高；往右一点，风险更大”。它顺着这个指引，像爬山一样，一步步把动作调整到“山顶”（最完美的动作）。
结果： 即使初始想法有点偏，它也能迅速修正，让动作更流畅。

4. 实验结果：快、准、稳

作者在电脑模拟和真实的双机械臂机器人（Kuka 机器人）上做了测试：

任务： 叠积木、叠毛巾、把东西递过去等。
表现：
- 成功率更高： 在叠积木任务中，旧方法经常卡在第一步（比如手伸过去却抓不住），而 NF-P 几乎都能成功开始，并且最终成功率高达 60%-75%。
- 速度快： 旧方法算一次动作可能要很久，NF-P 像按快门一样，一次就搞定，速度极快，适合实时控制。
- 训练更省： 它学得更快，用的数据更少。

5. 总结：为什么这很重要？

这就好比以前的机器人是**“笨拙的学徒”，虽然能干活，但反应慢、容易慌、不知道自己在干嘛。
而 NF-P 让机器人变成了“经验丰富的老手”**：

心里有数： 它知道自己做的动作有多大概率是对的（不确定性量化）。
反应神速： 不需要慢慢“去噪”，瞬间就能给出指令。
自我修正： 遇到复杂的双手配合任务（比如叠毛巾），它能迅速调整，不会像以前那样卡住不动。

一句话总结：
这篇论文证明，用**“归一化流”这种数学工具，可以让机器人像人类一样，既快又稳地学会复杂的双手配合任务，而且还能实时知道自己做得对不对**，是未来让机器人真正走进家庭、工厂的关键一步。

这是一份关于论文《Normalizing Flows are Capable Models for Bi-manual Visuomotor Policy》（归一化流是双手机器人视觉运动策略的有效模型）的详细技术总结。

1. 研究背景与问题 (Problem)

现有挑战：在通用机器人领域，基于扩散模型（Diffusion Models）的生成式方法虽然能够学习复杂的多模态行为分布，但存在两个主要缺陷：
1. 推理成本高：扩散模型需要多步去噪过程，导致推理延迟高，难以在资源受限的硬件上实现实时控制。
2. 无法量化不确定性：扩散模型无法提供输出的确切似然度（Likelihood），因此难以对生成的动作进行置信度评估或基于概率的优化。
回归模型的局限：传统的基于 Transformer 的回归模型（点估计）在处理多模态分布时容易坍缩到均值，无法捕捉多样化的有效行为模式，且缺乏概率机制来应对失败恢复。
核心目标：寻找一种既能处理复杂的双手机器人（Bi-manual）动作分布，又能提供精确似然计算、单次推理（Single-pass）以及低延迟的视觉运动策略模型。

2. 方法论 (Methodology)

作者提出了 NF-P (Normalizing Flow Policy)，一种基于条件归一化流（Conditional Normalizing Flows）的视觉运动策略框架。

A. 核心架构

归一化流 (Normalizing Flows, NFs)：学习一个可逆的、可微的双射变换 $T$ $T$ ，将复杂的机器人动作分布映射到简单的潜在高斯先验分布 $z$ $z$ 。
- 采样：通过逆变换 $T^{-1}(z|o)$ 生成动作，仅需单次前向传播。
- 似然计算：利用变量变换公式 $p(x) = p_z(T(x)) |\det J_T(x)|$ 精确计算生成动作的概率密度。
条件输入：使用预训练的 ResNet18 提取图像特征，并结合最新动作向量作为条件输入 $o_t$ ，构建条件分布 $p(a|o)$ 。
网络结构：采用 Neural Spline Flows（神经样条流），利用有理二次样条构建 $f_\theta$ ，相比传统的仿射耦合层具有更强的表达能力。

B. 关键创新设计

步长采样 (Strided Sampling)：
- 问题：真实世界的人体遥操作数据包含高频抖动和无意识的停顿。
- 方案：在训练时，对输入（观测历史）和输出（未来动作序列）应用时间步长 $s$ （例如 $s=4$ ）。
- 效果：强制模型关注状态间较大的转换，过滤高频噪声，同时保持数据集的覆盖密度。推理时不使用步长，直接生成连续动作。
基于似然的输出优化 (Likelihood-based Output Optimization)：
利用 NF 可计算精确似然的特性，提出了两种推理优化策略：
- 随机批量选择 (Stochastic Batch Selection, SBS)：并行生成 $N$ 个候选动作序列，选择对数似然度 $\log p(a|o)$ 最高的一个。这相当于“Best-of-N"采样，过滤掉分布尾部的低质量样本。
- 梯度细化 (Gradient Refinement, GR)：从一个初始采样出发，在动作空间中对 $\log p(a|o)$ 进行梯度上升（Gradient Ascent），迭代优化动作轨迹，使其收敛到局部概率最大值。

3. 主要贡献 (Key Contributions)

提出 NF-P 架构：首个将归一化流作为端到端主策略模型应用于 RGB 视觉双手机器人控制的方案。
双重优势：
- 精确的不确定性估计：能够量化动作的置信度。
- 实时性：单次前向传播即可生成动作，推理延迟极低。
广泛的实验验证：
- 在 RoboTwin 2.0 仿真框架的 50 个双手机器人任务中进行了评估。
- 在真实的 Kuka iiwa 7 双臂机器人上进行了物理实验（堆叠方块、折叠毛巾）。
消融研究：验证了步长采样、似然优化策略和采样方差对性能的关键影响。

4. 实验结果 (Results)

A. 仿真实验 (RoboTwin 2.0)

成功率：NF-P 的整体成功率显著优于基线扩散策略（Diffusion Policy, DP）。
- 使用梯度细化 (NF-PGR) 的平均成功率为 38.06%，比 DP (28.04%) 高出约 10 个百分点。
- 在高精度、接触丰富的任务（如“打开微波炉”、“传递麦克风”）中，提升尤为明显（例如打开微波炉任务从 5% 提升至 77%）。
策略对比：梯度细化 (GR) 在大多数任务中优于随机批量选择 (SBS)，但在极复杂任务中，SBS 的随机搜索有时更鲁棒。

B. 真实机器人实验

任务：双块堆叠 (Stack Block Two) 和毛巾折叠 (Towel Folding)。
瓶颈分析：
- DP 基线：经常无法启动执行或在子目标转换时卡死（例如在放置第一个方块后无法切换到第二个手臂）。初始失败率较高（35%-45%）。
- NF-P：初始失败率极低（0%-3%），能够更稳定地处理子目标间的转换。
- 性能：NF-P 在双块堆叠任务中成功率达到 60%（DP 为 15%），在毛巾折叠任务中达到 75%（DP 为 55%）。
- 效率：NF-P 在 30 秒的时间窗口内即可完成子目标转换，而 DP 需要 8 分钟且常失败。

C. 效率与扩展性

训练效率：在 100 次演示数据上，仅需 300 个 Epoch（约 50 分钟）即可收敛。
推理延迟：
- NF-P (SBS)：< 20ms（单次前向传播）。
- NF-P (GR)：约 455ms（包含 10 步梯度上升），仍快于标准 DP 基线。
数据扩展性：随着训练数据量从 10 增加到 500，NF-P 表现出与扩散模型相似的扩展性能，证明其并非受限于小数据集。

5. 意义与结论 (Significance)

填补空白：证明了归一化流可以成为扩散模型的高效替代品，特别是在需要实时响应和不确定性感知的机器人控制场景中。
数学严谨性：提供了基于概率的、可解释的置信度度量，使得机器人能够进行“基于不确定性的动作优化”和“安全探索”。
实际部署价值：NF-P 在标准硬件（如单张 RTX 4090）上即可实现高频控制回路，无需昂贵的专用硬件或复杂的补偿机制，为双手机器人的实际部署提供了新的技术路径。
未来方向：作者指出未来可探索在训练中加入噪声、结合其他 NF 架构（如更复杂的耦合层），或将 NF 作为辅助模块与其他模型（如 Transformer 或 DP）结合，以进一步提升性能。

总结：该论文通过引入归一化流，成功解决了对比扩散模型在推理速度和不确定性量化方面的短板，在双手机器人任务中实现了更高的成功率和更低的延迟，展示了其在真实世界机器人控制中的巨大潜力。