🤖 machine learning

Much Ado About Noising: Dispelling the Myths of Generative Robotic Control

该论文通过综合评估证明，生成式机器人控制策略的成功并非源于其捕捉多模态分布或复杂映射的能力，而是得益于训练过程中带有适度随机性的迭代监督计算，并据此提出了一种性能相当甚至更优的轻量级最小迭代策略。

原作者： Chaoyi Pan, Giri Anantharaman, Nai-Chieh Huang, Claire Jin, Daniel Pfrommer, Chenyang Yuan, Frank Permenter, Guannan Qu, Nicholas Boffi, Guanya Shi, Max Simchowitz

发布于 2026-02-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Chaoyi Pan, Giri Anantharaman, Nai-Chieh Huang, Claire Jin, Daniel Pfrommer, Chenyang Yuan, Frank Permenter, Guannan Qu, Nicholas Boffi, Guanya Shi, Max Simchowitz

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文的名字叫《Much Ado About Noising》（直译是“为了噪音大动干戈”，化用了莎士比亚的《无事生非》），它的核心观点非常有趣：机器人控制领域最近很火的“生成式模型”（比如扩散模型、流模型），之所以表现得好，并不是因为它们真的在“学习概率分布”或者“理解多种可能性”，而是因为它们在训练过程中偷偷加了一点“噪音”，并且分步骤、有监督地反复修正。

简单来说，作者发现大家之前对这类模型的成功有很多误解，就像是为了“噪音”大做文章，其实真正起作用的是“反复练习”和“带噪训练”。

下面我用几个生活化的比喻来解释这篇论文：

1. 之前的误解：以为机器人是“艺术家”

背景： 以前大家认为，机器人之所以用生成式模型（GCP）比传统的回归模型（RCP）强，是因为：

误解一（多模态）： 机器人面对同一个情况可能有多种做法（比如倒水，可以倒满也可以倒半杯），生成式模型能学会这种“多种可能性”，而传统模型只能学一个“平均值”。
误解二（表达能力）： 生成式模型通过多步迭代，能画出更复杂的动作曲线，像艺术家一样笔触细腻。

论文打脸：
作者做了大量实验（就像给机器人做了 28 次不同的考试），发现：

其实没有那么多“多种做法”： 在大多数机器人任务中，数据里并没有那么多冲突的选项。机器人其实只需要学一个“最靠谱”的动作就行。
传统模型也能画好画： 只要给传统模型换上和生成式模型一样的“画笔”（网络架构，比如 Transformer），它们也能表现得一样好。

比喻： 就像以前大家觉得只有“天才画家”（生成式模型）才能画出完美的圆，而“普通画手”（传统回归模型）只能画个歪歪扭扭的。结果发现，只要给普通画手也用同样的画架和颜料（架构），他也能画得一样圆。所谓的“多模态”（能画圆也能画方），在机器人倒水、抓杯子这些任务里，其实根本用不上。

2. 真正的秘密：是“带噪练习” + “分步修正”

作者把生成式模型拆解成了三个部分，并像做化学实验一样把它们拆开测试：

成分 A（分布学习）： 学习动作的概率分布（画多种可能）。 -> 结论：不重要。
成分 B（注入噪音）： 在训练时，故意给输入加一点随机噪音。 -> 结论：重要！
成分 C（有监督的迭代）： 分几步生成动作，每一步都告诉模型“你刚才那步做得对不对，改一下”。 -> 结论：重要！

核心发现：
真正让模型变强的，是 B + C 的组合。
作者甚至设计了一个极简模型叫 MIP（最小迭代策略），它只用了两步：

先猜一个动作（这一步是确定的，没噪音）。
在训练时，故意给这个动作加一点噪音，然后让模型再猜一次，并告诉它“刚才那个带噪音的动作离正确答案还有多远，修正一下”。
推理时（真干活时），直接输出修正后的结果，不需要加噪音。

比喻：

传统回归模型（RCP）： 就像学生做题，老师只给一次机会，做错了就扣分。学生只能死记硬背一个标准答案。
生成式模型（GCP）： 就像学生做题，老师先让他蒙一个答案（加噪音），然后老师指着蒙错的地方说：“你看，如果你往左偏一点，离正确答案就远了；往右偏一点，就对了。”然后让学生修正一遍。
MIP（新发现）： 作者发现，其实不需要让学生蒙很多次（不需要复杂的分布学习），只要让他蒙一次，然后老师给一次具体的修正指导，学生就能考满分。而且，这个“蒙”的过程（加噪音）是为了让老师知道怎么教，真考试的时候（推理时）学生是不需要蒙的，直接拿修正后的答案就行。

3. 为什么“带噪修正”这么有效？

这就涉及到了论文里一个很深的概念：流形依从性（Manifold Adherence）。

比喻：
想象机器人要走的是一条“高速公路”（数据流形），路两边是悬崖（错误动作）。

传统模型： 如果它稍微偏离了路（因为环境有点变化），它可能就直接掉下悬崖了，因为它只记住了路中间那个点。
生成式模型（带噪训练）： 在训练时，因为加了噪音，模型被迫在“路”的周围晃悠。这就像在高速公路上练车时，教练故意把车往路边推一推，教司机怎么把车拉回车道。
结果： 当机器人真的上路时，即使遇到一点颠簸（环境变化），它也能凭借这种“拉回车道”的本能，稳稳地保持在正确的轨迹上，而不是直接撞车。

关键点： 这种“拉回车道”的能力，不是因为它能画出复杂的曲线（表达力强），而是因为它在训练时反复练习了“纠错”。

4. 总结与启示

这篇论文就像给机器人领域泼了一盆冷水，但也带来了一杯清茶：

泼冷水： 别再迷信“生成式模型”那个高大上的名字了。并不是因为它能模拟概率分布、能处理多模态数据才强。那些都是“虚名”。
清茶： 真正有效的，是**“在训练中引入随机性，并分步骤进行有监督的修正”**。
未来方向： 我们不需要搞那么复杂的生成式模型（比如跑 9 步积分），一个两步走的极简模型（MIP） 就能达到同样的效果，而且训练和推理都更快、更省资源。

一句话总结：
机器人学得好，不是因为它是“概率大师”，而是因为它在训练时**“带着噪音反复练纠错”**。以后我们不用搞那么复杂的模型，只要学会怎么“带噪修正”，简单的模型也能干大事。

这篇论文题为 《Much Ado About Noising: Dispelling the Myths of Generative Robotic Control》（关于噪声的诸多争议：破除生成式机器人控制的神话），由卡内基梅隆大学（CMU）、麻省理工学院（MIT）和丰田研究院（TRI）的研究人员共同完成。

该论文通过系统的消融实验和理论分析，挑战了当前机器人行为克隆（Behavior Cloning, BC）领域中关于生成式控制策略（Generative Control Policies, GCPs）（如扩散模型、流模型）优于传统**回归控制策略（Regression Control Policies, RCPs）**的普遍认知。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

近年来，基于生成式模型（如扩散模型、流模型）的机器人策略在行为克隆任务中取得了显著成功，尤其是在处理多模态动作分布和复杂任务时。学术界普遍存在以下假设，认为 GCPs 优于 RCPs 的原因在于：

H1: 在基于像素的控制中表现更好。
H2: 能够捕捉训练数据中的多模态性（Multi-modality）（即同一状态下存在多种合理的动作）。
H3: 通过迭代计算（Iterative Computation）具有更强的表达能力（Expressivity），能拟合更复杂的观察 - 动作映射。
H4: 随机数据增强带来的表示学习优势。
H5: 更好的训练稳定性和可扩展性。

核心问题： GCPs 的成功是否真的源于其分布拟合能力（捕捉多模态）或复杂的表达能力？还是说这些优势被高估了，真正的成功因素被忽略了？

2. 方法论 (Methodology)

作者提出了一种新的GCPs 分类法（Taxonomy），将生成式控制策略的设计空间分解为三个核心组件，并设计了相应的消融实验来逐一验证：

C1. 分布学习 (Distributional Learning): 训练模型去拟合给定观测的动作条件分布 $P(a|o)$ ，而非确定性预测。
C2. 随机性注入 (Stochasticity Injection): 在训练过程中向网络注入噪声（例如在流模型中引入初始噪声 $z$ ）。
C3. 监督式迭代计算 (Supervised Iterative Computation, SIC): 在推理时通过多步迭代生成动作，且在训练时每一步都接受监督信号（即每一步都有 Loss）。

实验设计：

基准测试： 在 28 个常见的行为克隆基准（包括 State、Pixel、Point Cloud 和语言模态，如 MetaWorld, Robomimic, LIBERO, Adroit 等）上进行了广泛评估。
架构对齐： 为了公平比较，作者使用完全相同的网络架构（如 Chi-Transformer, Sudeep-DiT, Chi-UNet, $\pi_0$ ）分别实现 RCPs 和 GCPs，消除了架构差异带来的偏差。
提出新策略 MIP： 为了验证假设，作者设计了一种最小迭代策略（Minimal Iterative Policy, MIP）。MIP 仅包含组件 C2（训练时注入噪声） 和 C3（两步迭代且每一步都有监督），但不包含 C1（不拟合分布，只预测条件均值）。
- MIP 的训练目标：第一步预测去噪后的动作，第二步基于第一步输出和噪声再次预测，两步均使用真实动作 $a$ 作为监督。
- 推理过程：确定性执行（无噪声），仅两步。

3. 主要发现与贡献 (Key Contributions & Findings)

贡献 1：多模态性和表达能力并非 GCPs 成功的主因

多模态性 (H2) 的证伪： 实验发现，在许多被认为具有多模态的任务中（如 Push-T），GCPs 和 RCPs 的性能差异很小。即使在完全确定性的专家数据集（无多模态）上训练，GCPs 依然优于 RCPs。此外，GCPs 生成的动作分布往往呈现单峰或无明显聚类，且取均值并不显著降低性能。
表达能力 (H3) 的证伪： 理论分析（Theorem 1）和实验表明，在缺乏多模态数据的情况下，流模型的迭代计算并没有赋予其比回归模型更高的 Lipschitz 常数（即更强的函数拟合能力）。GCPs 并没有表现出比 RCPs 更复杂的观察 - 动作映射能力。
结论： 在大多数任务中，当控制架构变量后，RCPs 和 GCPs 的表现是相当的。GCPs 仅在极少数需要极高精度的任务（如 Tool-Hang）中表现出优势。

贡献 2：揭示 GCPs 成功的真正来源 (C2 + C3)

消融实验结果：
- 仅包含 C2（Straight Flow）或仅包含 C3（Residual Regression）的策略，其性能均不如完整的 GCPs。
- MIP (C2 + C3) 的表现与完整的流模型（Flow GCPs）几乎持平，甚至在某些任务上优于蒸馏后的少步模型（Shortcut Models）。
核心结论： GCPs 的优势并非来自分布拟合（C1），而是来自训练时的随机性注入（C2）与监督式迭代计算（C3）的结合。

贡献 3：流形依从性 (Manifold Adherence) 是性能提升的关键机制

现象： 作者发现，虽然 MIP 和 Flow 在验证集上的重建误差（Loss）与 RCPs 相似，但在**流形依从性（Manifold Adherence）**指标上显著优于 RCPs。
定义： 流形依从性衡量的是在分布外（OOD）观测下，预测动作投影到专家动作流形上的程度。
机制解释：
- C3 (迭代) 允许策略通过多步 refinement 将动作“拉回”到专家数据的流形上。
- C2 (随机性) 在训练时提供了覆盖（Coverage），防止迭代过程中的误差累积导致策略偏离流形。如果没有训练时的噪声，迭代过程会变得脆弱（如 RR 策略表现不佳）。
意义： 这种“流形依从性”作为一种归纳偏置（Inductive Bias），比单纯的表达能力更能解释控制任务中的成功。

贡献 4：提出高效的 MIP 策略

MIP 仅需 2 次函数评估（NFEs=2），而传统流模型通常需要 9 次或更多。
MIP 在训练和推理上都比流模型更高效，且性能相当。这证明了在机器人控制中，不需要复杂的分布拟合，简单的“噪声 + 迭代”即可达到 SOTA 效果。

4. 实验结果 (Results)

基准测试： 在 28 个任务中，RCPs 在绝大多数任务上与 GCPs 表现相当。仅在 Tool-Hang 等高精度任务中，GCPs（及 MIP）表现出明显优势（相对成功率提升 >5%）。
MIP vs. Flow： MIP 在 Tool-Hang 和 Transport 等任务上，其成功率与 Flow 模型持平（例如在 Tool-Hang 上，MIP 达到 0.92，Flow 为 0.89-0.93），但推理速度更快。
MIP vs. 少步模型 (Shortcut Models)： MIP 的表现通常优于一致性模型（Consistency Models, CTM）等少步蒸馏模型，且训练时间更短（CTM 需要两阶段训练）。
架构敏感性： 实验表明，架构选择（如 Transformer vs. UNet）和动作分块（Action Chunking）对性能的影响远大于策略类型（GCP vs. RCP）的选择。

5. 意义与影响 (Significance)

破除神话： 论文有力地反驳了"GCPs 必须拟合多模态分布才能成功”的流行观点，指出在机器人控制中，拟合分布（C1）是最不重要的因素。
设计范式转移： 未来的机器人策略设计应聚焦于 C2（随机性注入）+ C3（监督迭代） 的组合，而非盲目追求复杂的生成式架构。
效率提升： 提出的 MIP 策略证明了可以通过极简的两步迭代实现与复杂流模型相当的性能，大幅降低了推理成本（NFEs 从 9 降至 2）。
理论洞察： 提出了“流形依从性”作为衡量控制策略鲁棒性的新指标，并揭示了随机性在稳定迭代过程中的关键作用。

总结：
这篇论文通过严谨的实证研究指出，生成式机器人控制策略的成功并非源于其“生成”分布的能力，而是源于训练过程中的噪声注入与多步监督迭代所带来的流形依从性。作者提出的 MIP 策略以极简的架构实现了这一机制，为未来高效、鲁棒的机器人控制策略设计开辟了新方向。