🤖 machine learning

DISC: Decoupling Instruction from State-Conditioned Control via Policy Generation

DISC 框架通过利用超网络直接从指令生成特定于任务的策略参数，从而在语言条件化操作任务中消除了观测泄露，从结构上将语言 grounding 与视觉状态处理解耦，并相较于纠缠式基线及大规模预训练模型实现了更优越的性能与泛化能力。

原作者： Hanxiang Ren, Pei Zhou, Xunzhe Zhou, Yanchao Yang

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Hanxiang Ren, Pei Zhou, Xunzhe Zhou, Yanchao Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《DISC：通过策略生成解耦指令与状态条件控制》的通俗解释，辅以生动的类比。

核心难题：那个会“作弊”的机器人

想象一下，你正在教机器人做饭。你给它提供两条信息：

食谱（指令）： “把平底锅放到炉灶上。”
视野（观测）： 一段摄像头画面，显示着一个带有炉灶、平底锅和盘子的厨房。

在大多数现有的机器人中，“大脑”会同时处理食谱和摄像头画面，将它们混合成一锅大数据汤。论文将这种现象称为**“任务 - 状态纠缠”**。

作弊代码：
因为机器人在训练数据中经常同时看到炉灶和平底锅，它学会了一个捷径。它不再阅读食谱，只是盯着图片看。

场景： 你说：“把平底锅放到炉灶上。”机器人看到了炉灶和平底锅，于是就把锅放到了那里。
陷阱： 接着你说：“把平底锅放到盘子上。”机器人仍然在图片里看到了炉灶和平底锅。因为它学会了忽略文字、只根据图片做出反应，它可能仍然试图把锅放到炉灶上，或者感到困惑，因为它从未真正学会听从你的具体指令。它从视觉场景中“泄露”了答案，而不是将其扎根于语言之中。

解决方案：DISC（“定制西装”裁缝）

作者提出了一种构建机器人大脑的新方法，称为DISC。与其将食谱和视野混合在一起，他们选择将它们完全分离。

把 DISC 想象成一位定制西装裁缝，而不是提供均码制服的工厂。

裁缝（超网络）： 这是一个特殊的 AI，它只听从你的声音（指令）。它看不见厨房。它的唯一工作就是听“把平底锅放到炉灶上”，然后编织一个全新的、专门针对该特定任务的定制大脑。
西装（生成的策略）： 一旦裁缝编织完毕，就会交给你一个定制大脑（一组数学权重）。这个大脑现在被“硬连线”为知道它是一个“炉灶任务”大脑。
穿着者（机器人）： 机器人穿上这个定制大脑。现在，它看着厨房（视野）并行动。关键在于，它再也听不到你的声音了。它只能根据被赋予的定制大脑来行动。

这如何阻止作弊：
由于机器人的大脑是完全根据你的话语构建的，它别无选择，只能听从你。它无法看着图片猜测该做什么，因为图片不被允许直接与大脑对话。机器人知道该做什么的唯一途径，是因为你的话语构建了它的大脑。

如何制造“定制大脑”（两阶段过程）

仅凭一句话就制造一个全新的大脑是很困难的。如果你只是让计算机“为这句话制造一个大脑”，它可能会制造出一个混乱、破碎的大脑。

DISC 通过两阶段构建解决了这个问题：

草稿（权重初始化）： 裁缝根据话语快速勾勒出一件粗糙的西装。它大致符合正确的形状（例如，它知道这是一个烹饪任务，而不是清洁任务），但纽扣的位置可能不对。
剪裁（迭代优化）： 这是论文的巧妙之处。裁缝不只是猜测；他们使用一种“心理模拟”来想象通常如何修改西装。他们审视草稿，想象哪里出了问题，然后进行微小而精确的调整。他们以极快的速度反复这样做，直到西装完美合身。
- 注意： 他们这样做并不需要实际执行缓慢、繁重的真实训练数学运算。他们通过观察大量示例学会了如何修改西装，因此可以在脑海中瞬间完成。

实验中发生了什么？

作者在计算机模拟中的机器人以及真实的机械臂上测试了这种方法。

“视觉陷阱”测试： 他们设计了一个棘手测试，要求机器人拿起一个红苹果，并将其放入特定的碗中（小灰碗、大红碗或浅灰碗）。视觉场景每次都完全相同；只有文字发生了变化。
- 旧机器人： 感到困惑。它们看到了苹果和碗，但由于依赖视觉捷径，它们经常把苹果放错碗，或者卡住。
- DISC： 几乎每次都做对了。因为它的大脑是专门为“红苹果 -> 小灰碗”构建的，它忽略了视觉干扰并遵循了指令。
学习速度： 当仅给出新任务的少量示例（如 1 次或 3 次尝试）时，DISC 的学习速度远快于旧机器人。这是因为它的“裁缝”已经知道了工作的整体形状，只需要稍微调整西装，而不需要从零开始学习。
复杂性： 任务越复杂（例如“打开炉灶，然后把平底锅放上去”），DISC 的表现就比其他方法越好。那些“作弊”的机器人在长任务中表现糟糕，因为它们迷失了方向，而 DISC 则保持了正轨。

总结

该论文认为，当前的机器人太擅长根据所见进行猜测，这使得它们难以遵循具体的指令。

DISC 通过改变架构解决了这个问题：

旧方法： 将文字和图片混合在一起 $\rightarrow$ 机器人学会忽略文字，仅根据图片猜测。
DISC 方法： 利用文字构建一个定制大脑 $\rightarrow$ 机器人使用该大脑来观察图片。

通过迫使机器人仅根据指令构建自己的“特定任务大脑”，它确保了机器人真正理解你要求它做什么，而不仅仅是对场景做出反应。

技术摘要：DISC——通过策略生成解耦指令与状态条件控制

1. 问题陈述

本文针对当前语言条件机器人操作策略中的一个根本性局限：任务 - 状态纠缠。现有架构（如 Transformer、扩散策略）通过共享网络参数处理自然语言指令和视觉观测。作者认为，这种设计导致了两个关键失效：

优化张力：共享参数必须同时学习语义语言理解（需要抽象）和精确的视动控制（需要空间敏感性），从而导致相互冲突的优化目标。
观测泄露：在有限的机器人数据集中，视觉上下文往往与任务身份高度相关。纠缠架构利用这一点，通过习得“场景到动作”的捷径来绕过语言指令。因此，策略在熟悉场景中表现成功，但在指令改变或出现视觉歧义时失效，因为它们依赖视觉先验，而非将语言任务规范进行接地。

2. 方法论：DISC 架构

提出的解决方案 DISC，在结构上将任务规范（语言）与状态条件控制解耦。DISC 并非基于语言对通用策略进行条件化，而是利用超网络（hypernetwork）仅根据指令生成特定任务视动策略的完整参数集。

核心组件

超网络（ $H_\phi$ ）：接收语言指令嵌入（ $e_l$ ），并输出目标策略的权重（ $\theta_\pi$ ）。目标策略（ $\pi_{\theta_\pi}$ ）仅接收视觉观测（ $o_t$ ）并输出动作（ $a_t$ ）。由于目标策略无法直接访问语言，任务语义必须完全编码在生成的权重中，从而在结构上消除了观测泄露。
两阶段生成：生成连贯的高维权重具有挑战性。DISC 采用两阶段流程以确保参数质量：
1. 权重初始化网络（WIN）：将语言嵌入映射到参数空间中一个粗略的、语义感知的点（例如，区分抓取与推动）。
2. 迭代细化模块：通过 $T$ 个学习步骤对初始化进行细化。该模块模仿基于梯度的优化结构（前向传播、伪梯度估计、参数更新），但作为一个完全前馈神经网络运行。它在推理时不产生实际梯度下降的计算成本，却嵌入了优化的归纳偏置。
目标策略：一个由生成权重配置的紧凑、特定任务的控制器（实现为轻量级 MLP）。

训练与适应

训练：系统通过行为克隆进行端到端训练。损失函数通过目标策略和超网络进行反向传播，以更新超网络参数（ $\phi$ ）。
少样本适应：对于新任务，超网络基于新指令生成初始化。该初始化已在语义上与任务流形对齐，随后在少量演示上进行微调。这将适应过程从全局搜索转化为局部细化，显著提高了样本效率。

3. 主要贡献

架构解耦：本文提出了一种结构保证，以防止观测泄露，确保任务语义仅通过生成的策略参数而非共享处理层来影响行为。
受优化启发的超网络：一种新颖的超网络设计，利用学习到的前馈细化过程生成连贯的高维策略权重，弥合了表达能力与控制精度之间的差距。
语义参数流形：该方法学习了一个参数空间，其中语义相似的任务在几何上聚类，从而实现鲁棒的少样本适应和对改写指令的泛化。

4. 实验结果

作者在仿真基准（LIBERO-90、Meta-World）和现实世界组合基准上评估了 DISC。

多任务性能：
- 在 LIBERO-90 上，DISC 实现了 94.3% 的总体成功率，比从头训练的最强纠缠基线（OTTER，86.6%）高出 7.7%。
- 随着任务复杂度的增加，性能差距扩大：DISC 在长视野任务上比基线高出 +8.4%。
- 尽管是从头训练，DISC 仍超越了大规模预训练模型 $\pi_0$ （91.6%），并与 $\pi_{0.5}$ （95.7%）保持竞争力。
- 在 Meta-World 上，DISC 实现了 92.2% 的总体成绩，优于所有基线。
观测泄露缓解（现实世界）：
- 在一个现实世界基准中，9 个任务共享相同的视觉上下文（仅语言不同），DISC 实现了 86.4% 的成功率。
- 纠缠基线（如 Octo）降至 78.5%，通常无法区分视觉设置相同但指令不同的任务，证实了 DISC 的解耦防止了视觉捷径。
少样本适应：
- DISC 表现出卓越的样本效率。仅需 1–3 次演示，即可在基于扩散的方法成功率接近 0% 的情况下实现非平凡的成功率。
- 与需要更长“预热”阶段的基线相比，它收敛迅速（200 步以内）。
语言接地：
- 在语言变化（改写指令）下，DISC 保持了高性能（LIBERO-90 上为 85.4%），而纠缠模型显示出显著退化，表明 DISC 将任务意义接地，而非记忆特定措辞。

5. 意义与主张

本文主张：语言进入策略架构的位置比其编码方式更为重要。作者认为，任务 - 状态纠缠是一种结构性缺陷，仅靠扩展数据或模型规模无法完全解决。

结构保证：通过生成特定任务的参数，DISC 提供了一种结构保证，确保任务语义嵌入整个控制器中，防止网络学习绕过语言的捷径。
效率与预训练：结果表明，架构归纳偏置（解耦）可以恢复归因于大规模预训练的大部分优势，使从头训练的模型能够媲美甚至超越大型预训练视觉 - 语言 - 动作（VLA）模型。
鲁棒性：在复杂、长视野或视觉歧义的场景中，纠缠策略因累积的接地错误而失效，此时解耦架构尤为宝贵。

作者总结道，虽然大型预训练 VLA 在数据丰富的环境中具有互补性，但 DISC 为需要可靠接地、高效控制以及从有限机器人数据中进行适应的场景提供了更优越的方法。