💻 computer science

ECo-MoE: Embodiment-Conditioned Mixture of Experts Increases the Evolvability of Robots

本文介绍了 ECo-MoE，这是一个可扩展的框架，它协同优化机器人形态与门控控制专家混合模型，以实现高效的模块化进化，其中祖先知识得以保留，且新设计可通过“演示驱动进化”过程由预策略引导。

原作者： Yibin Wang, Muhan Li, Zihan Guo, Sam Kriegman

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Yibin Wang, Muhan Li, Zihan Guo, Sam Kriegman

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一整家人形机器人如何行走，但家族中的每个机器人都有略微不同的身体形状。有的又高又瘦，有的又矮又宽，还有的拥有额外的腿。

在过去，科学家们面临一个艰难的选择：

“一刀切”方法：训练一个巨大且超级复杂的“大脑”来控制所有机器人。问题在于：这个“大脑”会变得“保守”。它倾向于求稳，导致机器人动作缓慢且笨拙，因为它试图找到一个对所有人都适用但无人精通的中间方案。
“定制大脑”方法：为每一个机器人单独训练一个全新的定制“大脑”。问题在于：这极其缓慢且昂贵，就像为庞大学校里的每个学生都聘请一名私人导师。

本文介绍了一种巧妙的折中方案，称为ECo-MoE（基于具身条件的专家混合模型）。你可以将其想象为一个由专业教练组成的协作团队。

“教练团队”类比

与其使用一个巨大的大脑或成千上万个定制大脑，不如让机器人拥有一个由四个“专家”神经网络（即教练）组成的小团队。

专家 1擅长控制细长、蛇形的身体。
专家 2擅长控制短小、粗胖的身体。
专家 3和专家 4则拥有各自的专长。

但其中的妙处在于：机器人并非只挑选一位教练。它拥有一位智能管理者（称为“门控网络”）。这位管理者会观察机器人的身体形状（即其“基因型”或蓝图），并决定在多大程度上听取每位教练的意见。

如果机器人又长又瘦，管理者会说：“90% 听从专家 1，10% 听从专家 2。”
如果机器人又矮又宽，管理者会说：“80% 听从专家 3。”

这使得系统能够在不破坏“大脑”的前提下演化出新的身体形状。如果演化出一种新的、奇特的身体形状，管理者只需微调教练的组合来处理它，而无需丢弃教练们已经学到的知识。

“演示驱动演化”：从蓝图中学习

本文还引入了一项名为**“演示驱动演化”**（Evolution by Demo）的功能。

想象你有一个非常喜欢的特定机器人设计（即“演示”），比如一个完美的四足行走者。通常，演化是随机的；这就像在黑暗中扔飞镖，希望能击中靶心。

旧方法：你可能要等待很长时间，让演化偶然发现那个完美的形状。
ECo-MoE 方法：你可以利用那个完美设计，专门针对它训练其中一位“专家教练”，然后冻结该教练的“大脑”。接着，你告诉演化过程：“嘿，如果新机器人看起来有点像我们的完美演示，就多听听这位专家的意见。”

这就像一个磁铁。它温和地将随机的演化过程拉向你想要的形状，引导机器人演化为你心中设想的具体、理想的形态，而不仅仅是随机形状。

他们发现了什么？

研究人员在模拟世界中用三个挑战测试了该方法：

平地：在平滑地板上行走。（在此场景下，新方法的表现与旧的“一刀切”方法相当。简单任务不需要复杂的教练团队。）
直立行走：像人类一样保持直立行走。（新方法表现好得多。它演化出了能够更有效地站立和行走的机器人。）
坑洼路面：在崎岖不平的地面上行走。（同样，新方法表现好得多。教练团队比单一的巨大大脑能更快地适应粗糙地形。）

宏观视角

主要结论是，通过利用一个适应机器人身体的模块化专家团队，机器人可以更快地演化并学习更优的行为，尤其是在任务变难或环境变得混乱时。这就像从一位过度劳累的单一将军，升级为一个灵活、专业的指挥中心，能够应对自然（或演化）抛出的任何身体类型。

论文还指出，虽然这在计算机模拟中效果极佳，但机器人目前才刚刚开始被制造出来，下一步是验证该方法是否能在物理机器上生效。

技术摘要：ECo-MoE：基于具身条件的专家混合模型提升机器人的可进化性

问题陈述

机器人形态与控制的协同优化（协同设计）面临着可扩展性与性能之间的根本性权衡。现有方法通常陷入两种低效的极端：

独立策略：为每一个独特的机器人设计训练定制的控制策略，对于进化大规模种群而言，计算成本过高。
单体通用控制器：为所有设计训练单个“通用”控制器（如 Li 等人 2025 年的最新工作所示），往往导致结构和行为过于保守。这种方法难以在高度多样化的形态间泛化，并且无法充分探索稀疏或具有欺骗性的搜索景观，尤其是在任务复杂度增加时。

此外，虽然进化是生成通用智能体和新颖形态设计的强大机制，但其计算成本高昂。为了降低进化的计算难度而降低形态分辨率，往往会牺牲其与真实世界机器人的相关性。作者寻求一种中间路线，在保留祖先知识的同时，允许对新身体结构进行模块化适应，而不会破坏来之不易的控制知识。

方法论

本文提出了ECo-MoE（基于具身条件的专家混合模型），这是一个协同优化潜在设计向量（基因型）分布与专家混合控制器（神经模块）的框架。

1. 联合协同优化框架

该系统在两个时间尺度上运行：

进化（较慢）：使用 CMA-ES 更新基因型 $z \in \mathbb{R}^{512}$ 的潜在分布 $N(\mu, \Sigma)$ 。每个基因型通过预训练的变分自编码器（VAE）解码为包含软组织和刚性骨骼的 3D 内骨骼形态（64³体素）。
学习（较快）：使用 PPO 更新控制器参数。控制器接收机器人的状态 $s$ 及其潜在基因型 $z$ ，以产生动作 $a$ 。
目标：系统最大化密集的行为奖励 $R(\tau)$ （用于学习）和稀疏的设计适应度 $F(\tau)$ （用于进化）。

2. 基于具身条件的专家混合模型（ECo-MoE）

控制器并非由单个单体策略组成，而是由 $K=4$ 个专家子网络（缩小的图 Transformer）和一个门控网络组成。

门控机制：线性门控层以潜在基因型 $z$ 作为输入，生成路由权重 $w_\phi(z) = \text{softmax}(Wz + b)$ 。
策略聚合：最终策略是专家输出的加权和：
$\pi_{\theta,\phi}(a | s, z) = \sum_{k=1}^{K} w_k^\phi(z) \pi_k^\theta(a | s)$
多样性正则化：为了防止“专家坍塌”（即门控仅依赖单一专家），引入损失项 $L_{div}$ ，鼓励潜在空间中相距较远的基因型具有不同的路由权重。这确保了不同的身体结构能够激活不同的已学习感觉运动电路组合。

3. “演示驱动进化”（Evo by Demo）

该框架引入了一种利用先验知识引导进化的机制：

预训练专家注入：混合模型中的特定专家被替换为在特定“预设计演示”（例如，特定的四足动物）上预训练的策略。其参数被冻结。
潜在先验初始化：初始潜在分布的均值和标准差可以根据预设计演示的潜在编码进行设置。
兼容性引导：使用学习到的兼容性分数 $\hat{c}_g(z)$ （分配给冻结专家的门控权重）来增强适应度分数： $\tilde{F}(z, \tau) = F(\tau) \cdot (\hat{c}_g(z))^\alpha$ 。这将进化引导至与预训练专家控制策略相容的形态。

主要贡献

模块化协同设计：本文提出了一种利用由机器人潜在基因型门控的专家混合模型的可扩展替代方案，以取代单体控制器。这使得控制器的不同部分可以为新物种进行彻底改造，而不会破坏其他模块中的知识。
提升可进化性：作者证明，与非模块化基线相比，模块化显著提高了机器人在复杂环境（如直立运动和崎岖地形）中进化出有效行为的能力。
可引导的进化（“演示驱动进化”）：本文提出了一种方法，将自由形式的进化引导至由预训练模型定义的规范结构，有效地结合了进化的探索能力与监督学习的精确性。

结果

实验在三个环境中进行：平地、直立运动和坑洼（崎岖地形）。

性能提升：
- 平地：ECo-MoE 的表现与基线（单体控制器）相当，因为简单的位移任务不需要基于具身条件的专业化。
- 复杂任务：在直立运动和坑洼任务中，ECo-MoE 显著优于基线。模块化方法使系统能够进化出更多样化且更稳健的设计，这些设计能够保持姿态并导航障碍物。
- 参数效率：尽管使用了多个专家，但 ECo-MoE 的总策略大小略小于基线，且每个专家用于动作生成的参数数量大幅减少。
可进化性分析：
- 潜在空间的可视化显示，ECo-MoE 并不一定比基线探索更广泛的区域，但在对遇到的设计进行更好的利用方面表现更佳。
- 路由权重在代际间动态适应，专家变得针对特定结构特征专业化。
- 该系统对专家数量具有鲁棒性（测试了 2、4 和 8 个专家），其中 4 个提供了最佳平衡。
演示驱动进化：
- 结合预设计初始化与冻结的预训练专家（CoSteering）是将进化引导至特定形态特征（如径向对称性和特定肢体数量）的最有效方法。
- 与随机初始化相比，这种方法进化出的机器人具有更高的“有效肢体数量”和更低的“质量偏置向量幅度”（更平衡的解剖结构）。
- 虽然仅预设计（无预训练专家的初始化）实现了高适应度，但CoSteering产生的形态在结构上与目标演示最为相似。

意义与主张

本文声称，ECo-MoE 提供了自然界中模块化跨具身控制系统的抽象，其中共享的模块化基因和神经回路生成多样化的身体部位和运动模式。

可扩展性：该方法通过将控制与特定形态解耦，同时保持统一框架，为进化复杂具身智能体提供了一条可扩展的路径。
可控性：通过允许模块化修改，该系统导致进化出更具可控性的设计，缓冲了有害突变的影响。
实际意义：这项工作为机器人学提供了一条路径，即“演示驱动进化”可以引导发现具有所需特征的新型软体机器人，从而可能产生比当前刚性形式更有益且危险性更低的智能体。
局限性：作者谦逊地指出，当前的 VAE 潜在空间难以重建训练数据中未充分代表的分布外形态（如双足或六足动物）。他们建议未来的工作可以在进化过程中逐步调整 VAE，以扩展潜在流形。目前的实验仅限于模拟的陆地运动，物理实现以及更多样化的行为（游泳、操作）被确定为未来的步骤。