💻 computer science

Rapid co-design of Buoyancy-assisted robots for Challenging Locomotion using Gaussian Evolutionary Specialists

本文介绍了高斯进化专家（Gaussian Evolutionary Specialists, GES），这是一个将设计空间划分与策略学习解耦的框架，旨在实现浮力辅助足式机器人的快速协同设计，与现有的通用策略和混合专家方法相比，该框架在硬件上实现了显著更高的性能和障碍物跨越能力，同时减少了优化时间。

原作者： Ankit Sinha, Nitish Sontakke, Dennis Hong, Yusuke Tanaka, Sehoon Ha

发布于 2026-06-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ankit Sinha, Nitish Sontakke, Dennis Hong, Yusuke Tanaka, Sehoon Ha

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图设计一双完美的跑步鞋。你知道鞋底的形状（形态学）和跑者的运动方式（控制）需要完美协作。如果你改变了鞋子的形状，跑者的步态也需要随之改变。

在机器人领域，科学家们面临着同样的问题。他们想要制造能够跨越障碍物或爬坡的机器人，但他们需要同时弄清楚最好的身体形状和最好的大脑（软件）。

问题所在：“全才”陷阱

通常，为了找到最好的机器人，工程师们会尝试成千上万种不同的身体形状。对于每一种新的形状，他们都必须从头开始教机器人大脑如何行走。这就像是为学校里的每一位学生都专门聘请一位新老师，并让他们教完一整个学期，仅仅是为了看看这个学生是否足够聪明。这既耗时又昂贵。

为了加速这一过程，研究人员尝试了一个捷径：通用策略（Universal Policy）。这就像是聘请了一位“超级教师”，试图学习如何同时教导各种不同类型的学生。

结果： 超级教师感到困惑了。因为每个学生（机器人形状）都不同，老师试图寻找一种对所有人都有用、但对任何人都不够完美的“折中”策略。老师最终教出了一种平庸、平均的步态，当机器人需要做一些棘手的动作（比如跳过高栅栏）时，这种步态就会失败。

他们还尝试了“专家混合（Mixture of Experts）”的方法，即让超级教师聘请一个专家团队。但系统却在“哪位专家应该教哪个学生”的问题上产生了混乱。每个人最后都在教同一种平庸的步态，导致系统崩溃并走向失败。

解决方案：高斯进化专家（Gaussian Evolutionary Specialists, GES）

本文作者发明了一种名为**高斯进化专家（GES）**的新方法。你可以把它想象成一个智能的、不断进化的课堂系统。

GES 不再是聘请一位老师或一个混乱的团队，而是这样做：

划分领地： 它将“设计空间”（所有可能的机器人形状）划分为不同的邻域，就像在地图上画圈一样。
聘请专家： 它为每个邻域分配一位特定的“专家教师”。
进化游戏：
- 训练： 每位专家只教导其所在邻域内的学生（机器人设计）。他们会成为特定形状方面的专家。
- 探测： 系统测试位于邻域边缘的设计。如果一个位于邻域 A 边缘的设计与邻域 B 的老师配合得更好，那么该设计就会被“交换”到邻域 B。
- 重拟合： 邻域（地图上的圆圈）会根据它们真正擅长教导的学生进行缩小或扩大。

随着时间的推移，这些邻域会稳定成一张完美的地图，其中的每一位专家都是其特定区域内真正的专家。这里没有混乱，也没有“平均化”的行为。

成果展示：BALLU 机器人

团队在名为 BALLU（浮力辅助轻型腿部单元）的机器人上测试了这一方法。这是一个双足机器人，利用氦气气球使自身变得更轻，几乎处于漂浮状态。这使得控制起来非常困难，因为风力和气球会让它摇晃不定。

模拟实验： 当他们使用这种新的 GES 方法来设计机器人时，生成的机器人比使用旧有的“超级教师”方法设计的机器人，跳跃障碍物的高度提高了 5% 到 25%。
现实世界： 他们在现实世界中制造出了最佳设计。
- 旧的标准机器人只能跳过 8 厘米（3 英寸）高的障碍物。
- 新的、由 GES 设计的机器人可以跳过 24 厘米（9.5 英寸）高的障碍物。这提升了 3 倍。
速度： 由于不需要为每一个新设计重新从头教导机器人，整个过程比以往的方法节省了 37% 的时间。

核心启示

本文表明，在设计复杂的机器人时，你不能只使用一种“一刀切”的大脑。相反，你需要将设计空间分解成易于管理的块，并让专门的专家处理每个部分。通过让这些专家根据谁最擅长教导他们来“进化”自己的领地，你就能获得在工作中表现得更好的机器人，并且能更快地完成任务。

技术摘要：使用高斯进化专家进行浮力辅助机器人的快速协同设计

问题陈述

本文探讨了机器人协同设计（Robot Co-design）的挑战，即通过对机器人形态（物理结构）和控制策略的联合优化，实现单一组件无法达到的任务性能。具体而言，作者关注的是浮力辅助轻型腿足单元（BALLU），这是一种利用氦气气球来抵消重量的双足机器人。

核心难点在于协同设计过程中的计算成本。这是一个双层优化问题：

外层循环： 在形态设计空间中进行搜索。
内层循环： 对于每一个候选形态，必须训练一个鲁棒的控制器（通常通过强化学习，RL）。

现有方法面临显著的瓶颈：

重复的 RL 训练： 为每一个形态候选者从头开始训练新策略在计算上是极其昂贵的。
通用策略（Universal Policies）： 通过以形态参数为条件进行预训练，以实现零样本评估的“通用”策略，会因为**行为多样性崩溃（Behavioral Diversity Collapse）**而失败。由于来自不同形态的冲突梯度会被平均化，导致策略收敛到单一且次优的运动策略。
端到端混合专家模型（End-to-End Mixture-of-Experts, MoE）： 虽然 MoE 架构在理论上允许专门的专家，但在这种语境下会遭受表示崩溃（Representation Collapse）。路由器在训练早期无法区分不同的专家，导致所有专家趋向于相似的行为，使得混合机制失效。

方法论：高斯进化专家 (Gaussian Evolutionary Specialists, GES)

作者提出了**高斯进化专家（GES）**框架，该框架将设计空间的划分与控制策略的学习解耦，旨在显式地捕获多样化行为，同时避免通用策略或端到端 MoE 策略的失效模式。

核心机制：
GES 维护一组 $K$ 个专家策略，每个专家都关联一个定义在设计参数空间上的高斯领地（Gaussian Territory）（由均值 $\mu_k$ 和对角协方差 $\Sigma_k$ 定义）。该框架通过包含三个阶段的迭代循环运行，直到设计空间得到充分覆盖（95% 蒙特卡洛覆盖率）：

初始化：
- 使用**最远点采样（Farthest Point Sampling, FPS）**结合 **Lloyd 弛豫（Lloyd's Relaxation）**在归一化设计空间中初始化 $K$ 个高斯中心，以确保分布均匀且具有空间填充性。
- 每个专家被初始化为一个随机的 MLP。
领地迭代进化：
- 训练（Train）： 每个专家 $\pi_k$ 从其当前的高斯领地中采样设计，并通过近端策略优化（PPO）进行训练，同时从之前的检查点恢复以保留已学习的行为。
- 探测（Probe）： 在所有高斯领地的边界（ $2\sigma$ ）附近采样候选设计。这些候选设计由所有 $K$ 个专家进行评估。每个候选设计会被竞争性地分配给获得最高任务性能得分（ $J$ ）的专家。
- 重拟合（Refit）： 每个专家的高斯参数（ $\mu_k, \Sigma_k$ ）会根据其在探测阶段“获胜”的设计的均值和协方差进行更新。这使得领地能够根据经验性能进行扩张和适应。
协同设计集成：
- 训练完成后，专家将作为外层设计优化循环（如贝叶斯优化）的零样本评估器。
- 对于新的候选设计，几何路由器根据高斯似然选择最近的专家，并直接评估该专家的性能，从而消除了重新训练的需要。

主要贡献

识别失效模式： 本文识别了行为多样性崩溃这一此前未被认识到的通用策略在机器人协同设计中的失效模式（即策略无论形态如何都收敛到单一策略）。同时，文章也强调了表示崩溃如何削弱了端到端 MoE 的训练。
GES 框架： 提出了一个通过迭代高斯领地进化来解决上述两种崩溃问题的两阶段框架。通过将划分与专业化解耦，GES 确保每个专家都在稳定且定义明确的区域内进行训练。
硬件验证： 在物理硬件上成功部署了经 GES 优化的设计，证明了其在障碍物越障能力上的显著提升。

结果

该方法在仿真环境（Isaac Lab）和硬件平台上针对 BALLU 平台进行了验证。

仿真性能：
- 障碍物越障（2D 空间）： GES 相比单体通用策略（e2e MLP）实现了 25.5% 的平均性能提升，相比端到端 MoE 提升了 8.62%。GES 设计能够跨越高达 54 cm 的障碍物，而通用策略仅为 38 cm。
- 障碍物越障（3D 空间）： GES 相比通用策略实现了 31.7% 的峰值增益，平均提升为 18.8%。
- 坡道攀爬： 在 2D 空间中，GES 相比基准模型提升了约 13% 的平均性能。
- 效率： 通过用直接评估取代昂贵的 RL 重训练，GES 将总协同设计墙钟时间减少了 37%（从约 100 小时降至约 63 小时）。
硬件结果：
- 一个经过 GES 优化（针对 $GCR=0.86, SPCF=0.008$）的 BALLU 成功跨越了 24 cm 的障碍物。
- 这相比基准 BALLU 设计实现了 3 倍的提升（基准设计仅能跨越 8 cm 障碍物）。
- 结果证实，尽管存在模拟到现实（sim-to-real）的差距，仿真中发现的形态改进能有效地迁移到物理平台上。
行为分析：
- 与基准模型不同，GES 专家保持了行为多样性。可视化结果显示，即使控制相同的机器人设计，不同的专家也会产生定性不同的足部轨迹和越障策略。
- 端到端 MoE 基准模型表现出表示崩溃，将设计均匀地分配给各个专家，而 GES 则建立了硬性划分，使每个专家在其特定的子空间内占据主导地位。

意义与主张

本文声称 GES 通过克服通用策略和标准 MoE 架构的根本局限，为机器人协同设计提供了一种可扩展且高效的解决方案。通过迭代领地进化显式地捕获多样化行为，GES 能够发现高性能的机器人形态，而这些形态在评估器发生崩溃时是无法被发现的。该框架被认为是与平台无关的，尽管目前的验证是针对浮力辅助腿足机器人的。作者指出，该方法假设专家数量固定且设计空间是连续且有界的，并将这些视为未来进行适配调整的领域。