💻 computer science

Improving CMA-ES Convergence Speed, Efficiency, and Reliability in Noisy Robot Optimization Problems

本文介绍了一种名为自适应采样协方差矩阵演化策略（AS-CMA）的新型算法，该算法根据预测的排序难度动态分配候选解的评估时间，在噪声机器人优化任务中展现出比标准 CMA-ES 和贝叶斯优化更优越的收敛速度、效率和可靠性。

原作者： Russell M. Martin, Steven H. Collins

发布于 2026-01-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Russell M. Martin, Steven H. Collins

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试为一款新型高科技步行外骨骼寻找最完美的设置。这款外骨骼旨在帮助人们以更小的代价行走。问题在于，人体是复杂且不可预测的。每当你测试一个新的设置时，你都必须让一个人在跑步机上走一段时间，以观察他们消耗了多少能量。

这里有一个难点：

如果测试时间太短（比如 30 秒），数据就会充满噪声且不可靠。这就像试图通过只看一秒钟的温度计来猜测一天的平均气温。你可能会得到一个幸运的猜测，也可能会得到一个极其离谱的错误数字。
如果测试时间太长（比如 10 分钟），数据虽然非常准确，但会浪费大量时间。如果你对每一个尝试的设置都进行如此长时间的测试，整个优化过程将会变得极其缓慢。

传统上，研究人员会选择一个“中间地带”的时间（比如 2 分钟），并将其固定用于每一次测试。这篇论文介绍了一种更聪明的方法，叫做 AS-CMA（自适应采样 CMA-ES）。

问题所在：“一刀切”的错误

把优化过程想象成一名侦探正在拥挤的房间里寻找嫌疑人。

静态采样（旧方法）： 侦探决定对房间里的每一个人都进行整整 5 分钟的询问，无论他们看起来多么无辜。
- 如果那个人显然是清白的，那么 5 分钟就是一种浪费。
- 如果那个人看起来非常可疑，但很难与邻近的人区分开，那么 5 分钟可能不足以确定身份。
- 这种方法效率低下：它要么太慢，要么不够准确。

解决方案：AS-CMA（聪明的侦探）

作者创造了一种新方法，AS-CMA，它就像一个会根据分辨难度来调整面试时间的侦探。

简单的决策获得短面试： 如果侦探看到两个看起来截然不同的人（一个穿着小丑服，另一个穿着西装），他们不需要花太多时间就能分辨出谁是谁。AS-CMA 会说：“这个候选人明显比它的邻居更好或更差；让我们快速测试它。”
困难的决策获得长面试： 如果侦探看到两个看起来几乎一模一样的人，他们需要花更多时间才能确定谁才是嫌疑人。AS-CMA 会说：“这两个候选人的表现非常接近；我们需要更长时间来获得精确的答案。”

在实践中它是如何运作的

该算法观察着可能性的“景观”。

在搜索初期： 候选者之间差异很大。算法就像一名短跑运动员，通过多次快速、短时间的测试来缩小范围。
在搜索后期： 候选者都非常相似（他们都是“好”的选择，但哪一个是“最好的”？）。算法会放慢速度，像一名马拉松选手一样，在少数剩余的顶尖竞争者身上投入更多时间，以确保选出绝对的赢家。

这篇论文的研究发现

研究人员在四种不同的模拟世界中，将这种“聪明侦探”与旧的“一刀切”方法以及其他先进方法（如贝叶斯优化）进行了对比测试：

真实世界外骨骼数据： 一个基于实际人类行走数据的模拟。
复杂的数学问题： 具有许多起伏、谷底和变量间复杂交互作用的模拟。

结果显示：

速度： AS-CMA 找到最佳解决方案的速度比最好的固定时间法快了 24% 到 65%。
可靠性： 它在所有尝试中成功率高达 98%，且无需任何人工微调。旧方法经常失败，或者陷入“足够好”但并非真正的最优解的困境。
效率： 它节省了大量的“能量成本”（在模拟中，这意味着总行走时间），因为它没有在容易的决策上浪费时间。

与其他方法的比较：

对比固定时间法： AS-CMA 几乎总是表现更好。
对比贝叶斯优化： 在简单、平滑的问题中，贝叶斯优化更快。但在复杂、多变或多噪的问题中（这在真实机器人中很常见），贝iously 优化往往会感到困惑或陷入停滞，而 AS-CMA 则能稳步向解决方案推进。

现实世界测试

团队不仅停留在计算机模拟阶段。他们实际上使用 AS-CMA 对一名人类受试者的踝部外骨骼进行了优化。

算法迅速找出了改进的方向。
它成功地将该人的能量消耗降低了 42%（非常接近预期的 39%）。
它通过自动在短时间测试（当选项显而易见时）和长时间测试（当需要精确度时）之间切换，实现了这一目标，而研究人员无需告诉它应该等待多久。

核心结论

该论文认为，在充满噪声的现实实验（如机器人技术或人类测试）中，你不应该对每一次测试都一视同仁。你应该保持灵活性。AS-CMA 是一个工具，它能根据当前情况的复杂程度自动决定“听多久”。它让寻找最佳机器人设置的过程变得更快、更可靠，也更节省时间与精力。

技术摘要：改进噪声机器人优化中的 CMA-ES 收敛性

问题陈述
机器人系统的实验优化，特别是在涉及人类在环（human-in-the-loop）的上下文（如外骨骼辅助）中，面临着关键的速度与精度权衡问题。评估候选控制策略通常需要数秒甚至数分钟的时间，以允许人类或系统达到稳态。较短的评估时间可以实现更快的迭代，但会引入显著的测量噪声，可能导致错误的候选方案排序并导致次优收敛。相反，较长的评估时间虽然能减少噪声，但会减慢优化过程并增加总成本（例如，实验中的代谢能消耗）。传统方法通常依赖于对所有候选方案使用单一、静态的采样时间，这无法考虑到随着优化器在不同成本景观区域推进时，区分候选方案的难度也会随之变化。

方法论：自适应采样 CMA-ES (AS-CMA)
作者提出了 AS-CMA，这是对协方差矩阵自适应进化策略（CMA-ES）的一种改进，它根据预测的排序难度动态分配采样时间。其核心逻辑基于这样一个观察：CMA-ES 的选择取决于候选方案的秩排序（rank ordering），而非其绝对成本值。

机制： AS-CMA 估计当前代中某个候选方案与其最近邻居之间的区分难度。它使用候选参数之间的欧几里得距离（ $d_{nearest}$ ）作为成本差异的代理指标，并由估计的局部景观斜率（ $k_{avg}$ ）进行缩放。
噪声建模： 该算法假设一个噪声模型 $E(t)$ ，其中测量误差随采样时间 $t$ 的增加而减小。它计算所需的目标噪声水平（ $\epsilon_i$ ），以实现期望的信噪比（ $\beta$ ）与估计成本差异之间的关系。
自适应分配： 通过对噪声模型进行求逆，AS-CMA 确定每个候选方案所需的最小采样时间 $t_i$ $t_{i}$ ，以确保可靠的排序。
- 与邻居参数距离较大的候选方案（易于排序）获得较短的采样时间。
- 与邻居参数距离较小的候选方案（难以排序，通常出现在最优值附近）获得较长的采样时间。
约束条件： 该方法避免了“回溯”（即重新评估之前已测量的候选方案），并且不依赖于来自远处世代的历史数据，这使其适用于成本景观可能随时间演变的场景（例如，人类的学习过程）。

实验框架
作者将 AS-CMA 与采用各种静态采样时间的标准 CMA-ES、贝叶斯优化（BO）以及 Kullback-Leibler 知识梯度 CMA-ES（KL-KG CMA-ES）进行了对比评估。

模拟实验： 测试了四种成本景观：一个经验性的 4D 足踝外骨骼代谢成本景观、一个 4D Rosenbrock 函数（具有变量交互作用）、一个 4D Levy 函数（存在局部极小值）以及一个 20D Sphere 函数（高维空间）。噪声被建模为与采样时间相关的乘性噪声，并源自经验代谢数据。
指标： 性能通过收敛可靠性（达到阈值的运行次数百分比）、收敛时间以及收敛的总成本进行衡量。
实验室试点： 通过一项单受试者实验，优化足踝外骨骼辅助以最小化代谢成本，AS-CMA 将条件持续时间动态调整在 0.5 到 5.5 分钟之间。

关键结果

收敛速度与效率： 在所有四个模拟景观中，AS-CMA 的收敛速度比表现最好的静态采样时间下的标准 CMA-ES 快 24–65%，且总成本降低了 29–76%。它在无需参数调优的情况下，实现了高精度的收敛（进入真实最小值 5% 范围内），成功率达 98%。
排序准确性： 在整个优化过程中，AS-CMA 保持了高水平的噪声成本与真实成本之间的 Spearman 秩相关系数（ $\rho$ ），优于那些要么初始准确度低（采样时间短），要么在不必要的精度上浪费时间（采样时间长）的静态策略。
与贝叶斯优化的比较： 在较简单的单峰景观（Ankle, Sphere）中，使用最优静态采样时间的 BO 比 AS-CMA 更高效。然而，在具有局部极小值和参数交互作用的复杂景观（Rosenbrock, Levy）中，BO 在可靠性方面表现挣扎，而 AS-CMA 则保持了鲁棒性和高效性。
与 KL-KG CMA-ES 的比较： KL-KG CMA-ES 在某些情况下比静态 CMA-ES 具有微弱优势，但通常被 AS-CMA 超越。在复杂景观中，KL-KG 实现类似收敛所需的成本和时间显著高于 AS-CMA。
实验室验证： 在外骨骼实验中，AS-CMA 迅速识别出了最优值的正确方向，并实现了 42% 的代谢成本降低（接近预期的 39%），同时算法在允许的范围内动态改变了采样时间。

意义与主张
论文声称 AS-CMA 为噪声实验优化提供了一种实用的、低开销的解决方案。其主要意义在于：

消除调参需求： 它消除了研究人员手动选择静态采样时间的需求，而这一过程通常需要多次初步运行。
复杂环境下的鲁棒性： 它为复杂、高维或非凸搜索空间（常见于现实世界机器人领域）提供了一个更可靠的替代方案。
高成本环境下的效率： 通过减少对易于排序候选方案的采样时间，并仅在必要时最大化采样时间，AS-CMA 在不牺牲解质量的前提下，降低了总实验负担（时间与能量）。

作者得出结论，AS-CMA 特别适用于在切换候选方案时会产生高额开销的领域（例如，人类适应、系统重构），因为它避免了重新评估候选方案，并能根据优化过程的即时需求调整采样投入。