⚡ electrical engineering

Learning What Matters: Adaptive Information-Theoretic Objectives for Robot Exploration

本文提出了准最优实验设计（QOED），这是一种自适应信息论目标，通过识别可观测参数方向并抑制干扰效应来增强机器人探索能力，从而在模拟和真实世界任务中显著提升数据效率与策略性能。

原作者： Youwei Yu, Jionghao Wang, Zhengming Yu, Wenping Wang, Lantao Liu

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Youwei Yu, Jionghao Wang, Zhengming Yu, Wenping Wang, Lantao Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《学习何为重要：机器人探索的自适应信息论目标》的通俗解释，辅以生动的类比。

核心难题：机器人的“选择过多”困境

想象你是一台被派往陌生新房子去学习其运作规律的机器人。你拥有的电池电量（时间）是有限的。你的目标是搞清这所房子的“规则”：门有多重？地板是否打滑？铰链是否生锈？

在机器人领域，这被称为探索。为了做好这一点，机器人会使用一种名为**贝叶斯最优实验设计（BOED）**的数学工具。你可以把 BOED 想象成一位超级聪明的向导，它会告诉机器人：“去摸摸那扇门！那能教你最多关于它重量的知识。”

但这里有个陷阱： 现实世界的机器人有数百个需要调节的“旋钮”（参数）。有些旋钮很容易学习（比如门的重量），但有些则根本无法从你手头的数据中推断出来（比如墙壁深处某颗螺丝的确切摩擦系数）。

如果机器人试图一次性学会所有东西，它就会陷入混乱。它会浪费电量去测量那些根本看不见的东西，或者被“噪声”（干扰因素）分散注意力，让它误以为自己学到了其实并未掌握的东西。这就像试图通过同时转动收音机的每一个旋钮来调台一样；你最终得到的只会是杂音。

解决方案：QOED（准最优实验设计）

作者提出了一种新方法，称为QOED。QOED 不像试图学习每一个旋钮那样，而是像一个智能过滤器，帮助机器人找出当下哪些旋钮真正重要，并忽略那些无关紧要的。

以下是 QOED 的工作原理，分为三个简单步骤：

1. “手电筒”测试（寻找可观测子空间）

想象机器人有一把手电筒（即费雪信息矩阵），它照亮了那些旋钮。

有些旋钮被照得通亮（这些是可辨识的）。机器人可以清楚地看到改变它们如何影响世界。
其他旋钮则处于黑暗中，或者微弱到几乎看不见（这些是不可辨识的）。
QOED 的策略： 它分析光照模式，然后说：“好吧，我们可以清楚地看到‘门重’旋钮和‘地板摩擦’旋钮。让我们暂时忽略‘螺丝生锈’旋钮，因为光线太弱，根本看不见它。”

2. “降噪”耳机（抑制干扰）

即使机器人专注于那些明亮的旋钮，那些黑暗的旋钮仍可能造成干扰。想象你正试图听一位歌手（重要数据）唱歌，但背景里有一台风扇在嗡嗡作响（干扰参数）。

如果你只是忽略风扇，歌手的声音可能听起来仍然失真。
QOED 的策略： 它使用一种数学技巧（称为舒尔补）来充当降噪耳机。它主动减去那些不重要旋钮的“嗡嗡声”，让机器人能完美清晰地听到“歌手”（关键参数）的声音。

3. “智能指南针”（自适应目标）

大多数机器人使用固定的地图。QOED 则使用一个智能指南针。随着机器人移动并收集新数据，指南针会不断更新。

起初，机器人可能不知道什么才是重要的。
随着它不断学习，QOED 会说：“好吧，我们已经搞定了重量。现在，让我们停止担心重量，完全专注于摩擦。”
它不断重新排序重要性，确保机器人永远不会在死胡同里浪费时间。

为何重要：实验结果

作者在两种方式下测试了这种方法：在计算机模拟（如电子游戏）中，以及在真实机器人（机械臂和轮式车辆）上。

“不可知”方法（旧方式）： 这种方法挑选“明亮”的旋钮，但完全忽略“黑暗”的旋钮。这就像试图听歌手唱歌却不去抵消噪音，只是忽略风扇。机器人仍然会感到困惑。
“全 BOED"方法（理想方式）： 这种方法试图学习所有东西。这就像试图同时听歌手、风扇、外面的交通声和鸟叫声。机器人会不堪重负，学习缓慢。
QOED 方法（获胜者）： 通过挑选正确的旋钮并抵消噪音，与标准的“全 BOED"方法相比，QOED 在预测机器人运动方面的表现提高了 35%。

在一项真实世界的测试中，机器人需要堆叠方块，QOED 的成功率达到了 89%。其他方法大多失败，因为它们要么被错误的数据搞糊涂，要么无法足够快地算出方块的重量。

核心结论

这篇论文提出了一种让机器人停止试图成为“全知者”，转而开始“明智专注”的方法。

QOED 教导机器人不再盲目地收集关于一切的数据，而是：

识别它实际上能学到的东西。
忽略它学不到的东西。
抵消来自那些被忽略事物的干扰。

其结果是一个学得更快、犯错更少、用更少的时间和精力就能更好地完成工作的机器人。这就像是一个试图背诵整本字典的学生，与一个专注于通过考试所需特定词汇的学生之间的区别。

技术摘要：学习关键要素：用于机器人探索的自适应信息论目标

问题陈述

为机器人探索设计可学习的信息论目标是一项重大挑战。虽然贝叶斯最优实验设计（BOED）提供了一个原则性框架，引导探索朝向能够减少模型参数不确定性的数据，但其在高维机器人系统中的实际应用受到两个主要问题的阻碍：

弱可观测性与可辨识性：在复杂系统中，许多参数方向的可观测性较弱或不可辨识。盲目优化所有参数可能导致虚假的探索方向。
干扰参数（Nuisance Parameters）的影响：即使选择了关键参数，忽略“干扰”参数（即未明确针对的参数）也会扭曲信息度量。这些被忽略的方向通常仍与关键方向耦合，导致次优的探索策略，无法隔离真正的可学习动力学。

现有方法通常依赖专家策划的低维参数集，假设未选中的参数影响可忽略不计。然而，在现实世界场景中，这一假设经常失效，因为物理参数（例如摩擦、质量、电机动力学）相互依赖且难以预先指定。

方法论：准最优实验设计（QOED）

作者提出了准最优实验设计（QOED），这是一种基于最优实验设计理论的自适应信息目标。QOED 通过集成到基于模型的策略优化（MBPO）中的三步流程，解决了可观测性和干扰参数带来的挑战。

1. 在线识别关键参数

QOED 不依赖预先指定的参数，而是动态识别一组紧凑的可辨识参数：

参数估计：首先，使用无导数优化器（交叉熵方法）从观测轨迹数据中估计当前参数值（ $\hat{\phi}$ ），使 rollout 与观测结果匹配。
特征空间分析：对费雪信息矩阵（FIM）进行特征分解。特征值指示了参数空间中不同方向的信息含量。
子空间选择：特征值低于阈值的方向被视为“弱观测”。该方法在“强观测”子空间内选择一个参数坐标子集，要求该子集具有多样性（最大化子矩阵的对数行列式）且互不高度相关（施加余弦相似度约束）。

2. 自适应信息目标

为了应对干扰参数的影响，QOED 构建了一个强调关键方向同时抑制非关键方向的目标。

舒尔补（Schur Complement）：QOED 不使用忽略非关键参数的方法（这会导致“不可知”目标），而是利用 FIM 的舒尔补。
数学表述：设 $F_{kk}$ 为关键参数的 FIM 块， $F_{\bar{k}\bar{k}}$ 为干扰参数的 FIM 块。QOED 目标定义为舒尔补的迹：
$B_{QOED} = \text{tr}(F_{kk} - F_{k\bar{k}} F_{\bar{k}\bar{k}}^{-1} F_{\bar{k}k})$
该公式有效地奖励那些无法从干扰参数线性预测的关键参数信息，从而抑制扭曲标准信息增益度量的“干扰效应”。
理论保证：作者证明，在干扰影响有界且耦合有限的情况下，QOED 提供了对探索所有参数的理想 BOED 目标的常数因子近似。

3. 与基于模型的策略优化（MBPO）的集成

QOED 被集成到一个基于模型的强化学习框架中：

学习到的动力学模型：从真实世界数据中学习一个可微分的正向动力学模型（使用 Transformer 架构实现的“快捷模型”）。该模型支持基于似然的推理，从而能够计算 FIM 和 QOED 目标。
策略优化：将探索目标作为任务奖励的奖励项加入。策略使用 PPO 进行优化，利用学习到的动力学模型生成想象的 rollout。这使得机器人能够在高效探索的同时，不断细化对物理环境的理解。

主要贡献

关键参数的自动识别：本文提出了一种通过分析 FIM 特征结构来自动选择一组紧凑、非冗余的可辨识参数方向的方法，消除了对专家预先指定的需求。
感知干扰的自适应目标：提出的 QOED 目标利用舒尔补来抑制干扰参数的影响，确保即使未选中的参数影响动力学，探索策略仍能保持近最优。
准最优性保证：理论分析表明，QOED 实现了对完整 BOED 目标的常数因子近似，弥合了理想理论设计与实际高维实现之间的差距。
端到端 MBPO 集成：这项工作展示了一个实用流程，其中学习到的动力学模型同时支持策略优化和自适应信息论目标的计算。

实验结果

作者在涉及导航和操作的仿真及真实世界任务中评估了 QOED。

仿真实验（MuJoCo）

环境：在 Unitree Go1（四足机器人）、G1（人形机器人）、Jackal（车辆）和 Inspire 机械手上进行了测试，涵盖平坦和崎岖地形。
参数估计与动力学预测：与标准 BOED 相比，QOED 在动力学预测的均方根误差（RMSE）上提升了35.23%；与忽略干扰参数的"Agnostic"QOED 变体相比，提升了21.98%。
策略性能：在策略学习任务中，结合学习动力学模型的 QOED 表现优于 SAC-Adapt、Disagreement（集成不确定性）和域随机化等强基线。使用真实物理的 QOED（QOED-Physics）始终取得最高性能，验证了当模型准确时该目标的有效性。

真实世界实验

杆平衡（Franka Panda）：QOED 在堆叠和平衡方块的任务中达到了**89%**的成功率，显著优于 BOED（8%）和 QOED-Agnostic（17%）。该方法成功调整了其探索策略，首先识别质量和惯性，随后识别摩擦。
野外轮式导航（Clearpath Jackal）：在涉及电机故障和对抗性力的场景中，QOED 取得了最高的成功率和累积信息增益。它成功识别了关键参数（质量、摩擦），同时抑制了耦合的干扰方向，而基线方法常因物理参数校准错误而崩溃。

意义与主张

本文主张，QOED 解决了机器人探索中的一个关键缺口：在高维、不确定环境中定义“什么值得学习”的困难。通过从静态的、专家定义的参数集转向自适应的、数据驱动的可辨识方向选择，QOED 使机器人能够：

以更少的交互收集更具信息量的数据。
通过专注于实际驱动系统行为的参数，学习更准确的动力学模型。
提高基于模型的强化学习中下游策略的性能。

作者强调，虽然 BOED 在理论上严谨，但其应用一直受到“维度灾难”和完美参数指定假设的限制。QOED 提供了一种实用的、有理论依据的解决方案，使机器人能够自主地学习“什么 matters"，从而在仿真和真实世界部署中实现鲁棒性能。这项工作表明，未来的方向可能包括将这些原则扩展到元学习，并优化可微分算法的超参数。