🤖 AI

Emergence of Physical Intelligence via Controllable Information Production

本文提出了一种名为可控信息生成（CIP）的新型内在动机框架，该框架以动力系统和最优控制为基础，将物理智能与信息生成相统一，通过驱动系统走向可控混沌的边缘，使智能体能够掌握诸如人形机器人自我复位等复杂任务。

原作者： Tristan Shah, Stas Tiomkin

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Tristan Shah, Stas Tiomkin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何移动，但你拒绝给它作弊条或奖励系统。你不会告诉它：“站起来就能得到一块饼干”，或者“向前走就能得到一分”。你希望机器人能够完全靠自己弄清楚如何变得有用。这就是**内在动机（Intrinsic Motivation, IM）**的挑战：让智能体仅通过与世界互动来学习，而无需人类指令。

以往尝试解决这一问题的方法，有点像靠猜测什么会让狗感兴趣来教狗。研究人员挑选特定的指标（例如“机器人移动手臂的幅度有多大？”），并让机器人去最大化该指标。但这引入了人类偏见；机器人只学到了人类认为有趣的东西，而非对情境物理本质真正重要的东西。

本文介绍了一种更简洁的新方法，称为可控信息生成（Controllable Information Production, CIP）。

核心思想：“混乱的走钢丝”

将机器人想象成走钢丝的人。

过于稳定：如果走钢丝的人站在一个宽阔平坦的平台上，他们几乎没做什么。他们没在学习，也谈不上真正“在控制中”，因为根本不会出错。
过于混乱：如果走钢丝的人身处没有绳索的狂风暴雨般的海洋中，他们只是在胡乱挥舞。他们产生了大量“信息”（随机运动），但无法控制它。他们只是在坠落。
甜蜜点：最有趣、最智能的行为发生在混沌边缘。这就像在强风中走钢丝。走钢丝者不断努力保持直立。他们产生了大量“信息”（微小的调整、摇晃、修正），但他们正在控制它。

作者认为，真正的物理智能既不是无聊的稳定，也不是狂野的混乱。它在于找到那个系统既不稳定到足以有趣，又可控到足以被掌握的甜蜜点。

什么是“可控信息生成”？

简单来说，CIP是机器人自问的一种方式：“如果我试图控制世界，我能让世界发生多大变化？”

旧方法（有偏见的老师）：以前的方法要求机器人最大化“多样性”或“好奇心”。这就像老师说：“去找最色彩斑斓的东西！”机器人可能只是原地旋转以看到不同的颜色，这没什么用处。
新方法（CIP）：这种方法不要求机器人寻找特定事物。相反，它衡量的是机器人创造新的、不可预测的情境且仍能修正这些情境的速率。

想象一个孩子玩积木堆。

如果积木堆已经在地板上，孩子能做的很少（信息生成率低）。
如果孩子瞬间推倒整座塔，他们无法控制倒塌过程（高混乱，低控制）。
但如果孩子小心翼翼地平衡塔身，使其摇晃并调整双手以防其倒塌，他们就处于"CIP 区域”。他们正在生成大量复杂、变化的数据（摇晃），但他们是结果的掌控者。

它是如何工作的（魔法技巧）

本文将这一概念与最优控制联系起来，最优控制是用于计算驾驶汽车或驾驶飞机最佳方式的数学方法。

作者发现了一个隐藏的联系：告诉机器人如何保持稳定的数学（“价值函数”）也秘密地揭示了有多少“可控混乱”正在发生。

他们找到了一种计算这种“混乱速率”的方法，而无需猜测要测量哪些变量。
他们创建了一个快速、稳定的计算器（算法），即使对于复杂的机器人也能运行这些数学计算，而以前这被认为太难而无法实现。

结果：能够站立的机器人

研究人员在多个机器人模拟中测试了该方法，包括：

倒立摆小车：安装在移动小车上的杆子。
双摆和三摆：悬挂在杆子上的杆子，由于剧烈摆动而 notoriously 难以平衡。
长臂猿机器人：一个看起来像人类挂在横杆上、试图将自己拉起到站立姿势的机器人。

结果：
在没有人类奖励或指令的情况下，使用CIP的机器人设法做到了：

摆起并平衡杆子。
将自己从悬挂姿势拉起到站立姿势（自我扶正）。

其他方法（如“好奇心”或“多样性”寻求者）大多失败了。它们陷入循环，或无法弄清楚如何稳定直立状态。然而，CIP 机器人自然地趋向于直立状态，因为那里的“可控信息生成”最高。它意识到，站立是控制起来最“有趣”的状态。

为什么这很重要

这篇论文提出了智能系统应如何学习的新规则：将系统推向可控混沌的边缘。

与其告诉机器人做什么，不如给它一个指向“有趣且可控的不稳定性”的指南针。机器人随后会自行发现有用的技能（如站立或平衡），因为数学表明最有趣的控制就发生在那里。

简而言之：这篇论文为机器人提供了一种新的内部指南针。它们不再寻找奖励，而是寻找物理学的“金发姑娘区”——那里的事物既不稳定到足以构成挑战，又可控到足以被掌握。这使得它们能够学习复杂的物理技能（如站立），而无需人类 ever 告诉它们去做。

技术摘要：通过可控信息产生涌现物理智能

问题陈述

当前机器人学习中的内在动机（IM）方法面临三个根本性的结构缺陷。首先，它们主要依赖设计者选定的随机变量之间的互信息，作为复杂性或混沌等系统级现象的代理，而非直接测量这些现象。其次，设计者必须显式指定这些变量，这引入了偏差，隐式地限制了智能体的感知与行动方式。第三，尽管这些目标被用于驱动控制，但它们与最优控制（OC）理论缺乏原则性的联系，限制了可解释性以及高效控制方法的发展。因此，现有的 IM 方法往往无法在没有外部奖励信号的情况下诱导真正新颖的、与任务相关的物理行为，例如自我复位。

方法论：可控信息产生（CIP）

作者提出了可控信息产生（CIP），这是一种新的 IM 范式，直接基于动力系统的不变性质和最优控制理论。

理论基础

CIP 定义为受控系统沿其轨迹产生信息的速率，形式上被识别为由智能体动作诱导的Kolmogorov-Sinai 熵（KSE）。

开环与闭环：该框架区分了反馈控制下的信息产生速率（闭环 KSE， $h_{ks}(f^{cl})$ ）与扰动未被调节时的速率（开环 KSE， $h_{ks}(f^{ol})$ ）。
源自最优控制：作者证明 CIP 自然地从最优控制中最优值函数的 Hessian 矩阵中涌现。通过将最优策略分解为外在（目标导向漂移）和内在（扰动调节反馈）分量，他们表明值 Hessian 编码了无穷小扰动的增长。
关键洞察：源自值 Hessian 的开环 KSE（ $h_{ks}(f^{ol})$ ）作为 CIP 目标。作者证明 CIP 提供了闭环 KSE 的上界（ $CIP \ge h_{ks}(f^{cl})$ ），这意味着最大化 CIP 会驱动系统进入高“可控混沌”区域——即在开环中不稳定但可通过反馈稳定的状态。

高效估计

在高维系统中计算 KSE 历来具有挑战性。本文提出了一种源自**离散代数 Riccati 方程（DARE）**的数值稳定、可扩展的估计器。

该方法不直接传播 Hessian 矩阵（其规模呈指数增长），而是在对数域递归中传播逆 Hessian 的对数行列式。
这种方法避开了 Lyapunov 谱估计中标准的 QR 分解需求，后者在高维情况下计算昂贵且不稳定。
该估计器在混沌系统（如 Lorenz 吸引子）中收敛到已知 KSE 值的速度快于基线 QR 方法。

实现

在实验中，CIP 通过基于**随机采样的模型预测控制（MPC）**方案实现。智能体在有限时域内优化控制序列以最大化估计的 CIP，同时受控于控制惩罚。未使用任何外部奖励或演示。

主要贡献

新的 IM 范式：引入 CIP，将目标从促进新颖性/多样性转变为基于动力不变量识别并稳定状态空间中的显著区域（即“混沌边缘”）。
理论根基：建立了 IM 与最优控制之间的严谨联系，表明 CIP 编码在最优值景观的曲率中。这为 IM 提供了不依赖启发式公设的原则性理由。
可扩展估计器：开发了一种高效、数值稳定的递归估计器用于 KSE，直接作用于系统的雅可比矩阵，克服了以往在高维应用中的局限性。
实证验证：证明了 CIP 在标准基准测试中优于最先进的 IM 方法（包括 Empowerment、DIAYN、DADS、SMM 和 ICM），独特地实现了无需外部奖励的复杂物理技能，如人形机器人的自我复位。

实验结果

作者在 Mujoco-MJX 的四个基准系统上评估了 CIP：倒立摆、双摆、三摆以及平面人形机器人（Gibbon）。

自我复位性能：CIP 在所有环境中始终驱动智能体达到完全直立位置（归一化高度 $\approx 0.93–0.99$ ）。
与基线的比较：
- 基于技能的 IM（DIAYN、DADS、SMM）：这些方法未能稳定直立位置，通常停留在振荡或次优的稳定姿态。作者将此归因于对状态空间多样性的“选择压力”，这倾向于维持更容易保持的状态，而非困难的直立构型。
- 基于好奇心的 IM（ICM）：这些方法未能稳定，通常固着于不可预测的高速运动，或随着预测器改进而停止感到“惊讶”。
- 赋能（Empowerment）：虽然在倒立摆中取得成功，但在双摆中仅部分成功，未能稳定三摆或 Gibbon，最终落入次优状态。
熵相关性：随着智能体从悬挂（低熵）状态移动到直立（高熵）构型，估计的 CIP 值增加，证实直立状态对应于高开环信息产生。

意义与主张

本文提出物理智能源于将系统驱动至可控混沌的边缘。通过最大化智能体可控制的信息产生，CIP 提供了一种原则性机制，用于在无人类偏差的情况下发现有用行为。

理论影响：该工作统一了 IM 与 OC，将物理智能形式化为对信息产生的控制。它揭示了值函数与 Kolmogorov-Sinai 熵之间的结构联系。
实际影响：CIP 使智能体能够学习复杂的、节能的行为（如自我复位），这些是运动的前提条件，而先前的 IM 方法未能自主实现这些行为。
局限性：作者承认，当前的实现依赖于可微模拟器以获取雅可比矩阵，并使用简单的 MPC 控制器，这可能限制其在非常高维的现实世界系统中的可扩展性。未来的工作旨在将 CIP 与学习到的动力学模型及最先进的强化学习策略相结合。

作者得出结论，CIP 代表了物理智能的通用组织原则，超越了启发式目标，迈向一个源于控制与动力系统基础数学的框架。