🤖 machine learning

An Information-Theoretic Definition for Open-Ended Learning

本文基于“比特等效”概念引入了一种基于信息论的开放式学习定义，用以量化获取奖励所需的信息量，证明了该指标的线性增长是将开放式环境与经典多臂老虎机区分开来的特征，并提出了一种能够实现此类学习的算法。

原作者： Wanqiao Xu, Yifan Zhu, Benjamin Van Roy

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Wanqiao Xu, Yifan Zhu, Benjamin Van Roy

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在玩一款电子游戏。在普通的游戏中，有一个最终 Boss、一个高分纪录以及一条清晰的通向胜利的路径。一旦你击败了 Boss，游戏就被“解”开了。你无法再变得更强，因为没有新的东西可以学习了。

现在，想象另一种不同的游戏。在这种游戏中，随着你玩得越多，游戏就会揭示出新的关卡、新的机制和新的挑战，这些都是你之前无法想象的。游戏永不结束，你也永远不会停止变得更聪明。这就是作者所称的开放式学习（Open-Ended Learning）。

Xu、Zhu 和 Van Roy 的这篇论文试图回答一个非常棘手的问题：我们如何知道一个 AI 真的处于一个永无止境的游戏中，还是仅仅在玩一个很长但枯燥的游戏？

以下是他们思想的拆解，使用了简单的类比。

1. 问题所在：“新颖性”并不足够

此前，人们认为如果一个环境能不断给 AI 提供新的、奇特的、有趣的任务，那么它就是“开放式”的。作者说：“别急，先别这么说。”

想象一个机器人不断生成随机且古怪的画作。这些画作都是“新”的（具有新颖性），你也可以“学习”去识别它们。但这个机器人真的在绘画水平上有所“进步”吗？并没有。它只是在制造噪音。

作者认为，真正的开放式本质不仅仅是创造新事物，而是需要不断学习新信息才能变得更好。如果你可以在不学习任何新知识的情况下获得高分，那么这个游戏就不是开放式的。

2. 新工具：“比特等效值”（Bit-Equivalent）

为了衡量这一点，作者发明了一个新概念，叫做比特等效值。

把“比特”想象成信息的货币。

概念： 一个奖励的“比特等效值”是指你理解这个世界以赚取该特定奖励所需的最小信息量。
类比： 想象你正在寻找隐藏的宝藏。
- 如果宝藏是掉在人行道上的 1 美元钞票，你只需要 0 比特 的信息就能找到它。你只需低头看一眼即可。
- 如果钻石藏在一个拥有复杂地图的大型洞穴中，你需要许多比特的信息（地图、布局、线索）才能找到它。

作者定义，只有当一个环境要求 AI 为了持续获得更高奖励而必须以稳定的线性速度收集越来越多的信息（比特）时，该环境才是开放式的。如果 AI 可以在不学习新信息的情况下持续获得奖励，那么这个环境就是“封闭式”的。

3. 测试：为什么旧游戏会失败

作者在这些“经典”AI 游戏（称为 Bandit 环境）上测试了这个定义。他们发现几乎所有的游戏都未能通过开放式测试。

有限游戏（有限臂 Bandit）： 想象一台有 10 个摇杆的老虎机。一旦你弄清楚了哪个摇杆给的钱最多，你就会一直拉那个摇杆。于是你停止了学习。“比特等效值”停止了增长。
无限游戏（无限臂 Bandit）： 想象一台有无限个摇杆的老虎机，但每个摇杆都是完全随机且互不相关的。你可以每次都拉一个新的摇杆并获得新的奖励，但你并没有在学习一种“模式”。你并没有建立起对机器更深层的理解。你获得的信息无法帮助你在长期内变得更好。

在这两种情况下，AI 都会撞上一堵墙：它无法在不学习更多知识的情况下变得更好，但环境又不允许这种持续的学习发生。

4. 解决方案：“贪婪/渴求型”游戏（The "Insatiable" Game）

随后，作者构建了一个新的自定义游戏，叫做贪婪线性 Bandit（Insatiable Linear Bandit）。

设置： 想象一排无穷无尽的电灯开关。每个开关都控制着你得分的一小部分。有些开关是坏的（会降低你的分数），而有些是好的（会提高你的分数）。
难点： 你不知道哪些开关是好的。你必须通过拨动它们来找出答案。
为什么有效： 因为这一排开关是无限的，所以总会有新的、未被探索的部分可能带来好结果。为了获得更高的分数，你必须不断拨动更多的开关，并学习哪些开关有效的模式。你永远无法“解开”这个游戏，因为游戏具有无限的深度。

5. 策略：“截断汤普森采样”（Truncated Thompson Sampling）

作者还尝试教 AI 如何玩这个新游戏。他们发现标准的 AI 策略都失败了：

太贪婪： 如果 AI 试图一次性学习整个无限长的序列，它会被压垮，并做出伤害得分的错误。
太保守： 如果 AI 只看前 10 个开关并忽略其余部分，它会在一段时间后停止进步。

获胜策略： 作者创建了一种名为**截断汤普森采样（TTS）**的方法。

类比： 想象你正在阅读一本宏大的、无限长的百科全书。
- 不要试图在一天之内读完整本书（你会失败）。
- 不要永远只读第一页（你学不到新东西）。
- TTS 的做法： 先读第一章。掌握它。然后，进入第二章。接着是第三章。你不断扩大你的“阅读窗口”，程度恰好能让你保持在学习曲线的前面。

通过缓慢扩大它试图学习的范围，AI 可以不断发现新的“好开关”，从而使其得分（以及它所持有的信息量）持续线性增长。

总结

该论文声称：

真正的开放式本质意味着一个环境，其中变得更好要求你必须以稳定的节奏不断学习新信息。
目前大多数 AI 游戏都不是开放式的，因为你最终会停止需要通过学习来获取奖励。
他们构建了一个新游戏（贪婪线性 Bandit），在这个游戏中，你必须通过不断学习来提升自己。
他们构建了一种新的 AI 策略（截断汤普森采样），该策略通过不断扩大其知识范围来成功游玩这款游戏，证明了在正确的条件下，开放式学习是可能的。

技术摘要：一种面向开放式学习的信息论定义

问题陈述

本文旨在解决 AI 系统中缺乏连贯的**开放性（Open-endedness）**理论定义的问题。虽然现有文献将开放式环境描述为呈现日益新颖且复杂任务的环境，或通过智能体产生的制品（Artifacts）的新颖性和可学习性来定义，但这些定义未能捕捉到智能体是否能够通过交互持续提升其能力。仅仅生成新颖的策略并不一定意味着获得了能够实现性能提升的信息。

作者提出通过研究期望回报（Expected Reward）与实现该回报所需的信息量之间的关系，来形式化定义开放性。核心问题是：一个环境是否允许实现持续的回报增长，且这种增长需要以非递减的速率不断获取有用的信息？

方法论与定义

比特等效值 (The Bit-Equivalent)

核心方法论贡献是引入了比特等效值 ( $B_\rho$ )。该概念量化了关于环境参数 $\theta$ 的最小信息量（以 nats 为单位），以选择一个能产生至少为 $\rho$ 的期望回报的动作。

形式上，对于期望回报水平 $\rho$ ：
$B_\rho = \inf_{A: \mathbb{E}[r_\theta(A)] \geq \rho} I(\theta; A)$
其中 $I(\theta; A)$ 是环境参数与动作之间的互信息。

平均比特等效值与开放性

智能体 $\pi$ 在时间 $T$ 内的表现通过平均比特等效值 ( $B_T(\pi)$ ) 来表征，该值定义为所获得回报的比特等效值的时均值：
$B_T(\pi) = \frac{1}{T} \sum_{t=0}^{T-1} B_{\mathbb{E}_\pi[R_{t+1}]}$

开放性的定义： 如果存在一个智能体 $\pi$ ，使得平均比特等效值随时间线性增长，则称该环境是开放式的：
$B_T(\pi) = \Omega(T)$
如果一个智能体实现了这种线性增长率，则称其实现了开放式学习。

分析框架

作者在多臂老虎机（Bandit）环境的背景下分析了这一定义。他们区分了：

信息增益 ( $\gamma_T$ )： 历史记录中所包含的总互信息 $I(\theta; H_T)$ 。
比特等效值增长： 实现回报提升所需的特定信息量。

论文建立了一个结论：虽然次线性信息增益意味着非开放性，但线性信息增益对于开放性而言是不充分的。一个环境可能允许线性获取信息，但如果这些信息无法转化为持续的、与回报相关的比特等效值增长，则该环境不是开放式的。

核心贡献与结果

1. 负面结果：经典环境并非开放式

论文证明了若干标准的多臂老虎机环境不满足开放性准则：

有限臂老虎机 (Finite-armed Bandits)： 即使是非高斯噪声允许无限的信息增益，有限的动作集也会将比特等效值限制在 $\log |A|$ 以内。因此， $B_T(\pi) \leq \log |A|$ ，这不符合 $\Omega(T)$ 。
有限维线性老虎机 (Gaussian)： 信息增益呈 $O(d \log T)$ 增长，属于次线性 ( $o(T)$ )。
高斯过程 (GP) 老虎机： 在标准核假设（如 Matérn, squared exponential）下，核特征值的谱尾部衰减确保了信息增益是次线性的。
无限臂老虎机 (i.i.d. means)： 尽管可能具有无界的信息增益，但平均比特等效值最多呈对数级增长 ( $O(\log T)$ )，因为独立臂之间微弱的耦合关系阻止了有用信息的线性增长。

2. 正面结果：“贪婪线性老虎机” (The "Insatiable Linear Bandit")

作者构建了一个特定的环境——贪婪线性老虎机，它是开放式的。

设置： 动作集 $A$ 由具有有限支撑集的无限维二进制向量组成 ( $a \in \{0,1\}^\mathbb{N}, \|a\|_1 < \infty$ )。参数 $\theta \in \mathbb{R}^\mathbb{N}$ 的各分量相互独立，且 $\theta_i \sim \mathcal{N}(-1, 1)$ 。回报为 $r_\theta(a) = \langle \theta, a \rangle + \text{noise}$ 。
关键属性： 与 GP 老虎机不同，其在坐标基下的核特征值是不求和的，这违反了限制信息增益的谱尾部条件。
结果： 作者证明了在该环境下 $B_T(\pi) = \Omega(T)$ ，满足了开放性的定义。

3. 算法失败与成功

论文分析了经典算法为何失败，并提出了一个成功的替代方案：

汤普森采样 (Thompson Sampling, TS) 的失败： 标准 TS 试图对全无限维后验进行优化。由于后验样本 $\theta^{(t)}$ 以概率 1 拥有无限个正坐标，因此在有效动作集 $A$ 内无法实现回报的上确界。即使进行有限截断，最大化器的期望回报也会随着截断规模的增加而趋向于 $-\infty$ 。
固定截断 (Fixed Truncation, FT) 的失败： 固定一个有限维度 $M$ 会将信息获取限制在 $O(M \log 2)$ ，从而阻止了线性增长。
截断汤普森采样 (Truncated Thompson Sampling, TTS) 的成功： 作者引入了 TTS，它采用了一套学习目标序列。它不再尝试学习完整的 $\theta$ $θ$ 或使用固定的截断，而是随时间动态增加截断水平 $m_t$ $m_{t}$ 。
- 机制： 智能体根据历史记录选择一个截断水平 $m_t$ ，对前 $m_t$ 个坐标进行后验采样，并在截断后的参数下采取最优行动。
- 理论保证： 通过精心设计 $m_t$ 的增长计划（在探索新坐标与利用已知坐标之间取得平衡），TTS 实现了 $\Omega(T^2)$ 的累积回报。由于回报增长意味着比特等效值的增长，因此 TTS 实现了 $B_T(\pi) = \Omega(T)$ ，证明了开放式学习。

意义与局限性

意义

本文提供了第一个量化的、信息论层面的开放性定义，该定义直接将性能提升与有用信息的获取联系起来。它表明：

仅靠回报是不够的： 高额或无界的回报并不保证开放性；实现这些回报的信息成本才是关键指标。
经典假设是不充分的： 无界回报和无限动作集（通常被认为是实现开放性的前提条件）并不是充分条件。
学习目标至关重要： 实现开放性需要智能体能够调整其学习目标（例如通过 TTS），而不是试图学习完整的环境状态或使用静态的近似。

局限性

作者明确指出了两个主要局限：

Bandit 设置： 该定义和分析目前仅限于多臂老虎机环境（无状态）。将此框架扩展到有状态、非平稳或完整的强化学习 (RL) 环境是必要的下一步。
超参数依赖： 所提出的 TTS 算法需要预设的学习目标序列（截断水平）。作者承认，设计能够自主确定这些目标而非依赖人工设定超参数的智能体，仍然是一个开放性的挑战。

论文总结道，虽然 TTS 智能体可以作为一种“合理性检查”，用以验证“智能体必须不断扩大其学习目标”这一直觉，但该框架为未来的开放式学习理论分析和智能体设计原则提供了一个严谨的基础。