🤖 machine learning

Information-Based Exploration via Random Features for Reinforcement Learning

本文介绍了随机特征信息增益（Random Feature Information Gain, RFIG），这是一种用于深度强化学习的可扩展且具有理论依据的探索方法，它利用随机傅里叶特征来近似不可数空间中的信息增益，从而提供与黑盒神经网络方法相比具有竞争力的性能和更优越的可解释性。

原作者： Waris Radji, Odalric-Ambrym Maillard

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Waris Radji, Odalric-Ambrym Maillard

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何在巨大的、大雾弥漫的迷宫中导航。机器人的目标是找到出口，并沿途尽可能多地收集闪亮的硬币。这就是**强化学习（Reinforcement Learning）的世界——在这里，智能体通过尝试、犯错并获取奖励来学习。但棘手之处在于，机器人面临着一场被称为探索与利用权衡（exploration-exploitation tradeoff）**的持久拉锯战。“利用（Exploitation）”意味着坚持那些它目前已知能带来硬币的路径；“探索（Exploration）”则意味着走进那些充满迷雾、未知的角落，那里可能藏着宝箱，也可能只是死胡同。如果机器人从不探索，它就会困守在仅有的少量硬币中；如果它过度探索，则会浪费大量时间在迷雾中。

多年来，科学家们一直试图通过给机器人一个“好奇心奖励”来解决这个问题——即为访问它不太熟悉的地点提供额外积分。在简单的小型迷宫中，这很容易实现：你只需要计算机器人访问某个位置的次数即可。但在现实世界中，“迷宫”通常是一个连续且无限的空间，机器人可能永远不会两次经过完全相同的地点。计数变得不再可能。为了解决这个问题，现代人工智能使用巨大的、复杂的神经网络（数字大脑）来猜测一个位置有多“不确定”。但这些数字大脑就像黑盒一样：它们难以理解，对参数设置的微小变化非常敏感，有时还会莫名其妙地失效。这篇论文提出了一个简单的问题：我们能否构建一个既能像这些复杂大脑一样出色，又具有透明度、数学严谨性，且不需要博士学位水平进行调优的好奇心系统？

本文的作者 Waris Radji 和 Odalric-Ambrym Maillard 给出了肯定的回答。他们引入了一种名为**随机特征信息增益（Random Feature Information Gain, RFIG）**的新方法。与其使用庞大且不透明的神经网络来猜测不确定性，他们使用了一个涉及“随机特征”和“核方法（kernel methods）”的巧妙数学技巧。你可以这样理解：想象你想知道一个公园有多拥挤，但你无法统计出每一个人的数量。与其建立一个庞大的监控系统（神经网络），不如向空中随机投掷一把彩色飞镖。通过观察飞镖落下的位置以及它们的聚集方式，你可以在从未看清人群的情况下，从数学上估算出人群的密度。

在论文中，研究人员展示了这种“掷飞镖方法”（随机特征）可以近似表示“信息增益（Information Gain）”——这是一个描述访问某个地点能获得多少新知识的专业术语。他们从数学上证明了这种近似是准确的，并且即使随着数据量的增加，误差也会保持在很小的范围内。他们通过将这种方法植入标准的机器人学习算法（PPO）中进行了测试，让它玩各种游戏，从平衡木杆到在复杂的迷宫中导航。结果令人印象深刻：RFIG 的表现与顶尖的神经网络方法不相上下，在某些情况下甚至更胜一筹。至关重要的是，与神经网络不同，RFIG 不需要通过反复试错的精细调优过程就能奏效；它既稳定又可靠。

本文认为，我们并不总是需要通过让 AI 变得更复杂、更难理解来使其变得更“聪明”。有时，像 RFIG 这样更简单、在数学上透明的方法同样可以高效地完成繁重任务。作者指出，这种方法可以成为让 AI 探索变得更可靠、更易于信任的游戏规则改变者，它提供了一个清晰的闭式解（closed-form solution），避免了深度学习的“脆弱性”。虽然他们也指出，仍需更多研究来观察该方法如何扩展到大规模的图像处理任务，但他们的模拟表明，对于许多控制和导航问题，这种“随机特征”方法是替代那些黑盒巨头的、功能强大且具有理论基础的选择。

技术摘要：基于随机特征的强化学习信息增益探索

1. 问题陈述

强化学习（RL）智能体面临着基础的探索与利用（exploration-exploitation）权衡问题，即需要在利用已知奖励与发现新策略之间取得平衡。在小规模、离散的环境中，“面对不确定性的乐观主义”（Optimism in the Face of Uncertainty, OFU）原则通过基于计数的奖励（例如 $1/\sqrt{n(s)}$ ）能有效驱动探索。然而，在连续且高维的状态空间中，直接计数变得毫无意义，因为两次访问完全相同状态的概率为零。

目前的深度强化学习方案通过使用神经网络（NN）来学习不确定性或伪计数（pseudo-counts）的表示（例如，随机网络蒸馏 RND、贝叶斯神经网络 BNN）来解决这一问题。虽然这些方法在经验上是成功的，但存在以下问题：

有限的理论可解释性： 它们依赖于复杂的、黑盒式的优化动力学。
超参数敏感性： 性能较为脆弱，严重依赖于学习率、架构和正则化，通常难以跨领域迁移。
计算复杂度： 一些具有理论依据的替代方案，如高斯过程（GP），其计算复杂度随数据集大小呈立方级增长（ $O(n^3)$ ），这使得它们无法扩展到深度强化学习中。

本文提出了一个问题：我们如何设计替代性的深度强化学习探索机制，使其在具备理论可解释性和计算可行性的同时，还能获得具有竞争力的经验性能？

2. 方法论：随机特征信息增益 (RFIG)

作者提出了随机特征信息增益（Random Feature Information Gain, RFIG），这是一种源自贝叶斯核方法、并通过随机傅里叶特征（RFFs）使其适用于深度强化学习的可扩展探索奖励。

理论基础

该方法植根于**信息增益（Information Gain, IG）**的概念。在贝叶斯框架下，查询状态 $x^*$ 所获得的信息量定义为未知函数 $f$ 的后验分布微分熵的减少量。对于带有噪声 $\sigma^2$ 的高斯过程（GP），信息增益为：
$IG(x^* | D_n) = \frac{1}{2} \log \left( 1 + \frac{\sigma_n^2(x^*)}{\sigma^2} \right)$
其中 $\sigma_n^2(x^*)$ 是后验方差。该量自然地可以作为探索奖励：高方差（不确定性）意味着高信息增益。

通过随机特征实现可扩展性

标准的 GP 推理需要对 $n \times n$ 的核矩阵进行求逆，其复杂度为 $O(n^3)$ 。为了克服这一点，RFIG 采用了随机傅里叶特征（RFFs）（Rahimi 和 Recht, 2007），利用显式的有限维映射 $\phi(x) \in \mathbb{R}^D$ 来近似平移不变核（如 RBF）。

核函数 $k(x, x')$ 被近似为 $\phi(x)^T \phi(x')$ 。
后验方差通过特征矩阵 $\Phi_n \in \mathbb{R}^{n \times D}$ 进行计算，从而将复杂度降低至 $O(D^3)$ ，其中 $D$ 是随机特征的数量。
得到的近似信息增益为：
$\hat{IG}(x^* | D_n) = \frac{1}{2} \log \left( 1 + \phi(x^*)^T (\Phi_n^T \Phi_n + \lambda I_D)^{-1} \phi(x^*) \right)$

算法集成

RFIG 被集成到标准的深度强化学习算法（具体为 PPO）中，作为添加到外在奖励中的内在奖励奖励： $r_{total} = r + \beta r^+$ 。关键实现细节包括：

状态归一化： 使用运行统计数据来归一化状态，以确保核计算不会被尺度差异所主导。
子采样： 使用状态的子集来更新特征矩阵 $\Phi_t$ ，以防止信息增益奖励随着 $n$ 的增长而过快消失，并加速矩阵求逆的收敛。
矩阵求逆： 使用 Newton-Schulz 迭代进行高效、数值稳定的矩阵求逆，从而支持热启动（warm-starts）和 GPU 并行化。
超参数： 该方法所需的调优极少：包括特征数量 $D$ 、正则化项 $\lambda$ 以及长度尺度 $\ell$ （其初始化与有效输入维度的平方根成比例）。

3. 核心贡献

新型探索奖励： 引入了 RFIG，这是一种源自贝叶斯核理论的闭式（closed-form）探索奖励，用于近似非计数空间中的信息增益。
可扩展性： 证明了通过将贝叶斯核方法与随机傅里叶特征相结合，可以将 RFIG 扩展到深度强化学习场景，将计算复杂度从 $O(n^3)$ 降低到 $O(D^3)$ 。
理论保证： 提供了误差界限，表明 RFIG 的近似误差随核近似质量的变化而变化，并随样本量增加而减小，从而确保了一致性。
实际实现： 提供了一套将 RFIG 集成到深度强化学习中的详细方案，包括状态归一化、子采样策略和高效的矩阵求逆技术，避免了神经不确定性估计中的反向传播复杂性。

4. 实验结果

作者通过将 RFIG 与近端策略优化（PPO）结合，在四个领域评估了 RFIG：经典控制（Acrobot, MountainCar）、稀疏奖励连续控制（Brax locomotion）、导航（PointMaze）以及 MinAtar 任务。

性能： RFIG 在与成熟的深度探索基准方法（包括 RND、VIME 和 #Explo）的对比中，取得了具有竞争力的表现。
一致性： 不同于依赖于表示学习的方法（如 VIME 和 #Explo，它们往往因表示学习较差而表现出环境特定的成功或失败），RFIG 在多种任务中展现出了卓越的稳定性，且未出现灾难性失败。
效率： JAX 实现表明，尽管使用了全矩阵求逆，但与神经网络方法相比，执行时间没有显著差异。
对比： RFIG 在提供更高理论可解释性的同时，达到了甚至超过了 RND 的性能。

5. 意义与主张

本文的主张是，RFIG 挑战了当前流行的假设，即有效的深度强化学习探索需要日益复杂的神经网络架构和黑盒优化动力学。

理论严谨性： 通过利用核方法，RFIG 提供了在流行的深度强化学习探索策略中经常缺失的数学严谨性和闭式解。
鲁棒性： 它通过避免训练用于不确定性估计的神经网络时固有的超参数脆弱性和优化不稳定性，为基于神经网络的方法提供了一个更鲁棒的替代方案。
广泛适用性： 该框架表明，有原则的核方法可以在不需要表示学习或大量超参数调优的情况下，匹配神经方法的经验性能。

作者将 RFIG 定位为一种具有理论基础且计算可行的替代方案，它弥合了经典探索理论与现代深度学习可扩展性之间的鸿沟，而非旨在取代所有的深度强化学习方法。