🤖 machine learning

Learning the Supports for Categorical Critic in Reinforcement Learning

本文提出了一种新颖的演员-评论家强化学习方法，该方法能够动态学习高斯直方图损失（Gaussian Histogram Loss）的支持边界，从而在消除对预定义区间的需求的同时，提供更紧致的理论误差界限，并在连续控制任务上实现了与现有方法相当或更优的性能。

原作者： Jen-Yen Chang, Takayuki Osa, Tatsuya Harada

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jen-Yen Chang, Takayuki Osa, Tatsuya Harada

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个机器人如何走路、跑步或保持平衡。为此，机器人需要一个“计分卡”（称为价值函数，Value Function），用来预测某个特定动作在未来会有多好。

传统上，机器人将这个分数计算为一个单一的数字，就像精确的温度读数（例如，“这个动作值 42.5 分”）。然而，未来是混乱且充满不确定性的。一个动作可能值 40 分，也可能因为运气好而值 80 分。

问题所在：“固定盒子”陷阱

为了处理这种不确定性，一些先进的机器人使用了一种叫做分布强化学习（Distributional RL）的方法。它们不再仅仅猜测一个数字，而是猜测一整组可能的范围。

论文讨论了一种特定的技术，叫做 HL-Gauss。想象你有一把长长的、空的尺子（一个“支撑区间”），你用它来测量这些分数。你将这把尺子分成 128 个微小的格子（bin）。机器人通过学习来表达：“有 10% 的概率分数落在第 1 个格子里，有 20% 的概率落在第 2 个格子里，”依此类推。

症结在于： 在旧的方法中，你必须在机器人开始学习之前就预先选定尺子的长度。

如果尺子太短： 机器人的未来得分可能会冲出尺子的末端。机器人会丢失这部分信息，就像试图用一把 1 英尺长的尺子去测量一根 10 英尺长的杆子。它会被截断（Truncated），导致机器人学到错误的经验。
如果尺子太长： 为了测量 10 英尺的杆子，你可能会使用一把 1 英里长的尺子。但如果你只有 128 个格子来覆盖这一英里，那么每个格子都会变得巨大。机器人无法分辨 50 分和 51 分的区别，因为它们都落在了同一个巨大的格子里。这种“分辨率”变得过于模糊。

大问题是，在现实生活中，我们并不知道尺子需要多长。随着机器人的技能在学习过程中不断提升，其可能得分的范围也会随之改变。一个适合初学者的尺子，对于专家来说可能就毫无用处了。

解决方案：“智能伸缩尺”（DySEL）

作者提出了一种名为 DySEL（动态支撑端点学习，Dynamic Support Endpoint Learning）的新算法。他们不再提供一把固定的尺子，而是给机器人一把可伸缩、自调节的尺子。

它是这样工作的，这里使用一个简单的类比：

想象机器人正试图将一堆沙子（可能的未来得分）装进一个桶里（即尺子）。

目标： 机器人希望桶尽可能小，以便让沙子被紧密填充（高分辨率），但它必须足够大，以容纳所有的沙子而不从侧面溢出。
冲突：
- 如果桶太小，沙子会溢出（截断误差，Truncation Error）。
- 如果桶太大，沙子会被分散得很稀薄（低分辨率，Low Resolution）。
游戏： 作者在机器人的大脑内部设置了一场“拔河”（一种极大-极小博弈/min-max game）：
- 玩家 A（优化者）： 试图缩小桶的体积，以实现精确测量。
- 玩家 B（执行者）： 充当安全卫士。如果玩家 A 把桶缩得太小导致沙子开始溢出，玩家 B 就会大喊“停！”，并强制扩大桶的体积，直到刚好能接住溢出的沙子。

这场拔河赛让机器人能够在学习的每个阶段，自动找到最完美的尺寸。如果机器人刚开始学习且得分很小，桶就会保持很小；随着机器人变得更强、得分变得更高，桶就会自动拉伸以适应变化，而无需人类程序员去猜测尺寸。

他们发现了什么？

研究人员在各种机器人任务上测试了这种“伸缩尺”，比如让一只虚拟猎豹奔跑或让一个类人机器人行走。

它有效： 在大多数任务中，使用伸缩尺的机器人表现得与使用固定尺子的顶尖机器人一样出色。
它在困难情况下表现卓越： 在一些非常困难的任务（如“类人机器人”行走任务）中，伸缩尺的表现甚至更好。这是因为这些任务具有极其狂野且不可预测的得分范围，而固定的尺子根本无法应对。
不再需要猜测： 最大的胜利在于，人类不再需要为每个新的机器人去猜测合适的尺子尺寸。机器人能够自行搞定。

总结

这篇论文介绍了一种让 AI 不再仅仅猜测其未来奖励的“范围”，而是开始学习范围本身的方法。通过将问题转化为“保持范围紧凑”与“捕捉所有数据”之间的平衡，机器人能够更高效地学习，并避免因使用过短或过模糊的尺子而导致的错误。

技术摘要：学习分类评论员（Categorical Critic）的支撑集

问题陈述

在基于 Actor-Critic 的深度强化学习（RL）中，价值函数传统上被训练为通过最小化与自助法（bootstrapped）目标之间的均方误差（MSE）来进行回归任务。分布强化学习（Distributional RL）提供了一种替代方案，即对回报的完整概率分布进行建模。最近的一种方法——高斯直方图损失（Gaussian Histogram Loss, HL-Gauss）——通过将标量贝尔曼目标编码为在预定义的一组分箱（bins）上的高斯平滑分类目标，将价值估计重新定义为一个分类问题。

然而，HL-Gauss 及类似的基于直方图的方法存在一个关键局限性：需要预先定义一个固定的支撑集区间 $[\nu_{min}, \nu_{max}]$ 。在强化学习中，目标值是非平稳且具有随机性的；早期探索策略诱导的收益范围通常与收敛后的策略显著不同。一个固定的区间会产生权衡：

过窄： 会导致边界截断，丢弃有信息量的极端回报，并引入截断偏差。
过宽： 会稀释固定分箱的表示分辨率，削弱学习信号并引入量化偏差。

现有文献通常假设一个足够宽的静态区间，但这在特定任务或训练阶段往往是次优的。不存在一个单一的固定区间能在整个训练过程中对所有遇到的策略都保持最优。

方法论：动态支撑集端点学习 (DySEL)

作者提出了**动态支撑集端点学习（Dynamic Support Endpoint Learning, DySEL）**算法，该算法动态地学习支撑集区间的下界和上界，而不是预先分配它们。

理论基础

其核心理论洞察在于：均方贝尔曼误差（MSBE）受限于 HL-Gauss 损失。该上界的紧密程度与支撑集区间的绝对值直接相关。具体而言，该界包含一个与 $\max(|\nu_{min}|, |\nu_{max}|)^2$ （绝对宽度）成正比的项，以及一个分布匹配项（与 KL 散度相关）。

张力（Tension）： 最小化上界需要窄的支撑集（以使界更紧），但最小化截断偏差需要宽的支撑集（以捕捉完整的概率质量 $Z$ ）。

构建为约束优化问题

为了解决这一张力，作者将该问题构建为一个约束优化任务：

目标： 最小化支撑集宽度，以保持高分辨率和紧密的理论界。
约束： 确保支撑集区间捕捉到目标分布中足够的概率质量（最小化“泄漏质量” $1-Z$ ），以防止截断偏差。

作者利用拉格朗日乘子 $\lambda$ ，将此转化为一个对抗性的极大-极小博弈（min-max game）。最终的目标函数 $L(\theta, \phi, \lambda)$ 由三个部分组成：

宽度惩罚： $\alpha \cdot \max(|\nu_{min}|, |\nu_{max}|)$ ，惩罚过大的宽度。
交叉熵损失： 标准的 HL-Gauss 分类损失。
质量约束： $\lambda \cdot ((1 - Z) - \epsilon)$ ，其中 $Z$ 是覆盖质量（支撑集内截断高斯的积分）。

参数通过以下方式更新：

$\theta, \phi$ （评论员网络和支撑集网络）：最小化拉格朗日函数。
$\lambda$ （拉格朗日乘子）：最大化拉格朗日函数以强制执行覆盖约束。

这种方法允许神经网络在必要时自动扩大支撑集以捕捉“泄漏”的质量，同时通过宽度惩罚防止无限制扩张。

核心贡献

理论上界： 作者证明了 MSBE 受 HL-Gauss 损失的上界限制，且该界的紧密程度与支撑集的绝对值相关。这为寻找最窄的可行支撑集提供了动机。
动态支撑集公式化： 他们通过将动态支撑集学习构建为约束优化问题，消除了对预定义区间的依赖，从而平衡了界限紧密度与分布覆盖度。
对抗性极大-极小目标： 他们利用拉格朗日乘子推导出了一个可处理的学习目标来强制执行概率质量覆盖，使得网络能够自适应地扩张或收缩支撑集。
实证验证： 该方法在连续控制任务上进行了评估，结果显示其在与固定支撑集的 HL-Gauss 基准对比中具有竞争力，并且在特定任务（尤其是 humanoid 任务）上表现优异，无需手动调整区间。
适应性证据： 论文提供的证据表明，动态适应的支撑集优于任何单一的固定支撑集，因为没有任何单一的固定区间在所有训练策略中都是最优的。

实验结果

作者在 DeepMind Control Suite 的 11 个任务上对 TD3+DySEL 与 TD3 以及 TD3+HL-Gauss（使用固定支撑集 $[-100, 100]$ ）进行了评估。

性能： 在大多数任务中，TD3+DySEL 与 TD3+HL-Gauss 相当，但在 humanoid 任务（如 humanoid-run, humanoid-stand）上展现了显著的性能提升。作者将其归功于动态学习区间提供的更细粒度，使评论员能够辨别被固定支撑集所掩盖的微妙回报变化。
支撑集演变： 学习到的支撑集区间表现出两种行为：
- 稳定型： 一些任务（如 finger-turn_hard）很快收敛到一个稳定的区间。
- 适应型： 其他任务（如 cheetah-run, humanoid-run）随着训练的进行表现出逐渐扩张的趋势。
消融实验： 去除宽度惩罚会导致支撑集向无穷大发散（利用了交叉熵损失）；而去除质量约束则会导致对于需要扩张的任务覆盖不足。这两个组件都被认为是维持稳定性的关键。
与固定基准的比较： 使用来自 DySEL 的最终学习到的支撑集作为 vanilla HL-Gauss 的固定输入，在某些任务上提高了性能，但在需要动态扩张的任务上未能达到 DySEL 的水平，这证实了适应机制的必要性。

意义与主张

本文声称 DySEL 解决了分类式价值学习在强化学习中的一个基本局限：对静态、手工挑选的支撑集的依赖。通过在理论上将 MSBE 与支撑集宽度联系起来，并将动态支撑集学习构建为约束优化问题，作者提供了一种方法，能够：

自动化超参数调优： 消除了从业者手动指定或调度支撑集的需求。
提高稳定性与性能： 实现支撑集的稳定适应，达到或超过固定支撑集的基准，特别是在像 humanoid 控制这样复杂的高维环境中。
理论证明： 提供了一个理论框架，表明动态适应比固定支撑集能产生更紧的贝尔曼误差界。

作者承认了局限性，指出鞍点优化对对偶学习率较为敏感，且目前学习到的支撑集是对称的。他们建议未来的工作可以探索非对称支撑集、自适应高斯 $\sigma$ 以及超越 DM-Control 的更广泛基准。