🤖 machine learning

A Harmonic Mean Formulation of Average Reward Reinforcement Learning in SMDPs

本文引入了一种新颖的修正调和平均算子，以正确计算非平稳半马尔可夫决策过程中的平均奖励率，从而使得能够克服现有基于比率的方法之局限性的鲁棒无模型强化学习算法成为可能。

原作者： Erel Shtossel, Alicia Vidler, Uri Shaham, Gal A. Kaminka

发布于 2026-05-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Erel Shtossel, Alicia Vidler, Uri Shaham, Gal A. Kaminka

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和日常类比对这篇论文的解读。

宏观图景：“速度计”问题

想象你是一名送货司机，试图找出哪条路线最快。你有两个选择：

路线 A： 你 10 分钟行驶了 10 英里。
路线 B： 你 20 分钟行驶了 20 英里。

两者看起来每英里的耗时相同（每英里 1 分钟）。但如果交通状况发生变化呢？如果路线 A 在周一很快，但周二陷入 2 小时的拥堵，而路线 B 保持稳定呢？

在人工智能（AI）领域，特别是强化学习中，智能体（如机器人或交易机器人）需要在漫长且无尽的旅程中学习最佳的“平均速度”（奖励率）。本文认为，当旅程充满不确定性时，AI 目前用来计算这种平均速度的工具是失效的。

旧方法：“平均值的平均”谬误

本文考察了两种现有的方法（称为SMART和Relaxed-SMART），它们试图计算最佳平均速度。

缺陷： 这些方法通过总行驶距离除以总耗时来计算平均速度。
- 类比： 想象你 10 小时行驶了 100 英里。它们会说：“好吧，你的平均速度是每小时 10 英里。”
- 问题： 如果你的速度稳定，这没问题。但如果你的速度剧烈波动（有时在交通中停滞数小时，有时在高速公路上飞驰），仅仅用总距离除以总时间可能会给出一个误导性的数字。它将 10 分钟的行程和 10 小时的行程仅仅视为“两次行程”，而没有意识到奖励的时机至关重要。

作者指出，如果你的奖励（赚到的钱）和你的时间（一个动作持续多久）是相关联的（例如，只有当你花费很长时间等待时才能获得巨额奖励），旧方法在数学上就会出错。它们假设两者互不相关，就像把苹果和橙子混在一起，而实际上它们往往是紧密相连的。

新方案：“调和平均数”

作者提出了一种计算平均值的新方法，使用一种名为调和平均数的数学工具。

类比： 想象开车去目的地再返回。
- 去程时速 20 英里。
- 回程时速 40 英里。
- 错误的数学（算术平均）： $(20 + 40) / 2 = 30$ 英里/小时。
- 正确的数学（调和平均）： 因为你花更多时间以慢速（20 英里/小时）行驶，你整个行程的实际平均速度更接近 20 而不是 40。正确答案大约是26.7 英里/小时。

调和平均数是平均速率（如速度或每分钟利润）的正确方法。然而，有一个陷阱：标准的调和平均数在遇到零速度时会失效（你不能除以零），或者遇到负速度时也会失效（倒车）。在现实生活中，AI 智能体经常获得零奖励或亏损（负奖励）。

创新点：“修正调和平均数”

为了修复这个数学缺陷，作者发明了一种修正调和平均数。

工作原理： 想象一个智能计算器，将你的行程分为三堆：
1. 正收益行程（你赚了钱）。
2. 负收益行程（你赔了钱）。
3. 零收益行程（你收支平衡）。
它分别计算正收益行程和负收益行程的“调和平均值”。然后，它将它们混合在一起，将“零”收益行程视为中性。
结果： 这个新计算器可以处理混乱的现实世界数据，其中你有时赚钱，有时赔钱，有时只是原地等待。即使环境混乱，它也能正确计算出奖励的真实“速度”。

新算法：“调和 R-学习”

利用这种新数学，作者创建了一种新的 AI 学习算法，称为调和 R-学习（Harmonic R-Learning）。

它的作用： 它学习如何在行动耗时不同的情况下做出决策（例如，等待股票上涨与立即卖出）。
为何更好： 当“奖励”和“时间”相关联时，它不会感到困惑。它能看清行动的真实价值，而旧算法可能会被误导，仅仅因为总奖励很高，就认为一个缓慢且高风险的行动是极好的。

验证：两项测试

作者在两种场景下将新算法与旧算法进行了测试：

“假”交通测试： 他们创建了一个简单的计算机模拟，其中一条路线起初看起来很好，但实际上是个陷阱，而另一条路线看起来很慢，但实际上是长期的赢家。
- 结果： 旧算法感到困惑并选择了错误的路线。新的调和 R-学习识破了诡计并选择了正确的那条。
比特币交易测试： 他们使用了来自比特币交易的真实世界数据。比特币波动剧烈；价格上下跳动，有时你持有仓位很长时间，有时只有一秒。
- 结果： 当耗时和获利相关联时（这是一种常见的现实世界场景），新算法比旧算法赚了更多的钱。当它们不相关联时，新算法的表现与旧算法一样好，证明使用它不会带来负面影响。

总结

论文指出：“在 AI 中计算平均奖励的旧方法，就像在计算平均速度时没有考虑你在每种速度上花费了多长时间。当世界变得混乱时，这种方法就会失效。我们发明了一种新的‘修正调和平均数’计算器，它能处理混乱的数据（零值和负值），并为 AI 提供正确的平均速度，帮助它在复杂、随时间变化的环境中做出更好的决策。”

技术摘要：SMDP 中平均奖励强化学习的调和平均公式

1. 问题陈述

本文解决了在无限时域的半马尔可夫决策过程（SMDPs）中优化平均未折扣奖励的挑战。与动作耗时固定的标准马尔可夫决策过程（MDPs）不同，SMDPs 中的动作会随机生成奖励和不同的持续时间（停留时间）。其目标是最优化平均奖励率（单位时间的奖励），而非累积总奖励。

现有的针对该设定的无模型算法，特别是SMART和Relaxed-SMART，在奖励和持续时间非平稳或相关时存在关键局限性：

SMART依赖于长期样本平均值（总奖励除以总时间）。这种方法很脆弱；它假设平稳性，容易受异常值主导，或在非平稳环境中无法适应机制转变。
Relaxed-SMART试图通过使用奖励和持续时间的指数移动平均（EMA）并取其比率来处理非平稳性。然而，该方法将平均速率近似为算术平均值的比率。本文证明，仅当奖励和持续时间相互独立时，这种近似在数学上才是正确的。当它们相关（非线性相关）时，平均值的比率会产生对真实平均速率的错误估计。

2. 方法论

作者提出了一种基于调和平均的新方法，这是平均速率（例如，速度 = 距离/时间）在理论上的正确算子。

调和平均的局限性：
虽然调和平均是速率聚合的正确方式，但标准定义并不适用于一般的强化学习（RL），原因如下：

对于零值未定义（除以零）。
当数值具有混合符号（正负奖励）时，它会失去“内性”属性（即均值落在最小值和最大值之间）。

修正调和平均算子（ $\mathcal{H}$ ）：
为了克服这些局限性，作者引入了修正调和平均算子（ $\mathcal{H}$ ）。该算子：

将数据划分为三个集合：正奖励（ $X_+$ ）、负奖励（ $X_-$ ）和零奖励（ $X_0$ ）。
分别计算正负子集的标准调和平均。
计算这些结果的加权算术平均，将零值视为 0。
理论属性：作者证明 $\mathcal{H}$ 是一个广义平均（满足内性、幂等性、对称性和单调性），并在标准调和平均有定义的地方对其进行推广。然而，他们证明它不是拟算术平均，从而将其与包含标准算术、几何和调和平均的类别区分开来。

调和 R-学习算法：
作者将 $\mathcal{H}$ 集成到一个名为调和 R-学习（Harmonic $R$ -Learning）的无模型 RL 算法中。

它遵循 R-学习和 SMART 的结构更新规则（根据相对于平均速率的边际奖励更新 Q 值）。
它不使用简单的算术 EMA 或 EMA 比率来更新平均速率 $\rho$ ，而是维护一个指数移动调和平均。
该算法分别跟踪正负奖励的速率倒数（ $r/\tau$ ），维护这些倒数及其相关权重的指数移动平均，然后对其取倒数以计算当前 $\rho$ 的估计值。

3. 主要贡献

现有算法的理论分析：本文通过定理 1 正式证明（通过定理 1），算术平均值的比率（Relaxed-SMART 所用）仅在奖励与时间 - 奖励比率之间的协方差为零时才等于调和平均。在非平稳或相关设定中，这会导致速率估计错误。
新算子：引入修正调和平均算子（ $\mathcal{H}$ ），该算子对零值和混合符号奖励具有鲁棒性，同时保持了平均速率所需的数学正确性。
算法泛化：开发了调和 R-学习，这是一种无模型算法，它将现有的 R-学习变体推广到 SMDPs，而无需 SMART 和 Relaxed-SMART 所依赖的平稳性或独立性假设。
公理化证明：证明了 $\mathcal{H}$ 是广义平均但不是拟算术平均，阐明了其相对于传统平均的数学地位。

4. 实证结果

作者在两个领域评估了调和 R-学习与 SMART 和 Relaxed-SMART 的表现：

合成双状态 SMDP：
- 设置：一个包含两个动作的连续任务。动作 A 具有独立的奖励和持续时间。动作 B 具有相关的、非平稳的奖励和持续时间（使用带有对数缩放的漂移正弦/余弦函数）。
- 发现：在奖励与持续时间之间的依赖关系使得“真实”最优动作（动作 B）在学习时域内难以检测的设定中，SMART 和 Relaxed-SMART 失败了（在更难的设定中成功率降至 0%）。调和 R-学习在所有参数组合下都保持了高成功率，证明了对非平稳性和依赖性的优越鲁棒性。
比特币交易（真实世界数据）：
- 设置：一个高波动性、非平稳的环境，使用 2012 年至 2025 年的分钟级比特币价格数据。任务涉及买卖，动作持续时间随机（5–45 秒）。测试了两个版本：一个是持续时间随机（独立）的版本，另一个是持续时间由奖励幅度缩放（相关）的版本。
- 发现：
  - 在独立版本中，所有算法表现相似，这与理论预期一致。
  - 在相关版本中（奖励幅度影响持续时间），调和 R-学习显著优于 SMART 和 Relaxed-SMART，在 21 个数据段中实现了更高的胜率。这证实了理论主张：当奖励和持续时间耦合时，平均值比率近似会失效。

5. 意义与主张

本文主张，调和 R-学习为 SMDPs 中奖励和持续时间分布非平稳或相关的平均奖励 RL 提供了必要的修正。

它认为，先前的方法（SMART/Relaxed-SMART）在这些特定条件下存在根本缺陷，因为它们依赖于忽略奖励幅度与时间之间耦合的算术近似。
修正调和平均算子被呈现为 RL 中平均速率的数学正确工具，将 R-学习的适用性扩展到复杂的现实世界场景（如金融交易），在这些场景中此类依赖关系很常见。
该工作被定位为在半马尔可夫设定中针对无模型平均奖励优化的最先进技术的理论和实证改进，具体解决了当前文献中关于“非平稳”和“相关”的空白。