💰 quantitative finance

Tackling Decision Processes with Non-Cumulative Objectives using Reinforcement Learning

本文介绍了一种将非累积马尔可夫决策过程（NCMDPs）转换为标准马尔可夫决策过程（MDPs）的通用映射，该映射能够直接应用现有的强化学习技术来优化任意奖励函数，并证明了在多种任务中均具有提升的性能和训练效率。

原作者： Maximilian Nägele, Jan Olle, Thomas Fösel, Remmy Zen, Florian Marquardt

发布于 2026-10-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Maximilian Nägele, Jan Olle, Thomas Fösel, Remmy Zen, Florian Marquardt

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能领域，有一个强大的框架被用于教机器如何做出决策。想象一个正在学习走路的机器人、一个正在精通电子游戏的计算机程序，或者一个管理股票投资组合的交易算法。这些系统通过对周围环境做出反应，一个接一个地采取一系列行动来运行。随着每一次移动，系统都会收到一个信号，通常被称为“奖励”，告诉它该动作是好是坏。几十年来，这些场景中成功的标准一直很简单：最大化一段时间内收集到的所有奖励的总和。如果机器人每向前走一步就能得到一个小点数，那么目标就是在旅程结束时尽可能多地获得点数。这种被称为马尔可夫决策过程（Markov decision process）的方法取得了巨大的成功，指导着从工业机器人到自动驾驶汽车的方方面面。

然而，现实生活往往比简单的计分表要复杂得多。有时，最重要的结果并不是发生的各种好事之总和，而是过程中发生的那个最坏时刻，或者是性能随时间变化的稳定性。考虑一艘航天器着陆行星的情况。目标不仅仅是安全着陆；而是要确保在整个下降过程中，飞行器绝不会超过一个危险的速度，无论其余部分的飞行有多平稳。在金融领域，投资者可能不太在意一年内赚取的总利润，而更在意利润的波动程度，寻求稳定的回报而非冒险的赌博。这些场景涉及研究人员所说的“非累积目标”，即最终得分取决于整个奖励历史的一个特定函数，例如达到过的最大值或平均收益与波动率的比率。直到现在，教人工智能去优化这些复杂的、依赖于历史的目标仍然很困难，通常需要专门构建难以应用于新问题的自定义算法。

来自马克斯·普朗克光科学研究所和埃尔朗根-纽伦堡大学的研究小组开发了一种解决这一问题的通用方案。他们发现了一种方法，可以将这些复杂的、非累积性的挑战转化为现有强大人工智能工具已经能够解决的标准格式。他们并没有从头开始发明一种新型的学习算法，而是创建了一个桥梁。他们展示了通过稍微改变机器感知当前情况的方式以及计算即时反馈的方式，任何复杂的目标都可以转换为标准的“奖励总和”问题。这使得研究人员可以利用现有的、最先进的“开箱即用”型学习软件，直接应用于此前无法触及的问题，而无需修改软件本身。

该方法的核心在于赋予人工智能代理（agent）更多的记忆。在标准设置中，代理只需要知道其当前状态即可做出决策。但当目标取决于整个奖励历史时——例如记住迄今为止遇到的最高速度——代理就需要携带这些信息。研究人员提出了一种系统，将代理的“状态”扩展到包含一个过去的运行摘要，例如截止到目前为止看到的最高或最低奖励。与此同时，他们调整了代理在每一步收到的即时奖励。代理收到的不再是仅仅反映当前动作的奖励，而是一个经过计算的值，当这些值在整个旅程中相加时，能完美地重构出那个复杂的目标。例如，如果目标是最小化最大速度，代理获得的奖励方式会在其创造新速度记录时进行惩罚，从而有效地将“最大值的最小值”问题转化为一个标准的“求和”问题。

这种方法在各种困难任务中都得到了测试，证明了其通用性。在一次月球着陆器模拟中，研究人员训练了一个代理，使其在严格限制最大速度的同时完成航天器着陆。他们将这种方法与另一种试图通过在飞行结束时添加惩罚来近似目标的标准方法进行了比较。这种新方法将速度限制视为一个连续的、贯穿始终的过程，找到了安全着陆与高效移动之间的更佳平衡。在金融领域，他们将该技术应用于投资组合优化，其中目标是最大化夏普比率（Sharpe ratio）——这是一个衡量风险调整后收益的指标，即平均利润除以这些利润的波动率。以往的方法必须依赖于对该比率的粗略近似。通过使用这种新的映射方式，代理能够直接学习最大化精确的比率，从而在训练期间实现了显著更好的投资策略。

研究人员还探索了离散优化问题，例如寻找量子逻辑门的最有效排列方式，或简化量子计算中使用的复杂图表。在这些任务中，目标通常是在漫长的搜索过程中找到达到的单个最佳状态，而不是整个过程中所有改进的总和。在这里，新方法让代理能够更勇敢地探索。因为代理不会因为为了达到更好的解而必须经历的暂时性挫折而受到惩罚，所以它学得更快，并找到了更高质量的解。在一次涉及量子纠错的实验中，新方法显著提高了性能，以更短的时间找到了更好的解决方案。

这项工作的优势在于其简单性和通用性。研究人员并没有创造一种新的学习算法，而是创造了一个翻译层。这意味着，从机器人技术到金融领域的任何专家，都可以采用他们的现有问题，应用这种映射，并立即使用现有的最强大的强化学习工具。该方法既适用于可预测的环境，也适用于充满随机噪声的环境，并且能够处理简单和复杂的目标。虽然研究人员指出，代理所需的扩展记忆会使问题规模略微变大，但现代深度学习技术完全有能力应对这一点。其结果是一个统一的框架，消除了复杂现实世界目标与先进人工智能工具之间的障碍，为机器学习那些此前难以定义的策略打开了大门。

技术摘要：利用强化学习解决非累积目标决策过程问题

问题陈述

标准的马尔可夫决策过程（MDP）通过最大化轨迹上的期望奖励总和来建模决策过程，即 $E_\pi [\sum_{t=0}^{T-1} r_t]$ 。然而，许多实际应用需要优化非累积马尔可夫决策过程（NCMDPs），其目标是最大化关于奖励的任意函数 $f$ 的期望值，而非其总和：
$E_\pi [f(\tilde{r}_0, \tilde{r}_1, \dots, \tilde{r}_{T-1})]$
此类目标的示例包括最大化最小奖励（弱链问题）、优化夏普比率（收益的均值除以收益的标准差），或在控制任务中最小化最大速度。现有的求解 NCMDP 的方法具有局限性：它们通常将目标限制在特定函数内（例如仅限最大值）、仅适用于确定性环境，或者需要修改核心强化学习（RL）算法（例如重新定义时序差分误差）。因此，最先进的 RL 方法往往依赖于近似，或者无法有效处理随机 NCMDP。

方法论

作者提出了一个通用的理论框架，将任何 NCMDP 映射到标准 MDP，从而可以直接应用现有的 MDP 求解器（如动态规划或深度 RL 算法如 PPO），而无需修改算法。

映射机制

其核心创新在于构建了一个增强的状态空间和适配的奖励函数。给定一个具有状态 $\tilde{s}_t$ 、奖励 $\tilde{r}_t$ 和目标函数 $f$ 的 NCMDP $\tilde{M}$ ，对应的 MDP $M$ 定义如下：

适配状态 ( $s_t$ )： 扩展状态空间以包含一个历史向量 $h_t$ ，该向量封装了计算目标函数所需的所有奖励历史信息。
$s_t = (\tilde{s}_t, h_t)$
向量 $h_t$ 在每一步通过函数 $u$ 进行更新： $h_{t+1} = u(h_t, \tilde{r}_t)$ 。对于许多常见函数（如 max、min、Sharpe ratio）， $h_t$ 可以以恒定大小进行维护。
适配奖励 ( $r_t$ )： 新 MDP 中的即时奖励定义为目标函数值的增量变化：
$r_t = f(\tilde{r}_0, \dots, \tilde{r}_t) - f(\tilde{r}_0, \dots, \tilde{r}_{t-1}) = \rho(h_t, \tilde{r}_t)$
这确保了 MDP 中适配奖励的累积总和等于原始 NCMDP 中非累积目标的函数值：
$\sum_{t=0}^{T-1} r_t = f(\tilde{r}_0, \dots, \tilde{r}_{T-1})$
等价性： 作者证明了所构建的 MDP 的最优策略与原 NCMDP 的最优策略是等价的。此外，任何策略在两种表述下都会产生相同的期望回报。这使得标准的收敛保证（例如 Q-learning 或策略梯度）可以直接应用于 NCMDP。

实现

该方法将 NCMDP 环境和 MDP 求解器视为黑盒。一个简单的中间层负责计算适配状态和奖励，无需更改底层的 RL 算法。这使得使用标准库（如 Stable-Baselines3）来处理非累积问题变得容易。

核心贡献

理论框架： 引入了一种从 NCMDP 到标准 MDP 的通用映射方法，能够处理确定性和随机环境中的任意非累积目标。
算法无关性： 该方法允许使用任何现有的 MDP 求解器，而无需修改学习算法本身，这与以往需要重新定义更新规则的工作不同。
状态空间管理： 确定了在何种条件下额外的状态信息 $h_t$ 能保持恒定大小，使得该方法尽管扩展了状态空间，仍能通过深度 RL 技术实现可扩展性。
实证验证： 在包括经典控制、金融投资组合优化和离散优化在内的多个领域展示了该方法的有效性。

实验结果

作者在三个领域中将该方法与标准 MDP 表述及之前的 NCMDP 特定方法进行了对比评估：

经典控制（月球着陆器/Lunar Lander）： 该任务涉及最大化一个在轨迹期间受到最大速度惩罚的奖励函数。所提方法（MAXVELPPO）相比于仅在结束时添加惩罚的累积方法（FINALPPO），在着陆安全性与最大速度之间实现了更优的权衡。向累积智能体添加历史信息并未提高其性能，而映射方法则自然地整合了历史信息。
投资组合优化： 目标是最大化夏普比率。所提方法（SHARPE）直接优化精确的夏普比率，其表现优于使用微分夏普比率近似（DIFFSHARPE）或最终奖励表述（FINALSHARPE）的智能体。
离散优化：
- 峰值环境（Peak Environment）： 在一个需要间歇性增加成本以寻找全局最小值的玩具问题中，非累积目标（MAXREINFORCE）的训练速度明显快于累积基准。分析表明，这是由于梯度方差降低以及获得了更有利的梯度方向。
- 量子纠错与 ZX 图（ZX-Diagrams）： 在涉及量子电路发现和 ZX 图简化的任务中，非累积方法（MAXPPO）通常优于标准 PPO。在 ZX 图任务中，非累积智能体的探索更有效（更高的策略熵），并且大约只需累积智能体一半的训练步数即可达到最优性能。

意义与主张

论文声称这项工作通过将非累积目标与标准 MDP 求解器统一起来，显著扩大了强化学习的应用范围。作者强调：

该方法消除了对专门的、通常仅限确定性环境的 NCMDP 算法的需求。
它允许研究人员直接向智能体指定精确的目标（例如夏普比率、最小奖励），而无需进行近似。
实现过程非常简单，仅需一个映射层，这使得非 RL 专业领域的领域专家也能轻松使用。
在目标依赖于轨迹历史且不具备加性特征的任务中，该方法提高了最终性能和训练效率。

作者也指出了局限性，例如状态空间大小增加的可能性（尽管可以通过深度 RL 进行管理），以及观察到在某些具有长轨迹的离散优化任务中，如果智能体频繁获得零奖励，初始学习可能会较慢。他们还承认，虽然该方法提高了在已训练环境内的性能，但在面对未见过的时期（例如金融数据）时的泛化能力仍然是所有此类领域 RL 智能体共同面临的挑战。