💰 quantitative finance

Data-Driven Merton's Strategies via Policy Randomization

本文针对模型参数未知的不完全市场，通过引入高斯策略随机化将经典 Merton 问题转化为连续时间强化学习框架，从而设计出无需估计模型先验的在线与离线演员 - 评论家算法，并证明了其在随机波动率环境下显著优于传统模型驱动方法。

原作者： Min Dai, Yuchao Dong, Yanwei Jia, Xun Yu Zhou

发布于 2026-02-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Min Dai, Yuchao Dong, Yanwei Jia, Xun Yu Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于**“如何在不知道游戏规则的情况下，依然能玩好投资游戏”**的故事。

想象一下，你被扔进一个巨大的、充满迷雾的赌场（金融市场）。这里有两样东西：一个是股票（价格忽上忽下），另一个是市场情绪因子（比如恐慌指数，它会影响股票波动）。你的目标是：在迷雾中通过买卖股票，让手里的钱变得最多。

传统的投资大师（模型派）会怎么做？
他们会先拿出一个放大镜，试图看清迷雾背后的规则。他们会收集过去几十年的数据，用复杂的数学公式去“猜”出股票上涨的平均速度是多少、波动有多大。一旦猜出了这些参数，他们就会把这些数字填进一个完美的公式里，算出“最佳策略”。
问题在于： 金融市场就像天气，永远在变。你想看清规则？太难了！而且，哪怕你猜错了一点点（比如把平均涨幅猜高了 0.1%），最后算出来的“最佳策略”可能会让你亏得底掉。这就是所谓的“先估计，再优化”的**插件法（Plug-in method）**的致命弱点。

这篇论文的作者们（来自港科大、同济、哥伦比亚大学等）提出了一种**“强化学习（RL）”的新思路，就像教一个“盲人摸象”的机器人**去投资。

核心创意：用“随机乱撞”来寻找真理

通常我们认为，投资要“深思熟虑”，不能乱来。但作者们提出了一个反直觉的观点：有时候，故意“乱来”（随机化策略）反而能帮你找到最好的路。

1. 辅助问题：给策略加点“噪音”

作者设计了一个**“辅助游戏”。在这个游戏里，投资者不再只做一个确定的决定（比如“今天买 50% 股票”），而是从一个高斯分布（钟形曲线）**里随机抽取一个决定。

比如，策略说“买 50%"，但随机化后，你可能实际买了 48%，也可能买了 52%。
这个“随机性”就像是在迷雾中故意多走几步弯路，去试探一下周围的环境。

2. 关键发现：乱走也能找到正路

作者们证明了一个惊人的数学定理：

虽然你在“辅助游戏”里是随机乱走的，但如果你把这一连串随机决定的平均值拿出来，它竟然完美等于那个在“完美世界”里（知道所有规则）算出来的最优策略！

比喻： 想象你在一个巨大的迷宫里找出口。

传统方法：先派侦察兵把墙画下来，算出路线，然后走。如果墙画错了，你就撞墙了。
本文方法：你闭着眼睛，在迷宫里随机乱走（但每次乱走都记录数据）。神奇的是，把你所有乱走的轨迹取个平均，竟然就是一条直通出口的直线！

3. 为什么需要“随机”？（温度参数 $\lambda$ ）

你可能会问：“既然平均值是对的，我直接走直线不行吗？”
不行！因为在这个学习过程中，随机性（噪音）是学习的燃料。

如果你不随机（完全确定），当你计算“下一步该怎么走”时，信号会非常微弱，就像在嘈杂的房间里听不清别人说话。
如果你加一点随机（温度参数 $\lambda$ ），就像给房间通了风，虽然声音有点杂，但你能听清方向，从而快速修正你的策略。
平衡的艺术：随机太多，你会乱跑；随机太少，你学得太慢。作者们找到了一种完美的平衡点。

实验结果：真金白银的较量

作者们用两种数据测试了这种方法：

模拟数据（合成数据）：他们自己造了一个复杂的金融市场环境。
- 结果：传统的“先猜参数再投资”的方法，一旦参数猜错一点，策略就崩了。而他们的RL 算法，像是一个经验丰富的老手，直接根据市场反馈调整，表现远超传统方法，甚至比那些“全知全能”但参数估计不准的模型还要好。
真实数据（标普 500 指数，1990-2025）：
- 结果：在经历了互联网泡沫破裂、2008 年金融危机等大风大浪后，RL 策略不仅赚得更多，而且回撤（亏钱）更少，回本更快。
- 特别是在市场大跌时，传统方法因为依赖过去的错误参数，反应迟钝；而 RL 策略能像变色龙一样，迅速感知市场变化并调整仓位。

总结：这篇论文到底说了什么？

打破迷信：我们不需要知道市场的所有数学公式（模型参数）也能做好投资。
以退为进：通过引入“随机性”（Policy Randomization），我们构建了一个辅助问题，它的解的平均值就是我们要的最优解。
技术突破：这是一种**“端到端”**的学习方式。直接从数据（股价、波动率）映射到决策（买多少），跳过了中间那个容易出错的“猜参数”环节。
现实意义：对于普通投资者，这意味着未来的投资工具将不再依赖那些复杂的、容易过时的经济模型，而是像AlphaGo下围棋一样，通过与市场的实时互动，自我进化，找到最优策略。

一句话总结：
这篇论文告诉我们，在充满不确定性的金融世界里，不要试图去“预测”未来，而要设计一种能“适应”未来的机制。通过巧妙地引入“随机探索”，我们不仅能学会如何在迷雾中行走，还能走出比那些自以为看清了地图的人更稳健、更赚钱的路。

这是一份关于论文《Data-Driven Merton's Strategies via Policy Randomization》（基于策略随机化的数据驱动 Merton 策略）的详细技术总结。

1. 研究背景与问题定义

核心问题：
本文研究的是在不完全市场（Incomplete Market）环境下的 Merton 期望效用最大化问题。市场特征包括股票价格过程和额外的因子过程（如随机波动率），且模型的基本函数形式（如漂移率 $\mu$ 、波动率 $\sigma$ 等）是未知的。

传统方法的局限性：
传统的“分离原理”（Separation Principle）或“即插即用”（Plug-in）方法通常分为两步：

估计： 使用统计或机器学习方法从历史数据中估计模型参数。
优化： 将估计出的参数代入随机控制问题（通常通过求解 HJB 方程或 Pontryagin 极大值原理）来得到最优策略。

缺陷： 金融数据有限且非平稳，导致参数估计（尤其是预期收益率）极其困难且误差大。Merton 策略对参数高度敏感，微小的估计误差会在优化步骤中被放大，导致生成的策略不可行或表现极差。此外，模型形式的不确定性（如随机波动率模型中参数约束的违反）可能导致解析解失效（如出现无穷大杠杆）。

本文的目标：
开发一种模型无关（Model-free）、数据驱动的方法，直接学习最优投资策略，而无需估计市场模型的基本参数。

2. 方法论：策略随机化与辅助问题

本文的核心创新在于引入了策略随机化（Policy Randomization），将其作为解决确定性策略无法解决的数学问题的技术工具，而不仅仅是为了探索（Exploration）。

2.1 辅助问题构建

作者构建了一个辅助问题，允许代理人根据特定的高斯分布类来随机化其投资组合选择（即策略 $\pi_t$ 是一个概率分布，而非单一数值）。

随机化策略类： 定义了一类高斯策略 $\pi(\lambda) \sim \mathcal{N}(u, \frac{\lambda}{\gamma \sigma^2})$ ，其中 $u$ 是均值（待学习）， $\lambda$ 是控制随机化强度的温度参数， $\gamma$ 是风险厌恶系数。
财富动态： 引入随机化后，财富过程 $W_t$ 的动态方程中增加了一个由策略随机化引起的额外噪声项（由独立布朗运动 $\bar{B}_t$ 驱动）。

2.2 理论连接（核心定理）

定理 1 证明了：

辅助问题（最大化随机化策略下的期望效用）的最优解是一个高斯分布。
该最优高斯分布的均值（Mean）恰好等于原始 Merton 问题（确定性策略）的最优策略。
结论： 通过求解带有随机化项的辅助问题，可以间接获得原始确定性 Merton 问题的最优解。这为使用强化学习（RL）解决经典金融问题提供了理论依据。

2.3 强化学习算法设计

基于上述理论，作者设计了连续时间强化学习（Continuous-time RL）算法，具体为**Actor-Critic（演员 - 评论家）**架构：

Critic（评论家）： 学习价值函数 $V(t, w, x)$ 。利用定理 2 和 3，将价值函数参数化为特定形式（利用 CRRA 效用函数的齐次性），并通过鞅正交条件（Martingale Orthogonality Conditions）进行更新。
Actor（演员）： 学习策略均值函数 $u(t, x)$ 。同样基于鞅条件进行策略改进。
关键机制： 随机化参数 $\lambda > 0$ 是算法收敛的关键。如果 $\lambda \to 0$ （退化为确定性策略），学习信号的方差会趋于无穷大，导致算法无法更新。随机化提供了必要的梯度估计信号。

3. 主要贡献

理论突破： 首次系统性地证明了在 Merton 问题中，策略随机化不仅仅是为了探索环境，更是解决“模型未知”优化问题的必要数学工具。它证明了随机化策略的均值收敛于原始确定性问题的最优解。
算法创新： 提出了基于连续时间 RL 的 Actor-Critic 算法，专门针对 Merton 问题进行了优化（利用效用函数的齐次性简化学习过程）。证明了算法在 Black-Scholes 市场下的收敛性，并给出了收敛速率 $O(n^{-1} \log n)$ 。
解决“即插即用”的缺陷： 展示了 RL 方法如何绕过参数估计步骤，直接学习策略，从而避免了因参数估计误差导致的策略失效（如杠杆爆炸）和模型设定错误带来的风险。
实证与模拟验证： 在合成数据（随机波动率模型）和真实市场数据（S&P 500 和 VIX）上进行了广泛测试，证明了 RL 方法在鲁棒性和最终收益上显著优于传统的估计 - 优化方法和经验风险最小化（ERM）。

4. 实验结果

4.1 合成数据实验（模拟）

设置： 使用 3/2 随机波动率模型，生成 20 年训练数据，测试集为 10,000 条独立路径。
对比方法： 买入持有（B-H）、即插即用（Est-SV，先估计参数再求解）、经验风险最小化（ERM）、本文 RL 方法（特定参数形式 vs 神经网络）。
结果：
- RL 方法（特定形式）： 表现最佳，等效相对财富损失（ERWL）仅为 2.16%，接近“全知”（Omniscient）基准。
- 即插即用（Est-SV）： 表现尚可（2.96% 损失），但在引入噪声波动率观测时，性能急剧下降（损失飙升至 28.01%），显示出对参数估计误差的极度敏感。
- ERM： 在小样本下表现最差，收敛速度慢。
- 鲁棒性： 当波动率观测带有噪声时，RL 方法依然稳健，而传统方法失效。

4.2 实证研究（真实市场数据）

数据： S&P 500 指数（风险资产）和 VIX 指数（波动率代理），时间跨度 1990-2025。
设置： 前 10 年预训练，后 25 年在线学习/测试。
结果：
- 风险调整后收益： 基于神经网络的 RL 策略夏普比率（Sharpe Ratio）最高（0.306），显著优于 B-H（0.203）和 Est-SV（0.075）。
- 最大回撤与恢复： RL 策略在市场崩盘期间（如 2000 年互联网泡沫、2008 金融危机）表现出极佳的防御性，最大回撤远小于 B-H，且恢复时间（Recovery Time）极短（202 天 vs B-H 的 1376 天）。
- 适应性： RL 策略能根据实时市场数据快速调整仓位（如在熊市中迅速降低风险敞口），而 Est-SV 由于依赖过去 10 年的静态参数估计，反应滞后。

5. 意义与结论

重新定义 RL 在金融中的作用： 本文挑战了“小投资者无需探索（因为市场外生）”的传统观点。作者指出，在模型未知的情况下，随机化是技术上的必要性，用于生成有效的学习信号（梯度估计），而不仅仅是为了获取信息。
模型无关的优越性： 证明了在金融决策中，直接学习策略（Policy Learning）比先学习模型再优化（Model-based Optimization）更具鲁棒性，特别是在面对模型设定错误和参数估计误差时。
实际应用价值： 提出的算法为在不完全市场、模型未知环境下进行动态资产配置提供了一套可操作、高效且鲁棒的解决方案，特别适用于高频交易和复杂衍生品定价等场景。

总结： 该论文通过引入策略随机化，成功将经典的 Merton 问题转化为一个可解的连续时间强化学习问题，不仅在理论上建立了随机化策略与确定性最优解的桥梁，更在实证中证明了其相对于传统计量经济学方法的显著优势。