Bridging Behavioral Finance and Robust Agentic DRL: A novel computational framework for Portfolio Selection

技术摘要：桥接行为金融学与鲁棒智能体深度强化学习以进行投资组合选择

问题陈述
金融市场具有动态波动性、宏观经济冲击以及显著的行为反应特征，而传统的投资组合优化模型往往无法捕捉这些特征。包括标准强化学习（RL）算法在内的传统方法通常依赖于基于回报的奖励结构。这些结构经常忽略了关键的投资者特征，如损失厌恶、对收益与损失的不对称反应，以及市场状态固有的不确定性。因此，标准的 RL 智能体在波动条件下可能难以泛化，导致时机选择不当、过度冒险或在市场动荡期间过早退出。在现有文献中，关于如何将基于扰动的鲁棒性与受前景理论启发的行为建模系统地集成到统一的 RL 架构中进行投资组合管理的做法，仍存在明显的空白。

研究方法
本研究提出了一种创新的计算框架——RPPO-MPT，该框架通过两种主要机制扩展了近端策略优化（PPO）算法：基于扰动的鲁棒学习和行为奖励塑造。投资组合选择问题被建模为一个涉及 15 只美国大盘股的马尔可夫决策过程（MDP）。

研究方法通过三个对比阶段进行：

1. 基准 PPO (Baseline PPO)： 一个标准的 PPO 智能体，采用均匀权重初始化，并通过监督学习预训练的均值-方差投资组合（MPT）策略进行训练。该智能体学习最大化累计回报，并减去交易成本（$\gamma = 0.01$）。状态空间包括过去 14 周的历史回报率和先前的投资组合权重。
2. 鲁棒 PPO (RPPO)： 该变体引入了基于扰动的训练机制，以增强对市场噪声的稳定性。对于每个状态-动作对，智能体使用高斯噪声（$\sigma = 0.03$）生成 $K=5$ 个扰动状态。通过计算扰动状态间回报的方差来计算鲁棒奖励，并由权衡参数 $\beta = 0.2$ 进行控制。这迫使策略对微小的状态变化降低敏感度。
3. RPPO-MPT（提议模型）： 该模型将 RPPO 的鲁棒性与受前景理论启发的奖励结构相结合。智能体优化的不再是原始回报，而是一个“希望-恐惧”效用函数。
   • 参照依赖： 回报相对于一个参考点（设为零）进行评估。
   • 损失厌恶： 奖励函数将结果分解为“希望”（收益）和“恐惧”（损失）。损失由损失厌恶系数（$\lambda = 2.25$）进行加权，而收益和损失则遵循边际效用递减特性（$\alpha = \beta = 0.88$）。
   • 奖励塑造： 最终奖励是“希望”成分与“恐惧”成分之比（加上一个微小的常数 $\epsilon_1$ 以确保数值稳定性），再减去交易成本。这种结构显式地比同等收益更严厉地惩罚下行风险，使智能体的目标与行为投资者的偏好保持一致。

实验设置
模型在 2010 年 1 月至 2022 年 6 月中旬期间 15 只标普 500 指数成分股的历史调整价格数据上进行训练。样本外测试进行的测试时间段为 2022 年 6 月中旬至 2025 年 9 月。性能评估采用了一套综合指标，包括年化回报率、夏普比率、信息比率、$\alpha$、最大回撤、最长回撤、年度换手率以及在不同风险厌恶设置下的行为效用。

关键结果
对比分析表明，所提出的 RPPO-MPT 框架在三种模型中实现了最强的样本外表现剖面：

• 卓越的风险调整后回报： 在夏普比率、信息比率和 $\alpha$ 方面，RPPO-MPT 的表现均优于基准 PPO 和鲁棒 PPO (RPPO)。
• 行为一致性： 该模型实现了更高的行为效用，表明其在损失厌恶和不对称风险感知方面更好地契合了投资者偏好。
• 回撤控制： 在保持竞争力的回撤控制的同时，RPPO-MPT 模型有效地管理了下行风险，且未牺牲收益生成能力。
• 稳定性： 基于扰动的鲁棒性集成使得智能体能够在波动的测试期（2022–2025）内保持稳定性，避免了基准 PPO 中有时会出现的过度集中和不规则调仓现象。

意义与主张
本文声称，其主要贡献在于成功地将鲁棒优化与行为金融学集成到单一的深度强化学习架构中。通过对金融表现、状态不确定性韧性以及投资者一致性效用进行联合优化，RPPO-MPT 框架解决了仅依赖回报最大化的传统 RL 模型的局限性。

作者断言，这种方法为在真实金融系统中部署“具有韧性且具备心理学基础的决策智能体”提供了一条切实可行的路径。研究表明，通过显式考虑市场不确定性（通过扰动）和投资者心理（通过前景理论奖励塑造），可以增强 RL 智能体在波动市场中的适应能力和投资者一致性，从而为传统的投资组合优化方法提供了一个更鲁棒的替代方案。