📈 经济学

CBGA-SAC: A CVaR-Constrained Deep Reinforcement Learning Framework for Portfolio Optimization

本文提出了 CBGA-SAC，这是一个统一的深度强化学习框架，该框架集成了用于时间风险提取的 CNN-BiLSTM-Attention 以及用于动态资产相关性的图注意力网络，旨在条件风险价值（CVaR）约束下优化投资组合再平衡，并证明了与传统及基准深度学习模型相比，该框架具有更优的风险调整收益以及在市场机制转变期间的稳健性。

原作者： R Lavanya, Shivani Agarwal, Vinay Dwivedi, Pavan Kumar Varma Kothapalli, Venkata Sandeep Dhullipalla, Megha Sharma, Nisha Kundu

发布于 2026-10-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： R Lavanya, Shivani Agarwal, Vinay Dwivedi, Pavan Kumar Varma Kothapalli, Venkata Sandeep Dhullipalla, Megha Sharma, Nisha Kundu

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

金融世界常被想象成一个稳步增长的地方，但对于资金管理者而言，现实却是一个充满不断变化且不可预测的景观。市场并非沿直线运动；它们会激增、停滞，有时甚至以一种违背简单预测的方式崩盘。投资者的核心挑战不仅在于寻找增长资产，还在于如何在不使资本面临灾难性损失的情况下实现增长。管理这种风险的传统方法通常依赖历史平均值，假设未来会与过去高度相似。然而，当市场突然转变时，这些旧有的地图便会失效。为了应对这一局面，研究人员正转向人工智能，特别是某种模仿人类通过试错进行学习的类型，希望以此构建能够实时适应新危险的系统。

在此背景下，一组研究人员开发了一种名为 CBGA-SAC 的新框架，旨在更智能地决定如何分配不同股票的资金。该系统的构建是为了解决一个特定问题：大多数现有工具将预测风险的任务与决定投资比例的任务视为两个独立的任务。它们可能使用一个计算机程序来猜测一只股票的波动性，然后将该猜测输入到第二个独立的程序中以决定投资组合的构成。这种分离意味着，如果第一个程序犯了错，第二个程序永远无法察觉并进行调整。此外，许多系统忽略了股票之间的相互影响，将它们视为孤立的岛屿，而非一个连接的网络——在网络中，一个环节的冲击会波及其他环节。

研究人员提出了一个统一的解决方案，将三种截然不同的能力结合成一个流动的过程。首先，该系统利用深度学习结构扫描股票价格的历史记录，寻找人类分析师可能会忽略的短期模式和长期趋势。它会对数据中的关键时刻给予特别关注，就像读者快速浏览长篇报告以寻找最重要的句子一样。其次，该系统并不假设股票之间的关系是固定的，而是构建了一张动态的连接图谱。它每天都在学习哪些股票倾向于同步移动，哪些则不然，并随着市场状况的变化不断更新这张图谱。最后，这种对时间与连接性的综合理解被输入到一个强化学习智能体中。这个智能体就像一名通过实践学习的交易员，不断调整策略，以实现利润最大化，同时严格规避最严重的损失。

为了训练这个系统，研究人员使用了一个包含三十只主要美国股票的庞大数据集，其涵盖的时间段包括了 2022 年的一次重大市场低迷及其后的复苏。选择这个特定的时间段是因为它代表了一次“机制转变”（regime shift），即市场规则的突然变化，这将测试系统是能够适应还是会在压力下崩溃。该系统的教学过程使用了一个奖励函数，该函数不仅关注赚取了多少钱，还对极端损失（即尾部风险）进行了严厉惩罚。它还考虑了交易成本，确保系统不会因为不必要的组合变动而浪费资金。

该框架在与传统方法和其他先进算法对比测试中的结果令人瞩目。在模拟环境中，新系统实现了比竞争对手更高的总回报，同时在市场转向时遭受的损失也较轻。具体而言，它表现出更高的风险回报比，这意味着它每承担一单位的危险就能产生更多的利润。或许最重要的一点是，当 2022 年市场崩盘时，该系统的恢复速度更快，且损失的价值比其他方法更少。研究人员发现，系统学习股票间不断变化的连接关系的能力，以及其对规避灾难性损失的严格关注，是其成功的首要原因。当研究人员从模型中移除这些特定功能时，其性能显著下降，证实了这些组件是必不可少的。

然而，研究人员谨慎地指出其研究结果的局限性。其成功是在一个受控的回测环境（backtesting environment）中展示的，在这种模拟环境中，交易规则是理想化的，并未包含现实世界的复杂情况，例如执行订单的延迟或移动大额资金的额外成本。虽然该系统在模拟中证明了其能够适应变化的市场，但作者表示，其在实时交易环境中的表现仍有待观察。他们建议，未来的工作必须针对实际的市场摩擦以及不同类型的资产进行测试，以观察这些优势在实验室之外是否依然成立。

最终，这项工作代表了向更整合的金融安全领域迈出的一步。通过将风险预测与投资决策相融合，并将市场视为一个活生生的、变化的网络而非一组静态的数字，研究人员创造了一个对现代金融现实响应更加敏捷的工具。这项研究表明，风险管理的未来不在于分离这些任务，而在于将它们编织成一个单一的、智能的系统，使其能够在世界发生变化时进行观察、学习并进行调整。

CBGA-SAC 技术摘要：一种用于投资组合优化的 CVaR 约束深度强化学习框架

1. 问题陈述

本文旨在解决当前金融风险管理和投资组合优化模型在处理快速变化的市场机制（regimes）时的局限性。经典的理论方法，如马科维茨均值-方差优化（Markowitz mean-variance optimization）和参数化风险价值（VaR），通常假设收益率是平稳的、线性的或呈椭圆分布的，这在市场压力时期往往会失效。此外，现有的深度学习解决方案通常将风险评估与资产配置解耦。这些方案往往依赖于静态协方差矩阵，无法捕捉动态的、特定于资产的相关性，并且通常针对方差或收益进行优化，而非明确地针对尾部风险（极端损失）进行建模。作者识别了文献中的四个具体空白点：

过程解耦： 风险评估和投资组合配置被视为两个独立的阶段，而非一个统一的流水线。
静态依赖： 资产相关性使用固定的历史估计进行建模，而非学习到的、随时间变化的结构。
隐性尾部风险： 强化学习（RL）的奖励函数往往缺乏显式的条件风险价值（CVaR）约束，而是依赖于隐性的下行控制。
静态回测： 大多数系统仅在单次历史数据上进行验证，缺乏对实时机制转换或流式推理适应性的测试。

2. 方法论：CBGA-SAC 框架

作者提出了 CBGA-SAC，这是一个统一的混合架构，集成了时间特征提取、基于图的动态相关性建模以及 CVaR 约束的强化学习。该框架作为一个端到端的流水线运行，包含以下组件：

时间风险特征提取 (CNN-BiLSTM-Attention)：
- 输入： 多尺度时间数据，包括对数收益率、滚动波动率、RSI、MACD 和成交量。
- 架构： 一维卷积神经网络（1D CNN）捕捉局部短期模式。这些特征被输入到双向长短期记忆网络（BiLSTM）中，以捕捉正向和反向的长程时间依赖关系。
- 注意力机制： 时间注意力层对 BiLSTM 的隐藏状态进行加权，突出与当前风险状况最相关的时刻，从而生成上下文向量 $c_t$ 。
动态资产相关性建模 (图注意力网络 - GAT)：
- 图构建： 将资产视为全连接图中的节点。
- 机制： GAT 不再使用静态协方差矩阵，而是学习随时间变化的、由数据驱动的依赖结构。它根据学习到的资产上下文向量计算资产 $i$ 与资产 $j$ 之间的注意力系数 ( $\alpha_{ij}$ )。
- 输出： 每个资产的图嵌入 $g_i$ ，反映了高阶且动态的资产间依赖关系。
融合风险表示：
- 将时间上下文向量 ( $c_i$ ) 与图嵌入 ( $g_i$ ) 进行拼接，并通过全连接层生成统一的风险评分。该融合表示同时用于风险预测（VaR/CVaR 估计）以及作为 RL 智能体的状态输入。
投资组合优化 (CVaR 约束的软行为者-评论家算法 - SAC)：
- 智能体： 采用软行为者-评论家（SAC）智能体进行连续的投资组合权重优化。
- 动作空间： 智能体输出一个连续的权重向量，通过 Softmax 层投影到单纯形（simplex）上。
- 奖励函数： 奖励函数经过专门设计，旨在惩罚尾部风险和交易成本：
  $R_t = R_{p,t} - \lambda_1 \cdot \text{CVaR}_\alpha(R_{p,t}) - \lambda_2 \cdot \sum |w_{i,t} - w_{i,t-1}|$
  其中 $\lambda_1$ 和 $\lambda_2$ 是可调系数。CVaR 项是基于从融合表示中推导出的预测投资组合均值和标准差，通过正态近似法计算得出的。
- 约束： 在训练期间，违反最大可容忍 CVaR 阈值的策略会受到“奖励裁剪（reward clip）”，从而有效地惩罚过度的尾部风险。
推理： 系统采用滚动窗口模式运行，随着新数据的到达，实时更新风险表示并重新平衡投资组合。

3. 实验设置

数据集： 一个由 30 只美国蓝筹股（道琼斯指数子集）组成的多元化样本库，包含 2015 年 1 月至 2024 年 12 月的每日 OHLCV 数据。
划分： 训练集（2015–2020）、验证集（2021）和样本外测试集（2022–2024）。测试期特别包含了 2022 年的市场回撤及随后的复苏，以评估对机制转换（regime shift）的适应性。
基准模型： 该框架与以下模型进行对比：
1. 马科维茨均值-方差优化 (MVO)。
2. 带有 MVO 叠加层的 LSTM 预测模型。
3. 深层确定性策略梯度 (DDPG)。
4. 双延迟 DDPG (TD3)。
指标： 累计收益率/年化收益率、夏普比率（Sharpe Ratio）、索提诺比率（Sortino Ratio）、最大回撤（MDD）、95% CVaR 以及风险预测误差 (RMSE)。

4. 关键结果

性能表现： CBGA-SAC 在样本外测试期（2022–2024）的表现优于所有基准模型。
- 收益： 实现了最高的累计收益率 (58.3%) 和年化收益率 (16.2%)。
- 风险调整指标： 获得了最佳的夏普比率 (0.87) 和索提诺比率 (1.19)。
- 风险控制： 与基准模型相比（例如 MVO 的 MDD 为 -24.1%），展现出了最低的最大回撤 (-13.6%) 和 95% CVaR (-1.68%)。
风险预测： 提出的风险预测头实现了最低的 RMSE (3.21) 和最高的 $R^2$ (0.754)，优于仅使用 LSTM 和 CNN-LSTM 的基准模型。
消融实验：
- 从奖励函数中移除 CVaR 惩罚项导致尾部风险指标出现最显著的退化（CVaR 从 -1.68% 恶化至 -2.26%），证实了显式尾部风险意识是最关键的设计选择。
- 移除图注意力网络 (GAT)（替换为直接拼接）使夏普比率从 0.87 下降至 0.74，凸显了动态相关性建模的重要性。
- 移除时间注意力机制也会导致性能下降，但程度不及移除 CVaR 严重。

5. 重要性与主张

本文声称 CBGA-SAC 通过以下方式提供了一个更强大且具有部分可解释性的金融风险管理框架：

统一风险与配置： 它消除了风险预测与投资组合配置的解耦，使策略能够对“预测”的风险做出反应，而非仅仅是对滞后的已实现波动率做出反应。
动态相关性： 它用学习到的、随时间变化的图结构取代了静态协方差矩阵，从而适应市场机制的转换。
显式尾部风险控制： 通过将 CVaR 直接集成到 RL 奖励函数中，该框架能够显式地惩罚尾部损失，从而实现卓越的下行保护。
机制适应性： 与传统的及其他 DRL 基准模型相比，该框架在模拟的 2022 年机制转换期间表现出了更快的恢复能力和更浅的回撤。

局限性与未来方向：
作者明确指出，目前的验证是在一个具有理想化订单执行和固定交易成本的受控回测环境中进行的。他们承认，涉及市场冲击、滑点和延迟约束的实盘部署验证仍是一个开放的研究方向。此外，目前的 CVaR 估计依赖于正态近似；未来的工作建议使用非参数化或极值理论（EVT）估计器来处理肥尾分布。论文总结道，虽然该框架解决了四个识别的研究空白中的三个，但第四个（实时实盘交易验证）虽已部分涉及，但仍需要进一步的经验证明。