🤖 machine learning

CLaC@FinMMEval 2026 Task 3: Sentiment-Augmented Deep Reinforcement Learning for Active Trading -- An Alpha-Reward Approach

本文针对 CLaC@FinMMEval 2026 Task 3 提出了一种情感增强的深度强化学习系统，证明了利用 LLaMA 3.2 新闻情感和基于 alpha 的奖励构建的 DDPG 智能体在 TSLA 和 BTC 上显著优于买入并持有策略，同时也强调了将策略从牛市向熊市机制进行泛化的挑战。

原作者： Andrei Neagu, Eeham Khan, Leila Kosseim

发布于 2026-07-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Andrei Neagu, Eeham Khan, Leila Kosseim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人玩一款非常棘手的电子游戏：股市。这个游戏的目标不仅仅是获得积分；而是要击败一个永不停歇、策略永不改变、且始终持有其角色的玩家（这种策略被称为“买入并持有”）。这个游戏充满了混乱，有嘈杂的声音效果、突如其来的剧情转折，以及可能改变规则的不断涌现的新闻头条。为了获胜，你需要一个聪明的智能体，它能够观察屏幕、阅读新闻、感受游戏的节奏，并决定是向前移动、原地不动，还是向后退缩。这就是深度强化学习 (Deep Reinforcement Learning, DRL) 的世界。把 DRL 想象成一种方法，AI 通过试错来学习：当它做出正确的举动时，会得到一个“击掌”（奖励）；当它搞砸时，则会得到一个“皱眉”（惩罚）。你即将阅读的这篇论文探讨了如何为两个截然不同的角色构建终极交易机器人：一家名为特斯拉 (Tesla/TSLA) 的科技公司和一种名为比特币 (Bitcoin/BTC) 的数字货币。

康科迪亚大学的研究人员致力于构建一个不仅仅是在靠运气猜测，而是能够学习的交易系统。他们将股票市场视为一个复杂的视频游戏关卡，玩家（AI）必须做出每日决策：做多 (Long)（押注价格上涨）、空仓 (Flat)（在场边观望）或做空 (Short)（押석价格下跌）。为了帮助 AI 做出这些选择，他们向其输入了三种类型的信息：技术指标（类似于根据过去的价格绘制的速度计和趋势线）、日历周期（了解今天是周一还是月底，因为市场在这些日子里的表现有时会有所不同），以及情绪得分（一个用于衡量新闻“情绪”的“心情环”，由一个超级聪明的 AI 通过阅读文章来计算人们对该资产是感到高兴还是恐惧）。

团队训练了四种不同类型的 AI “大脑”来玩这个游戏：策略梯度 (Policy Gradient, PG)、近端策略优化 (Proximal Policy Optimization, PPO)、深度 Q 学习 (Deep Q-Learning, DQL) 和深度确定性策略梯度 (Deep Deterministic Policy Gradient, DDPG)。但巧妙之处在于：他们不仅仅是奖励 AI 赚取金钱，还给了它一种特殊的“Alpha 奖励”。想象一下，如果你正在和朋友比赛跑步；不仅是跑得快就会得到奖励，只有当你跑得比你的朋友更快时，你才会得分。这迫使 AI 专注于击败“买入并持有”的基准线，而不是仅仅因为整个市场正在上涨而碰巧获利。他们还让训练环节从随机时间开始，这样 AI 就不会仅仅记住某一段特定游戏的剧本，而是学会处理任何情况。

当他们在 2025 年的真实数据上测试这些机器人时，结果既有胜利的喜悦，也有关于未来的严酷教训。对于特斯拉，DDPG 机器人表现最为出色，获得了高达 54.96% 的回报，而 DQL 机器人以 52.62% 的成绩紧随其后。两者都碾压了“买入并持有”策略（后者仅获利 16.45%）。DDPG 机器人尤其擅长规避风险，其回撤（损失）远低于其他机器人。

然而，比特币测试是一个难度更高的关卡。市场变成了熊市，价格暴跌，而“买入并持有”策略损失了巨大的 34.27%。在这场风暴中，DDPG 机器人是唯一一个设法维持住局面、最终实现微弱正收益（1.58%）的机器人。其他机器人，包括在训练期间看起来表现惊人的 DQL，在面对市场从上升趋势转向下降趋势的突然转变时，都难以适应。

论文表明，虽然这些 AI 智能体可以学会有效地交易，但它们仍然对市场的“天气”非常敏感。DDPG 算法被证明是最稳健的，它比其他算法能更好地应对特斯拉的晴天和比特币的暴风雨。然而，研究人员发现了一个棘手的差距：在训练期间看起来最好的机器人（DQL）在实际测试中并不总是赢家，尤其是在市场环境从牛市转变为熊市时。这告诉我们，虽然 AI 可以学习如何在金融海洋中航行，但它仍需小心，不要过于习惯于平静的水域，因为下一波浪潮可能就是海啸。最终，这项研究表明，将新闻情绪与智能学习算法相结合可以帮助击败市场，但“最好的”机器人很大程度上取决于它所面临的是什么样的市场。

技术摘要：CLaC @ FinMMEval 2026 Task 3

问题定义

本文针对 CLEF 2026 FinMMEval Lab 的 Task 3 进行了研究，该挑战要求开发一种能够为两种不同资产——比特币 (BTC) 和 特斯拉 (TSLA) ——做出每日决策（做多、持平或做空）的自动化交易智能体。智能体必须综合多模态数据，包括历史市场价格、技术指标和每日新闻文章，以最大化累计回报率 (CR)、夏普比率 (SR) 和最大回撤 (MDD) 等性能指标。其核心难点在于应对复杂的非线性市场动态，并适应市场机制转换（例如从牛市向熊市的转变），同时避免对历史训练数据的过拟合。

方法论

1. 马尔可夫决策过程 (MDP) 公式化

交易问题被构建为一个离散动作 MDP $(\mathcal{S}, \mathcal{A}, \mathcal{R}, \mathcal{P}, \gamma)$ ：

状态空间 ( $\mathcal{S}$ ): 一个 15 维向量，包含：
- 价格动态： 对数收益率。
- 智能体状态： 前一位置 ( $p_{t-1} \in \{-1, 0, 1\}$ )，以考虑交易成本。
- 日历编码： 周、月、年内循环的正弦/余弦表示，以捕捉季节性特征。
- 技术指标： 标准化的 EMA (10, 50)、RSI (14)、MACD、布林带以及对数成交量变化。
- 情绪： 从新闻文章中提取的每日情绪得分。
动作空间 ( $\mathcal{A}$ ): 离散集合 $\{-1 \text{ (做空)}, 0 \text{ (持平)}, 1 \text{ (做多)}\}$ 。
奖励函数 ( $\mathcal{R}$ ): 使用 Alpha 奖励 公式（见贡献部分），而非原始投资组合回报。
转移动态： 假设为外生的（价格接受者假设），即智能体的行为不会影响市场价格。

2. 数据处理与特征工程

数据源： 来自 Yahoo Finance 的历史价格/成交量数据（TSLA 为 2010–2022 年；BTC 为 2014–2022 年）以及来自 Financial News Multi-Source 的新闻文章。
情绪分析： 使用 LLaMA 3.2 1B Instruct 在零样本设置下对每日新闻情绪进行评分。文章被截断至前 300 个单词（标题和导语）以聚焦核心信号。模型执行单次前向传播，提取“正面”、“负面”和“中性”标记的逻辑值（logits）。情绪得分计算为 $P(\text{positive}) - P(\text{negative})$ ，范围限定在 $[-1, 1]$ 。
时间对齐： 为防止前瞻偏差（look-ahead bias），TSLA 的文章在市场收盘后发布的会被平移至下一个交易日，而 BTC（24/7 交易）则锚定到 UTC 日历日期。
数据集划分： 使用时间序列划分：训练集（2023 年前）、验证集（2023–2024 年，一个牛市时期）和测试集（2025–2026 年，包含 BTC 的熊市阶段）。

3. 深度强化学习 (DRL) 算法

实现了四种算法并进行了对比：

策略梯度 (PG)： 基于 LSTM 的 Actor，采用蒙特卡洛回报和熵奖励。
近端策略优化 (PPO)： 基于 LSTM 的 Actor-Critic，具有剪切代理目标函数和 GAE。
深度 Q 学习 (DQL)： 前馈神经网络，采用 Double DQN 更新和经验回放。
深度确定性策略梯度 (DDPG)： Actor-Critic 架构，通过阈值 ( $\pm 0.33$ ) 将连续动作空间离散化，并使用 Ornstein-Uhlenbeck 噪声进行探索。

4. 训练策略

Alpha 奖励： 奖励定义为相对于市场的超额收益： $r_t = \log(V_t/V_{t-1}) - \log(c_t/c_{t-1})$ 。这激励智能体追求超越买入并持有基准的收益，而非绝对利润。
随机回合开始： 训练回合从随机日期开始，以防止固定序列的记忆并提高泛化能力。
超参数优化： 通过 Ray Tune 进行，每个算法-资产对进行 180 次试验。
模型选择： 根据 验证集夏普比率 选择模型，并应用了早停机制。

核心贡献

多模态状态表示： 本文证明了结合技术指标、循环日历编码和基于 LLM 的情绪得分，可以为 DRL 智能体构建有效的状态信号。
Alpha 奖励公式化： 作者引入并分析了一种 Alpha 奖励，用于训练智能体实现相对于市场的超额收益。他们确立了三个理论特性：
- 在整个回合求和时，它等于策略的对数 Alpha。
- 在价格接受者假设下，它与原始对数收益奖励具有相同的最优策略。
- 它作为一个减小方差的控制变量，能显著降低高波动环境下的梯度估计方差。
全面的算法比较： 通过对 PG、PPO、DQL 和 DDPG 进行严格评估及超参数优化，研究表明 DDPG 在两种资产上均表现出最稳健的性能，同时也凸显了基于验证集的模型选择对市场机制转换的敏感性。

结果

TSLA 表现（测试期）

基准（买入并持有）： 16.45% CR，SR 0.61。
DDPG： 实现 54.96% CR 和 SR 1.44，且最大回撤 (MDD) 最低，为 19.20%。
DQL： 实现 52.62% CR 和 SR 1.38，但 MDD 较高（35.76%）。
PG 和 PPO： 表现不及基准或显著落后于顶级模型。

BTC 表现（测试期）

基准（买入并持有）： -34.27% CR，SR -0.87（严重的熊市）。
DDPG： 是唯一实现 正收益 (1.58%) 的模型，SR 为 0.23，MDD 为 35.30%。它通过在下跌期间转向持平/做空仓位，成功缓解了市场损失。
PG： 将损失减少至 -14.53%，但仍为负值。
DQL 和 PPO： 表现显著不佳，DQL 为 -23.22%，PPO 为 -33.80%。

泛化差距

观察到了显著的 验证集到测试集的泛化差距，尤其是在 BTC 上。验证期（2023–2024 年）是一个持续的牛市，导致像 DQL（拥有最高验证集 SR）这样的模型过度拟合了上升动量。因此，DQL 未能泛化到熊市测试条件，而 DDPG 的连续动作空间和 Actor-Critic 架构提供了更好的机制转换适应性。

重要性与主张

本文声称，将 基于 LLM 的情绪分析 与 深度强化学习 相结合是算法交易的一种可行方法，前提是：

奖励塑造： 使用 Alpha 奖励使训练目标与超越市场的竞争目标保持一致，从而减少对绝对价格波动的过拟合。
算法选择： DDPG 在处理机制转换方面比循环式在策略方法（PG, PPO）和纯离策价值方法（DQL）表现出更强的鲁棒性，特别是在剧烈波动的熊市环境中。
验证的局限性： 本研究强调了金融机器学习中的一个关键局限：基于单一验证窗口（尤其是与牛市重合的窗口）进行模型选择，会导致在随后的熊市中泛化能力极差。作者指出，尽管根据验证指标选择了 DQL 参加实战竞赛，但 DDPG 在实际测试期中表现更优，这凸显了将针对牛市训练的策略应用于熊市条件的难度。

作者总结道，虽然其系统实现了相对于买入并持有基准的显著超越（特别是在 TSLA 上，以及在 BTC 上保护资本方面），但观察到的泛化差距表明，未来需要引入走前交叉验证（walk-forward cross-validation）和分层强化学习（hierarchical RL）来更好地捕捉依赖于市场机制的策略。