Janus-Q: End-to-End Event-Driven Trading via Hierarchical-Gated Reward Modeling

本文提出了名为 Janus-Q 的端到端事件驱动交易框架，通过构建大规模金融新闻事件数据集并结合分层门控奖励模型进行决策优化，有效解决了现有方法在事件建模与交易行为对齐方面的不足，显著提升了交易决策的一致性、可解释性及盈利能力。

要点

这篇论文介绍了一个名为 Janus-Q 的 AI 交易系统。为了让你轻松理解，我们可以把它想象成一位**“超级金融侦探”，它不再像传统系统那样只盯着股票价格的涨跌曲线看，而是学会了“读新闻、懂故事、做决策”**。

以下是用通俗语言和生动比喻对这篇论文的解读：

1. 核心痛点：以前的系统为什么“笨”？

想象一下，传统的股票预测系统就像一个只会看心电图的医生。

• 传统做法：它只盯着股票价格（心跳）和成交量（呼吸）的历史数据，试图通过数学公式预测下一秒心跳是快还是慢。
• 问题所在：金融市场经常因为突发新闻（比如公司 CEO 辞职、突发政策、并购消息）而剧烈波动。这些是**“事件”**。传统系统就像医生只盯着心电图，却完全忽略了病人刚刚被车撞了（突发新闻）这个事实。它看不懂新闻里的文字，只能被动地等价格变了再反应，往往慢半拍，或者被噪音误导。

2. Janus-Q 的两大绝招

Janus-Q 就像给这位医生装上了**“超级大脑”和“专业导师”**，分两步走：

第一步：建立“超级案例库” (Stage I: 数据构建)

• 以前：新闻只是辅助参考，没有系统地整理过。
• Janus-Q 的做法：它收集了 62,400 条 真实的财经新闻，并像整理侦探档案一样，给每条新闻打上了详细的标签：
  • 发生了什么？（是“并购”？“违规”？还是“分红”？）
  • 影响了谁？（哪只股票？）
  • 情绪如何？（大家是高兴还是恐慌？）
  • 结果怎样？（事后股价实际涨了多少或跌了多少？）
• 比喻：这就好比一位老侦探整理了一本厚厚的《历史案件簿》，里面记录了 6 万多起案件，详细记录了“案发原因”和“最终判决”，让 AI 可以从中学习规律。

第二步：双重训练法 (Stage II: 模型训练)

有了案例库，怎么训练 AI 呢？Janus-Q 用了两招：

1. ** supervised Fine-tuning (SFT) - “师徒带教”**：
   • 先让 AI 像学生一样，看着案例簿，学习如何从新闻里提取关键信息，并预测大概的股价反应。这让它学会了基本的“读题”能力。
2. Hierarchical Gated Reward Modeling (HGRM) - “智能考官”：
   • 这是论文最核心的创新。传统的强化学习（让 AI 自己试错赚钱）容易让 AI 变得“投机取巧”，比如为了赚快钱而乱操作，或者只看方向不看风险。
   • Janus-Q 设计了一个**“分层智能考官” (HGRM)。这个考官非常严格，它给 AI 打分时不是只看最后赚没赚钱，而是像层层关卡**一样：
     • 第一关（方向门）：如果你判断错了方向（比如该买你卖了），直接零分，后面的奖励全取消。（防止乱猜）
     • 第二关（类型门）：如果你连新闻类型都搞错了（把“利好”当成“利空”），分数要打折扣。（防止理解偏差）
     • 第三关（利润门）：只有方向对、类型对，且真的赚了钱，才给高分。
     • 第四关（细节门）：如果你能准确预测涨多少（幅度），或者推理过程很清晰，还有额外加分。
   • 比喻：这就像教一个新手司机。以前的教练只看“最后有没有撞车”；Janus-Q 的考官会先看“你变道前看后视镜了吗（方向）”、“你认对路牌了吗（事件类型）”，最后才看“有没有准时到达（利润）”。这样教出来的司机，既稳健又聪明。

3. 它有多厉害？ (实验结果)

论文通过大量的“模拟实战”（回测）证明了 Janus-Q 的厉害：

• 跑赢大盘：在同样的市场环境下，它比那些著名的股票指数（如沪深 300）赚得多得多。
• 跑赢其他 AI：它比那些专门做时间序列预测的 AI，以及那些通用的聊天机器人（如 GPT-4 等）都要强。
• 数据说话：
  • 夏普比率（衡量性价比的指标）提升了 102%：意味着它赚钱的能力是第二名的一倍多，而且风险控制得更好。
  • 方向准确率提升了 17.5%：它猜对涨跌的能力远超对手。
  • 回撤更小：在市场大跌时，它亏得比别人少，说明它更抗揍。

4. 总结：Janus-Q 到底做了什么？

简单来说，Janus-Q 做了一件以前没人做好的事：把“读新闻”变成了“做交易”的核心，而不是辅助。

• 以前：AI 看新闻是为了辅助看 K 线图。
• 现在：AI 直接通过理解新闻故事，来决定买还是卖。

它就像一位既懂经济学、又懂心理学、还读过万卷历史书的超级交易员。它不仅能读懂新闻的字面意思，还能通过“分层考官”的严格训练，学会在复杂的金融市场中，如何理性地权衡风险与收益，从而做出更赚钱、更稳定的投资决策。

一句话总结：Janus-Q 让 AI 从“只会看图表的计算器”进化成了“能读懂新闻、理解人性、并稳健赚钱的金融侦探”。

技术摘要

Janus-Q 论文技术总结

论文标题：Janus-Q: End-to-End Event-Driven Trading via Hierarchical-Gated Reward Modeling
核心主题：提出了一种端到端的事件驱动交易框架，将金融新闻事件从辅助信号提升为主要的决策单元，利用分层门控奖励模型（HGRM）解决大语言模型（LLM）推理与真实市场行为之间的对齐问题。

---

1. 研究背景与问题定义 (Problem)

现有的基于学习的交易系统主要面临两个核心挑战，导致其难以有效利用非结构化的金融新闻进行决策：

• 挑战一：缺乏事件 - 市场细粒度数据 (Lack of Event–Market Granularity)
  • 现有数据集通常缺乏将“发生了什么事件”、“影响了哪些资产”、“语义极性如何”与“市场统计反应（如累计异常收益率 CAR）”联合建模的大规模数据。
  • 大多数模型将新闻视为辅助模态，融合在时间序列预测中，导致模型被近期价格动态主导，忽略了事件本身的结构性差异（不同事件类型引发的市场反应在方向、幅度和持续性上高度异质）。
• 挑战二：语义推理与市场现实的错位 (Misalignment Between Semantic Reasoning and Market Reality)
  • 大语言模型（LLM）虽然能生成流畅的金融文本解读，但其语义判断往往缺乏实证市场结果的支撑。
  • 语义上的“利好”并不总是线性对应价格上涨（可能因预期已定价而回调），单纯的监督学习容易捕捉表面相关性，而单纯的强化学习（RL）容易利用短期噪声产生虚假策略。现有的奖励函数设计通常是启发式且线性相加的，无法有效建模多目标间的经济权衡。

---

2. 方法论 (Methodology)

Janus-Q 采用两阶段范式，将事件中心的数据构建与模型优化统一起来：

阶段 I：事件中心的数据构建 (Event-Centric Data Construction)

• 数据集构建：构建了包含 62,400 条专家标注的金融新闻数据集。
  • 标注维度：10 种细粒度事件类型（如权益变更、风险预警等）、关联股票、语义极性、交易强度（强/弱）以及事件驱动的累计异常收益率 (CAR)。
  • CAR 计算：基于经典事件研究法，通过市场模型（MR）和风险模型（RM，如 Barra 多因子模型）剔除市场整体波动和风格因子影响，计算事件窗口内的异常收益，作为事件经济影响的量化标签。
• 数据价值：该数据集首次将细粒度事件语义与统计实证的市场反应直接对齐，为事件级市场影响分析提供了统一基准。

阶段 II：面向决策的微调 (Decision-Oriented Finetuning)

该阶段采用多步优化策略，将新闻事件直接映射为可执行的交易动作：

1. 监督微调 (SFT)：
   • 首先使用 SFT 建立从事件描述到预期 CAR 的推理感知映射，整合文本语义、市场信号和个股特征，稳定模型的结构化事件推理能力。
2. 强化微调 (RL with HGRM)：
   • 引入 分层门控奖励模型 (Hierarchical Gated Reward Model, HGRM)，结合 Group Relative Policy Optimization (GRPO) 进行优化。HGRM 旨在解决语义与市场的错位，其核心设计包括：
     • 硬门控 (Hard Gate - 方向正确性)：如果预测的交易方向（做多/做空）与真实方向相反，直接阻断后续所有奖励，防止模型在错误方向上获利。
     • 软门控 (Soft Gate - 事件类型一致性)：如果预测的事件类型错误，对奖励进行折扣（乘以系数 $\alpha$），鼓励模型在理解事件本质的基础上进行交易。
     • 交易奖励 (Trading Reward)：基于扣除交易成本后的实际盈亏 (PnL)，仅在预测为“强”信号且方向正确时激活。
     • 幅度塑形与过程奖励：增加对 CAR 预测精度的奖励（Magnitude Shaping）以及对推理链完整性的奖励（Process Reward），防止模型生成冗长或无意义的回答。
   • 最终奖励公式：$R = w_{dir}s_{dir} + g_{dir}(w_{evt}s_{evt} + w_{pnl}r_{pnl} + w_{mag}r_{mag} + w_{proc}r_{proc})$，其中 $g_{dir}$ 为硬门控开关。

---

3. 主要贡献 (Key Contributions)

1. 大规模事件中心数据集：构建了包含 62,400 条新闻、10 种事件类型及 CAR 标注的统一基准，填补了事件级市场影响分析数据的空白。
2. Janus-Q 框架：提出了首个端到端的事件驱动交易框架，直接映射金融新闻事件到交易决策，通过 HGRM 统一了事件解释与市场反应学习。
3. 分层门控奖励机制：设计了 HGRM，显式地处理了多个交易目标（方向、事件类型、幅度、成本）之间的权衡，通过门控机制确保策略符合金融逻辑，而非单纯利用噪声。
4. 实证性能突破：在回测中显著优于市场指数、时间序列模型及各类 LLM 基线，证明了事件驱动策略的有效性。

---

4. 实验结果 (Results)

实验在 2023 年 1 月至 2025 年 2 月的中国 A 股市场数据上进行，对比了市场指数、时间序列 LLM、金融领域 LLM 及通用 LLM。

• 交易性能 (Trading Performance)：
  • 夏普比率 (Sharpe Ratio)：Janus-Q 达到 1.3088，比第二名（QwQ-32B）高出 102.0%，且显著优于所有负夏普比率的基线模型（包括大多数金融 LLM 和时间序列模型）。
  • 方向准确率 (Direction Accuracy)：达到 58.69%，比最强竞争策略高出 17.5%。
  • 事件类型准确率 (Event Type Accuracy)：达到 80.09%，比第二名高出 18.2%。
  • 最大回撤 (MDD)：保持在 0.1196，与基线相当，说明在提升收益的同时并未牺牲稳定性。
• 消融实验 (Ablation Study)：
  • 移除 SFT 阶段导致夏普比率急剧下降至负值（-5.28），证明监督学习是建立可靠决策基础的关键。
  • 移除 HGRM 中的方向门控或事件类型一致性约束，均导致性能显著下降，验证了分层奖励机制的必要性。
• 人类对齐 (Human Alignment)：
  • 在事件解释任务中，Janus-Q 与人类专家（包括证券分析师和 CFA 持证人）的判断高度一致，在事件类型识别上的平局率高达 74%-83%，且错误率极低。

---

5. 意义与启示 (Significance)

• 范式转变：Janus-Q 证明了将金融新闻事件从“辅助特征”提升为“主要决策单元”的可行性，解决了传统时间序列模型难以捕捉离散事件冲击的痛点。
• 可解释性与逻辑性：通过 HGRM 和推理链（Chain-of-Thought）设计，模型不仅做出了交易决策，还能提供符合金融逻辑的解释，减少了黑盒模型的不可信风险。
• 对齐机制创新：提出的分层门控奖励模型为将大语言模型的语义推理能力与量化交易的严格约束（如风险控制、成本、方向一致性）相结合提供了新的方法论，避免了 RL 训练中的策略崩溃或虚假优化。
• 实际应用价值：该框架展示了在动态市场条件下，利用非结构化文本数据构建稳健、可解释且盈利的交易系统的潜力，为未来的智能投研和量化交易提供了新的技术路径。