FactorEngine: A Program-level Knowledge-Infused Factor Mining Framework for Quantitative Investment

FactorEngine 是一个将因子定义为图灵完备代码的量化投资框架，它通过逻辑与参数分离、LLM 引导搜索及知识注入的闭环提取机制，在保持可执行性与可审计性的同时，显著提升了因子挖掘的预测稳定性与投资组合表现。

要点

这篇文章介绍了一个名为 FactorEngine (FE) 的创新系统，它的目标是帮量化投资者自动发现能赚钱的“秘密武器”（在金融里叫 Alpha 因子）。

为了让你更容易理解，我们可以把量化投资想象成在茫茫大海中捕鱼，而FactorEngine 就是一位超级智能的捕鱼教练兼造船厂。

以下是用大白话和比喻对这篇论文核心内容的解读：

1. 核心痛点：以前的方法有什么毛病？

在 FactorEngine 出现之前，大家找“捕鱼技巧”主要有两种笨办法：

• 老派手工匠人（符号化方法）： 靠人类专家手动写公式。
  • 比喻： 就像老渔民凭经验画图纸造船。虽然船很稳、看得懂，但画得太慢，而且一旦海况变了（市场风格切换），老图纸就不管用了。
• 黑盒 AI 模型（神经网络方法）： 用深度学习让电脑自己找规律。
  • 比喻： 就像给电脑喂了一吨鱼，让它自己猜怎么抓。虽然抓得多，但没人知道它是怎么抓的（不可解释），而且一旦鱼群变了，电脑就彻底懵圈（容易过拟合）。

现在的挑战是： 既想要电脑自动找，又想要它找出来的东西能解释清楚，还要跑得快、不犯错。

2. FactorEngine 的三大绝招

FactorEngine 提出了一套全新的“捕鱼进化论”，它把找技巧的过程变成了写代码（程序），并用了三个“分离”策略来优化：

绝招一：把“想法”和“参数”分开（逻辑 vs. 参数）

• 以前的做法： 让 AI 一边想“怎么造船”，一边纠结“螺丝拧多紧”，结果两头都顾不好，效率低。
• FE 的做法：
  • 大脑（LLM 大模型）： 只负责想创意（比如：船头要尖一点，还是加个帆？）。它负责宏观的“逻辑进化”。
  • 双手（贝叶斯搜索）： 负责微调参数（比如：螺丝具体拧 3.5 圈还是 3.6 圈？）。它负责微观的“参数优化”。
  • 比喻： 就像建筑师只负责画设计图，工程师只负责算具体的承重数据。两人分工明确，效率翻倍。

绝招二：把“灵感”和“计算”分开（LLM vs. 本地计算）

• 以前的做法： 让昂贵的 AI 大模型去干粗活（比如跑几千次回测），既贵又慢。
• FE 的做法：
  • LLM 只负责“出点子”和“改错”（比如：发现代码写错了，它来修）。
  • 本地电脑负责“疯狂试错”（比如：用本地算力并行跑几千次模拟测试，看哪个参数组合赚钱）。
  • 比喻： 就像米其林大厨只负责尝味道和给建议，后厨帮工负责切菜炒菜。大厨不用亲自切菜，帮工也不用动脑筋，资源利用最大化。

绝招三：把“经验”变成“知识”（知识注入）

• 以前的做法： 让 AI 从零开始瞎猜，或者只看历史数据。
• FE 的做法： 它有一个**“阅读报告”的模块**。它能自动阅读成千上万份金融研报（非结构化文本），提取里面的核心观点，直接转化成可执行的代码。
  • 比喻： 别的捕鱼教练是让你自己摸索，FE 是直接把你读过的所有航海日记提炼成“避坑指南”和“宝藏地图”，直接塞给你，让你站在巨人的肩膀上起步。

3. 它是如何工作的？（进化三部曲）

1. 起步（Bootstrap）：
   • 系统自动阅读金融研报，把里面的文字描述（比如“当成交量和价格出现某种夹角时”）自动翻译成 Python 代码。这就像把“老渔民的口头禅”变成了“标准化的造船图纸”。
2. 进化（Evolution）：
   • 宏观进化： AI 像人类一样“反思”。它会看之前的失败案例（“上次那个船帆太大翻了”），结合新的想法，提出新的代码结构。
   • 微观进化： 自动调整代码里的数字（比如把“观察 5 天”改成“观察 7 天”），直到找到最优解。
   • 多岛进化： 为了防止大家“撞车”（都往同一个方向进化），系统把 AI 分成几个“孤岛”，让它们各自进化，偶尔互相交换最好的成果。这就像生物进化中的“基因交流”，保证多样性。
3. 整合（Integration）：
   • 从进化出来的成千上万个“捕鱼技巧”中，挑出最赚钱、最稳定的几个，组合成一支“捕鱼舰队”，进行实盘模拟测试。

4. 效果怎么样？

论文通过大量的实盘数据回测（2008 年到 2024 年）证明：

• 赚得更多： 相比传统的 Alpha158 因子库，FE 挖掘出的因子让年化收益提高了 126%。
• 更稳： 在市场大跌时，它的回撤（亏损幅度）更小，夏普比率（性价比）更高。
• 更聪明： 它找到的因子不仅赚钱，而且多样性很高（不像其他方法那样大家长得都一样），这意味着它能适应各种复杂的市场环境。
• 更省钱： 它的运行效率极高，比同类 AI 方法快得多，且代码出错率极低。

总结

FactorEngine 就像是一个不知疲倦、博览群书、且懂得分工合作的超级量化团队。
它不再依赖人类专家手搓公式，也不再依赖黑盒 AI 瞎蒙。它通过**“大模型出创意 + 自动化算参数 + 研报知识注入”**的三位一体模式，自动进化出能真正在股市里赚钱的“代码策略”。

这就好比：以前是手工作坊造马车，现在是用全自动流水线造出了能自动驾驶的超级跑车，而且这辆车还能自己读地图、学经验，越开越稳。

技术摘要

1. 研究背景与问题定义 (Problem)

核心问题：
量化投资中的 Alpha 因子挖掘（Alpha Factor Mining）旨在从嘈杂、非平稳的市场数据中发现可预测的信号。现有的方法面临以下三大挑战：

1. 表达能力受限 (Bounded Expressiveness)： 传统的符号化因子方法（基于预定义算子）受限于有限的搜索空间，导致生成的因子脆弱且难以适应复杂的市场动态。
2. 因子多样性与稳定性不足 (Limited Diversity & Stability)： 现有方法难以有效整合金融理论，特别是无法将非结构化的金融研报中的高阶特征转化为可执行的因子代码。
3. 演化效率低下 (Inefficient Evolution Pipelines)： 大语言模型（LLM）生成代码的速度与回测验证的速度存在严重不匹配，导致计算成本高、整体效率低。此外，LLM 同时处理逻辑演化和参数优化，限制了扩展性。

目标：
构建一个能够生成可直接执行、可审计的因子程序，同时保证在大规模数据下的计算可行性，并具备强大的预测稳定性和投资组合影响力。

---

2. 方法论 (Methodology)

作者提出了 FactorEngine (FE)，这是一个**程序级（Program-level）的因子挖掘框架。其核心思想是将因子视为图灵完备（Turing-complete）**的代码，通过“逻辑演化”与“参数优化”的解耦，实现高效的宏观 - 微观协同演化。

2.1 核心架构：三大分离策略

FE 通过以下三个维度的分离来提升效率：

1. 逻辑与参数分离： 将程序逻辑/想法的演化（由 LLM 负责）与参数优化（由贝叶斯搜索负责）解耦。
2. 搜索策略分离： LLM 负责基于经验的定向搜索（宏观变异），贝叶斯优化负责微观层面的超参数调优。
3. 资源分离： LLM 仅用于代码生成和逻辑推理，本地计算资源专门用于高并发的回测验证，避免 LLM 资源浪费。

2.2 三大功能模块

A. 知识注入的自举模块 (Bootstrapping Module)

• 功能： 将非结构化的金融研报转化为可执行的因子程序。
• 流程： 采用闭环多智能体系统（Multi-agent Pipeline）：
  1. PDF 处理： LLM 筛选合规报告并提取核心知识。
  2. 因子提取： 将研报中的核心思想转化为结构化 JSON 和 LaTeX 伪代码，经过反思与验证。
  3. 代码生成： 将验证后的伪代码转化为可执行的 Python 代码（使用 Polars 库），并自动修复语法错误。
• 作用： 为演化模块提供高质量的、基于领域知识的初始种子因子池。

B. 演化模块 (Evolution Module)
这是系统的核心，采用宏观 - 微观协同演化 (Macro-Micro Co-evolution) 机制：

• 宏观演化 (Macro Evolution)：
  • 程序选择： 基于树结构搜索空间，使用 UCT (Upper Confidence Bound for Trees) 算法选择最有潜力的节点。
  • 想法生成 (Idea Generation)： 引入经验链 (Chain of Experience, CoE)。LLM 不仅参考当前节点，还参考历史演化轨迹（包括失败案例），进行反思和逻辑修正，生成宏观变异（如控制流、条件逻辑的改变）。
  • 多岛演化 (Multi-Island)： 初始化多个独立的演化岛，定期迁移优秀因子，保持多样性并加速收敛。
• 微观演化 (Micro Evolution)：
  • 贝叶斯搜索： 对选定程序的参数（如窗口大小、衰减因子）进行自动化贝叶斯优化（支持 TPE、高斯过程等）。
  • 两阶段验证：
    1. 阶段一： 串行代码验证与 LLM 自动修正，确保代码可执行。
    2. 阶段二： 并行贝叶斯优化，利用本地多进程进行高吞吐回测，无需 LLM 参与。

C. 集成模块 (Integration Module)

• 功能： 从演化池中筛选精英因子并构建多因子模型。
• 策略： 使用基于权重的适应度分数（Fitness Score, FS），综合考虑 IC、ICIR、Rank IC 等指标，筛选出高绩效因子进行回测和组合。

---

3. 关键贡献 (Key Contributions)

1. 程序级超启发式框架 (Program-Level Hyper-Heuristic Framework)：
   • 首次将因子挖掘转化为图灵完备的程序演化问题，突破了传统符号算子的表达限制，支持复杂的控制流和迭代计算。
2. 宏观 - 微观协同演化 (Macro-Micro Co-evolution)：
   • 通过解耦逻辑演化（LLM）和参数优化（贝叶斯搜索），有效解决了局部最优问题，显著降低了演化成本并提高了搜索效率。
3. 知识注入的因子多样性 (Knowledge-Infused Factor Diversity)：
   • 设计了闭环多智能体模块，能够精准地将非结构化研报转化为程序化因子，利用先验知识（Prior Knowledge）丰富了因子的经济逻辑和多样性。
4. 卓越的性能表现：
   • 在真实市场数据回测中，FE 在预测指标（IC, ICIR）和投资组合指标（AR, Sharpe）上均超越了现有最先进方法（SOTA）。

---

4. 实验结果 (Results)

实验在 CSI300 和 CSI500 市场数据上进行，对比了传统机器学习（LGBM, LSTM）、符号化方法（GPlearn）、以及基于 Agent 的方法（AlphaAgent, RD-Agent）。

• 预测性能：
  • FE-report（基于研报初始化）在 CSI300 市场取得了 0.0474 的 IC 和 18.99% 的超额年化收益（AR），显著优于 Alpha158（IC 0.0299, AR 8.40%）和其他 Agent 方法。
  • 相比 Alpha158，FE 的 IC 提升了 58%，超额年化收益提升了 126%。
• 因子多样性：
  • 通过多维缩放（MDS）分析，FE 生成的因子在特征空间中呈现“圆形分散”分布，冗余度低。
  • 保留率 (Keep Ratio)： FE-alpha 的因子保留率高达 57.1%，远高于 AlphaAgent (21.9%) 和 RD-Agent (3.9%)。
• 稳定性与抗衰减：
  • 在 2017-2024 年的长周期回测中，FE 生成的因子表现出更稳定的 IC 曲线，且在 2021 年后未出现明显衰减，甚至有所提升。
• 计算效率：
  • 运行时间： FE 仅需 0.5 小时（200 迭代），而 RD-Agent 需 48 小时，AlphaAgent 需 9.7 小时。
  • 可执行率： FE 的可执行代码比例高达 99%，且调试 API 调用率最低（32%），得益于其代码空间演化策略和 Polars 加速。

---

5. 意义与展望 (Significance)

• 理论意义： FactorEngine 提出了一种新的量化因子挖掘范式，证明了将因子视为“可执行代码”并利用 LLM 进行逻辑推理、结合贝叶斯优化进行参数调优的可行性。它成功解决了 LLM 在量化领域应用中“逻辑”与“数值”难以兼顾的痛点。
• 实践价值：
  • 提供了一个自动化、可审计、可解释的因子挖掘工具，能够直接从研报中挖掘逻辑并转化为实盘代码。
  • 极大地降低了量化研究的门槛和成本，同时提升了因子的稳定性和多样性。
• 通用性： 该框架本质上是一个针对离散、结构化搜索空间的无梯度优化框架，其“经验引导探索 + 贝叶斯微搜索”的机制可推广至其他昂贵的黑盒优化问题。

总结： FactorEngine 通过创新的架构设计，成功融合了领域知识（研报）、大模型推理能力和高效数值优化技术，在量化因子挖掘的有效性、效率和多样性三个维度上均取得了突破性的进展。