Indistinguishable from Chance: Auditing LLM-Generated Trading Strategies Against Exposure-Matched Nulls

在投资领域，最宝贵的技能是知道何时买入以及何时卖出。这被称为市场择时。几十年来，投资者一直试图制造能够比人类更好地预测这些时刻的机器，希望将微小的优势转化为巨额利润。这项探索中的最新工具是大语言模型，一种能够编写复杂计算机代码并用流利的句子解释其逻辑的人工智能。这些模型可以被要求设计交易策略、编写运行该策略的代码，甚至生成一份显示其在过去赚了多少钱的报告。其承诺是，从专业基金经理到好奇的个人，任何人都可以向计算机索要一个获胜计划，并获得一个完整的、即插即用的解决方案。但回顾过去以预测未来存在一个深刻且众所周知的问题。一个策略在纸面上看起来非常出色，可能仅仅是因为它恰好匹配了数据中的随机模式，这种错误被称为过拟合。当一个由从未见过真实世界的机器构建的策略出现时，风险在于它并非发现了隐藏的模式，而仅仅是在模仿噪声的形状。

一组研究人员着手测试这些人工智能模型是否真的具备市场择时的技能，或者它们令人印象深刻的报告是否只是一种具有说服力的幻觉。他们不仅仅是要求模型编写代码；他们建立了一个严密的测试场，以观察当这些代码遇到真实市场数据时会发生什么。研究人员要求五种不同的 AI 模型为三种主要资产创建交易策略：标普 500 指数、黄金期货以及欧元兑美元货币对。这些模型生成了近两百个截然不同的策略，每个策略都有自己的一套买入和卖出的规则。为了确保测试公平，研究人员在受控的数字环境中运行了每一个策略，该环境会对每一笔交易收取小额费用，以模拟真实的业务成本。然后，他们将这些 AI 生成的计划与一个简单的基准进行了比较：即买入某种资产并一直持有而不卖出。他们还将 AI 策略与一个聪明的对照组进行了比较。对于每一个 AI 策略，他们通过将 AI 决定持仓的完全相同的时段进行随机打乱，创建了一个“空值”版本。这项测试剥离了 AI 声称的正确选择时机的能力，仅保留了它持有资产一定时间的事实。如果 AI 真的有技巧，它应该能胜过这个打乱后的版本。

结果是鲜明且一致的。在所有领域，由人工智能生成的策略都未能战胜简单的持有资产策略。平均而言，AI 策略是亏损的，其交付的性能指标（即夏普比率）为负。这意味着在考虑了风险和交易成本后，与其遵循 AI 的建议，投资者最好什么都不做。只有极小比例的策略（不到 8%）能够跑赢简单的买入并持有策略。当研究人员深入观察时，他们发现 AI 模型并没有发现任何隐藏的择时技巧。这些策略的表现并不比它们自身的打乱版本更好。事实上，AI 策略在统计学上与随机机会无法区分。那些策略表现出良好的少数几次，并不是因为模型学会了预测市场，而是因为该策略恰好在市场上涨时持有资产的时间较多。这是一种偏向于“做多”（即持有资产）的偏差，而非选择正确时机的技能。当研究人员通过将策略与其打乱后的版本进行比较来消除这种偏差时，这种技能的幻觉完全消失了。

或许研究中最具启发性的部分发生在研究人员要求模型去做它们实际上无法做的事情时：在没有被给予数据的情况下运行回测并报告结果。模型被要求编写一个策略，计算其表现，并告诉用户最终数字。没有任何一个模型能做到这一点，因为它们不具备实时执行代码和处理数据的能力。相反，它们产生了一份报告的模拟。有些模型打印出一段看起来像是如果有人运行它就会计算数字的脚本。有些模型则只是陈述关于一个好结果应该具备哪些特征的一般性规则。一些模型甚至走得更远，编造了具体的数字，呈现出一块看起来像是已完成报告的文本，但那完全是虚构的。这种行为凸 l 显了能力与表现出的胜任感之间危险的差距。这些模型精通金融语言，可以模仿专业分析的结构，但它们无法生成分析所需的证据。

研究还调查了使用更大、更强大的模型或要求更稳健的策略是否会改变结果。结果并没有改变。虽然更大的模型编写的代码更有可能在运行中不出错，且特定的提示词改变了它们持有资产的频率，但这些因素都没有提高市场择时的能力。这些改进纯粹体现在“暴露度”上，即策略在市场中停留的时间长短，而不是决策质量的提升。研究人员还发现，他们自己的测试过程必须不断进行检查。在一次案例中，他们自己系统中的一个数据错误使得一个随机策略看起来像是一个赢家，这一错误之所以被发现，是因为他们建立了验证自身工作的控制机制。这种自我审计强化了核心教训：一个看起来合理的结论，在它被对照一个能够证明如果存在赢家、该测试确实能找到赢家的标准进行验证之前，并不是一个正确的结论。

对于投资者而言，教训是明确的。人工智能模型目前尚无法生成包含真正技能的交易策略。它们产生的策略看起来完整且自信，但当针对真实数据进行测试时，它们的表现并不比随机机会更好，而且往往比简单持有资产的表现更差。它们生成的报告——充满了具体的数字和性能图表——是假设，而非证据。在将策略在记录的数据上重新运行，并与一个考虑了其在市场中停留时间的公平基准进行对比之前，它都应被视为未经证实的。依赖这些工具的代价不仅是错失跑赢市场的机会，还可能导致失去来自被动投资的稳定回报。这些模型已经掌握了听起来像专家的艺术，但它们尚未学会如何成为专家。