技术摘要：OpenPM —— 用于 LLM 投资组合管理智能体的可审计时点评估框架

1. 问题陈述

本文针对当前大语言模型（LLM）交易智能体评估中的三个关键失效问题进行了探讨，这些问题往往导致结果虚高或无法实际部署：

1. 信息泄露： 智能体经常访问在决策时刻尚不可用的数据（例如，使用基于事件时间戳而非可用性时间戳的记录），从而创造了虚假的技能。
2. 乐观执行： 报告的收益率通常忽略了交易成本（价差、滑点、换手率），呈现的是上限而非现实的、可部署的估计值。
3. 指令未强制执行： 自然语言风险约束（例如，“保守”、“最多持有 20 只标的”）通常被视为事后评分的软偏好，而非在执行投资组合时强制执行的硬约束。

现有的基准测试往往无法同时控制这些问题，特别是在缺乏时点（point-in-time, PIT）数据门控和严格指令强制执行方面。

2. 方法论：OpenPM 框架

OpenPM 是一个可审计的时点评估框架，旨在将可靠的评估视为一种工程制品。

核心设计原则

• 时点数据环境： 系统强制执行严格的“可用性门控”。只有当记录的 ts_available $\le T$ 时，该记录才会进入智能体在决策时间 $T$ 的状态。这区分了事件时间与可用时间（例如，季度报表仅在 EDGAR 接受后才可用）。该环境覆盖了标普 500 指数成分股，并提供 5 分钟间隔的市场状态观测。
• 指令强制执行： 自然语言风险指令被解析为类型化约束（例如，单个标的最大权重、最大标的数量数量）。至关重要的是，这些约束由一个**确定性的循环内评论家（in-loop critic）**执行，该评论家在执行前将智能体提议的权重投影到可行集上，而不仅仅是进行事后评分。
• 成本感知执行： 收益计算使用侧向半价差（买入按卖价，卖出按买价），且不进行市场冲击建模，从而提供一个保守但现实的成本基准。

分层分配器（参考智能体）

论文引入了一种参考智能体架构，以隔离交易流水线中的特定组件：

1. 指令编译： 将自然语言转换为类型化约束。
2. 流动性门控： 过滤可选宇宙中的可交易标的（例如，按流动性排名前 50 的标的）。
3. 分析师层： 六个并行的 LLM 分析师通过不同的类型化渠道（技术面、趋势、事件、新闻、8-K 项目、10-K/10-Q 叙述）独立对候选标的进行评分。
4. 构建器（Constructor）： 一个独立的 LLM 根据聚合的分析师评分和价差提出投资组合权重，但其无法获取原始价格或综合得分。
5. 确定性评论家： 将构建器的提议投影到可行集上（强制执行做多限制、名称上限、流动性限制）。
6. 成交模拟器： 在报价侧执行交易。

实验设置

• 数据集： 一个在 2026 年 2 月 19 日至 2026 年 5 月 1 日期间活跃的标普 500 指数（508 只标的）的冻结、内容哈希快照。评估窗口为 2026 年 3 月 2 日至 2026 年 5 月 1 日（44 个交易日）。
• 隔离策略： 为了隔离“构建器”能力，作者先运行一次分析师层以创建“冻结捕获”的证据。随后，该相同的证据被重新应用于不同的构建器模型（gpt-5, Opus-4.7, DeepSeek-V3.2, Qwen3-Max, gpt-4o-mini），以确定构建器是否在信号质量独立的情况下增加了价值。
• 模式： 实验在“一次性持有”（单次再平衡）和每日再平衡模式下运行。

3. 关键结果

论文报告的是结构性发现，而非绝对的 Alpha 收益主张，强调结果仅是单一冻结窗口的上限。

构建器能力

• 条件性收益： 更强的构建器（如 gpt-5, Opus-4.7）在相同的候选池进行等权重（EW）配置时，显示出模型相关的适度收益，但仅当上游分析师信号足够强时才会发生。
• 分析师主导地位： 分析师层的质量是性能的主要驱动力。当分析师捕获较弱时（DeepSeek-V3.2），没有任何构建器能击败相同池的等权重基准。当捕获较强时（gpt-5），大多数构建器都能击败等权重。
• 重叠性： 强大的构建器在很大程度上是重新分配了等权重名单的权重（75–78% 的重叠），而不是完全取代它。较弱的构建器往往会产生显著偏差并表现不佳。

成本与换手率

• 换手率是成本驱动因素： 在每日再平衡模式下，换手率成为主要的成本因素。高换手率模型（如 Qwen3-Max, gpt-4o-mini）尽管具有与低换手率模型相似的总收益，但其净收益因成本拖累而跌破 SPY 基准。
• 纪律至关重要： 获胜的模式涉及“选好且少动”。仅有低换手率是不够的（gpt-5 虽然换手率最低，但由于在该特定行情下的选股不佳，表现仍逊于 SPY）。

合规与审计

• 指令遵循： 所有构建器都成功遵守了明确的数值上限（例如，10% 最大权重）在其原始提议中。
• 评论家的必要性： 确定性评论家对于强制执行比指令更严苛且对模型不可见的流动性约束（硬性截断）至关重要。
• 污染控制： 所有运行均通过了污染证书验证，确认不存在前瞻性泄露。

4. 意义与主张

论文将 OpenPM 定位为 LLM 交易界的诊断工具，而非经过验证的 Alpha 生成器。

• 工程制品： 它将评估重新定义为一个需要严格数据契约、可用性门控和确定性执行层的工程问题。
• 诚实的声明： 作者明确指出，所有收益都是“在单一冻结窗口内且不考虑市场冲击的上限，并非经过验证的 Alpha”。其目标是通过将每一个报告的数字与其产生的特定条件（数据指纹、成本模型、指令）挂钩，来保持声明的诚实。
• 诊断洞察： 该框架揭示了“构建技能”通常是“分析师信号质量”的一种代理指标。论文认为，应将计算资源优先分配给分析师层，在此之后使用最廉价且具备能力的构建器。
• 可审计性： 通过为每次运行生成污染证书、成本敏感性曲线和约束遵循报告，OpenPM 允许研究人员验证结果是否为数据泄露或过于乐观的执行假设所导致的伪影。

总之，OpenPM 表明，虽然 LLM 在特定条件下可以构建出超越简单基准的投资组合，但其表现高度依赖于上游信号质量，并且极易受到换手成本的侵蚀。该框架提供了必要的严谨性，以区分真正的技能与评估过程中的人为伪影。