Nonstandard Errors in AI Agents

该研究通过部署 150 个自主 AI 编码代理分析 NYSE TAQ 数据发现，尽管不同模型家族表现出稳定的“实证风格”且 AI 同行评审效果有限，但通过展示优秀范例可促使代理在模仿而非理解的基础上大幅收敛分析结果，揭示了 AI 在实证研究中存在显著的非标准误差。

要点

这篇论文探讨了一个非常有趣且令人深思的问题：如果我们给一群"AI 研究员”同样的数据和同一个研究问题，它们会得出完全相同的答案吗？

答案是：不会。而且差异大得惊人。

为了让你轻松理解这项研究，我们可以把整个实验想象成一场**“超级 AI 烹饪大赛”**。

1. 实验设定：一场混乱的烹饪大赛

想象一下，你给 150 个拥有顶级厨艺的AI 机器人（也就是论文里的"AI 代理”）下达了同一个任务：

• 食材：一份巨大的、关于 SPY（标普 500 指数 ETF）过去 10 年交易数据的“大锅汤”（NYSE TAQ 数据）。
• 菜谱要求：请分析这道汤的味道在过去 10 年是变好了还是变差了？（比如：交易成本是降了还是升了？市场效率是高了还是低了？）
• 规则：每个机器人必须独立工作，自己决定怎么切菜、用什么火候、放什么调料，最后写出一份 2000 字的“美食报告”。

2. 核心发现：同样的食材，完全不同的味道

研究结果发现，这 150 个 AI 做出来的“菜”，味道（结论）天差地别。这就是论文提出的**“非标准误差”（Nonstandard Errors, NSE）**。

• 比喻：这就好比让 150 个厨师做“红烧肉”。
  • 有的厨师认为“红烧肉”是指按斤称重的肉（美元交易量），结果发现肉价涨了（结论：交易量增加）。
  • 有的厨师认为“红烧肉”是指按块数算的肉（股份交易量），结果发现块数少了（结论：交易量减少）。
  • 结果：虽然大家用的是同一锅肉，但因为对“红烧肉”这个定义的理解不同，一个说“肉变多了”，一个说“肉变少了”。

关键点：这种差异不是随机乱猜，而是有规律的。

• 有的 AI 模型（比如 Sonnet 系列）特别喜欢用“自相关”这种数学工具。
• 有的 AI 模型（比如 Opus 系列）则死板地只认“方差比”这种工具。
• 这就像有的厨师天生喜欢用“糖醋口”，有的天生喜欢“咸鲜口”，不管给什么菜，他们都会往那个方向调。

3. 三个阶段：AI 如何面对“同行评审”？

研究者设计了三个阶段的“比赛”，看看 AI 能不能通过互相交流来统一意见：

• 第一阶段（独立烹饪）：大家各自做，结果五花八门，差异巨大。
• 第二阶段（AI 互评）：让 AI 们互相看对方的报告，写评语（比如“你切菜太厚了”、“火候不对”）。
  • 结果：完全没用！ AI 们虽然听了评语，但有的往左改，有的往右改，整体差异（方差）一点没减少。
  • 比喻：就像一群厨师互相提意见，有的厨师听了说“那我多放盐”，有的说“那我少放盐”，最后大家还是各做各的，味道依然不统一。
• 第三阶段（看“满分作业”）：让 AI 们看看前两名“满分作业”是怎么做的，然后重新做。
  • 结果：效果惊人！ 如果满分作业用的是“糖醋口”，其他 AI 就会疯狂模仿，迅速统一成“糖醋口”，差异瞬间缩小了 80%-99%。
  • 陷阱：但如果满分作业里有的用“糖醋”，有的用“麻辣”，AI 们就会陷入混乱，有的学糖醋，有的学麻辣，反而让结果更乱了。

4. 这个发现意味着什么？

A. AI 不是“真理机器”，它们也会“随大流”

AI 并不是像我们想象的那样，只要数据一样，答案就唯一。它们会像人类一样，因为“定义模糊”而产生分歧。

• 比喻：如果你问 AI“什么是好电影？”，有的 AI 会看票房（美元量），有的 AI 会看评分（份额量）。如果你不规定清楚，它们就会吵个不停。

B. “模仿”比“批评”更有效

在 AI 的世界里，“看学霸怎么做”（模仿满分作业）比**“听老师批评”**（同行评审）更能让它们统一行动。但这有个风险：如果学霸们本身就没达成一致，AI 就会盲目跟风，导致集体犯错。

C. AI 的“风格”是固定的

不同的 AI 模型（Sonnet vs. Opus）就像不同流派的画家。有的喜欢画写实，有的喜欢画抽象。这种“风格”是刻在它们基因里的，不会因为多跑几次就变。

5. 给普通人的启示

1. 不要迷信单个 AI 的答案：如果你让 AI 帮你分析股市或写报告，不要只信它一次算出来的结果。就像做菜，最好让三个不同流派的厨师各做一遍，看看结果是不是差不多。
2. 定义要清晰：如果你问 AI 问题，一定要把定义讲清楚（比如“交易量”是指钱还是指股数）。如果问题本身模棱两可，AI 就会给出五花八门的答案。
3. AI 是“不确定性”的镜子：这篇论文最深刻的观点是——AI 产生的分歧，其实反映了人类科学界本身的分歧。因为 AI 是读了人类几百万篇论文训练出来的，如果人类学者对“怎么衡量市场效率”都没达成一致，AI 自然也没法达成一致。AI 的“错误”，其实是人类知识体系中“模糊地带”的诚实反映。

总结一句话：
这项研究告诉我们，AI 虽然聪明，但它们也会像人类一样“各抒己见”。在让 AI 做重要决策（比如政策制定、投资分析）时，我们不能只问一次，而应该像**“多宇宙分析”**（Multiverse Analysis）那样，让 AI 尝试多种不同的方法，看看结论是否稳健。否则，我们可能只是在一个 AI 的“口味偏好”里打转，而错过了真正的真相。

技术摘要

这是一份关于论文《Nonstandard Errors in AI Agents》（AI 代理中的非标准误差）的详细技术总结。

1. 研究问题 (Problem)

随着人工智能在实证研究中的快速部署（如自动化数据收集、编码、统计估计和报告撰写），一个核心问题浮现：如果让不同的 AI 代理分析相同的数据并测试相同的假设，它们是否会得出相同的实证结果？

现有的文献（如 Silberzahn et al., 2018; Menkveld et al., 2024）已证实，人类研究人员由于“研究人员自由度”（Researcher Degrees of Freedom）的存在，在面对同一数据时会产生巨大的结果差异，这种由分析选择差异引起的额外不确定性被称为非标准误差（Nonstandard Errors, NSE）。

本研究旨在探究：

• 缺乏人类特有训练背景、机构压力和个体偏见的 AI 代理，是否也会表现出类似的 NSE？
• 如果存在，其结构特征是什么？
• 现有的反馈机制（如同行评审、展示优秀范例）能否有效减少这种误差？

2. 方法论 (Methodology)

作者设计了一个名为 #AIcap 的实验，作为 Menkveld et al. (2024) 人类众包研究项目（#fincap）的 AI 类比版本。

• 实验对象：部署了 150 个 自主运行的 Claude Code 代理（100 个使用 Sonnet 4.6 模型，50 个使用 Opus 4.6 模型）。
• 任务：所有代理独立分析相同的 NYSE TAQ 毫秒级交易数据（SPY ETF，2015–2024 年，约 66GB，70 亿行），测试 6 个 关于市场质量趋势的假设（H1-H6）。
  • 抽象假设（定义模糊，允许多种操作化）：市场效率 (H1)、日交易量 (H4)、价格冲击 (H6)。
  • 具体假设（定义明确）：报价价差 (H2)、已实现价差 (H3)、日内波动率 (H5)。
• 代理能力：每个代理完全自主，包括读取指令、探索数据、构建指标、估计趋势、编写代码、生成图表及撰写 2000-4000 字的研究报告。
• 三阶段反馈协议：
  1. 阶段 1 (S1)：独立分析。
  2. 阶段 2 (S2)：AI 同行评审。代理收到来自两个 AI 评估者（Sonnet 和 Opus 各一）的匿名书面反馈和评分，并据此修订报告。
  3. 阶段 3 (S3)：展示优秀范例。代理看到 S2 阶段评分最高的 5 篇匿名报告，并再次修订。
• 数据标准化：开发了一套转换管道，将所有代理报告的效应量（Effect Size）统一归一化为“相对于均值的年百分比变化 (%/yr)"，以消除量纲差异。

3. 主要发现 (Key Results)

3.1 AI 存在显著的非标准误差 (Sizable NSE)

• 误差幅度大：不同代理间的估计结果差异巨大。例如，对于市场效率假设 (H1)，效应量的四分位距 (IQR) 为 2.43%/年（范围从 -0.74% 到 +1.7%）；对于交易量假设 (H4)，IQR 高达 10.69%/年。
• 结果方向不一：同一假设下，有的代理得出显著正相关，有的得出显著负相关，有的则不显著。

3.2 NSE 的结构特征：集中在“指标选择”分支

• 指标选择是主要来源：NSE 几乎完全集中在离散的选择分支（Measure-choice forks），即“计算哪个指标”（如：自相关 vs. 方差比，美元交易量 vs. 股数交易量）。
• 估计范式高度统一：所有 150 个代理都选择了线性时间趋势的 OLS 回归作为估计范式。这与人类研究不同（人类常使用相对变化/比率），AI 几乎不使用相对变化（Relative changes）。
• 模型特定的“实证风格” (Empirical Styles)：
  • Sonnet 4.6：倾向于使用自相关指标 (87%)、水平 OLS (Level OLS) 和日频率。
  • Opus 4.6：倾向于使用方差比指标 (100%)、对数 OLS (Log OLS) 和月频率。
  • 这种偏好是系统性的，反映了模型训练中的稳定偏差。

3.3 反馈机制的效果差异

• 同行评审 (S1 → S2) 无效：AI 同行评审（书面批评）对减少结果离散度几乎没有作用。IQR 基本保持不变。代理虽然会根据反馈修改，但修改是无方向性的（有的向中位数靠拢，有的远离），导致整体离散度未降。
• 展示优秀范例 (S2 → S3) 效果显著但复杂：
  • 收敛：在指标选择一致的家族内，IQR 下降了 80%–99%。代理通过“家族内估计收紧”和“跨家族迁移”（如 71% 的自相关代理在看到范例后切换到方差比）实现收敛。
  • 发散：对于某些假设（如 H1 和 H5），如果优秀范例引入了新的、不一致的方法选项，离散度反而增加。
  • 盲目模仿：代理表现出“盲目模仿”行为。例如在 H4（交易量）中，代理根据范例随机切换指标（美元 vs. 股数），缺乏经济逻辑判断，导致结果混乱。

3.4 多宇宙分析 (Multiverse Analysis)

• 通过分解决策分支发现，指标定义（Measure definition）是 AI NSE 的最大来源（解释了 H4 中 95.4% 的变异）。
• 对于抽象假设（H1, H4, H6），大部分变异源于假设本身的模糊性（Hypothesis Abstraction），而非分析错误。

4. 关键贡献 (Key Contributions)

1. 扩展 NSE 框架：首次将非标准误差的研究从人类研究人员扩展到 AI 代理，证明即使去除人类的主观偏见和机构压力，由于任务定义的模糊性，分析变异依然存在。
2. 揭示 AI 的“实证风格”：发现不同的大语言模型家族（Sonnet vs. Opus）具有稳定的、系统性的方法论偏好，这构成了 AI 特有的 NSE 来源。
3. 重新定义反馈的作用：指出在 AI 研究中，传统的同行评审（Peer Review）无法解决根本的方法论分歧，而展示优秀范例（Exemplar Exposure）虽然能强制收敛，但可能导致“盲目模仿”而非真正的科学共识。
4. 提出 AI NSE 作为诊断工具：建议将 AI NSE 视为研究问题本身模糊性的下限估计。如果 AI 代理在相同任务下无法达成一致，说明研究问题本身定义不清，需要进一步细化，而非归咎于代理能力不足。

5. 意义与启示 (Significance)

• 对自动化政策评估的影响：单个 AI 生成的估计值不应被视为“真理”。在自动化政策评估（如 APE 项目）中，必须采用多宇宙分析（Multiverse Analysis），运行多种指标定义和模型配置，以揭示结果的完整分布。
• 对 AI 辅助研究的警示：研究者在使用 AI 作为编码助手时，必须意识到模型默认设置中编码了方法论偏好。仅报告模型版本不足以保证可复现性，因为温度采样（Temperature sampling）也会导致不同的分支选择。
• 对模型开发的建议：不应试图通过 RLHF（人类反馈强化学习）消除 AI 在研究中的输出变异性。这种变异性实际上反映了社会科学文献中固有的方法论不确定性。保留这种变异（作为多宇宙工具）比强制模型选择单一“标准”答案更能真实反映科学的不确定性。
• 局限性：研究仅针对 SPY 这一高流动性资产和市场微观结构领域。AI NSE 的模式是否泛化到其他实证领域仍需进一步验证。

总结：该论文揭示了 AI 代理在实证研究中并非完美的“客观观察者”，它们同样会受到分析选择的影响而产生显著的非标准误差。这种误差主要源于研究问题的模糊性和模型内在的“风格”偏好。未来的 AI 研究部署必须包含多宇宙分析，以正确评估和报告结果的不确定性。