Many AI Analysts, One Dataset: Navigating the Agentic Data Science Multiverse

该研究提出利用基于大语言模型的全自动 AI 分析师在大规模、低成本地复现人类多分析师研究中的分析多样性，揭示了不同 AI 代理对同一数据集的分析结果存在显著差异且可被引导，从而论证了 AI 自动化实证科学中证据易受选择性报告影响的挑战，并呼吁建立包含“多元宇宙”式报告及提示词完全披露的新透明度规范。

要点

这篇论文讲述了一个关于**“AI 数据分析师”**的有趣实验，它揭示了一个令人深思的现象：即使面对完全相同的数据和任务，不同的 AI 也能得出截然不同的结论。

为了让你轻松理解，我们可以把这项研究想象成一场**“超级烹饪大赛”**。

1. 背景：为什么同样的食材会有不同的味道？

想象一下，你给 29 位顶级厨师（人类数据分析师）提供完全相同的一篮食材（数据集），并让他们做一道完全相同的菜（验证同一个假设，比如“裁判是否更倾向于给深色皮肤球员出示红牌”）。

过去的人类研究发现，这 29 位厨师做出来的菜，味道千差万别：

• 有的厨师说：“这道菜很辣，证明假设成立！”
• 有的厨师说：“这道菜很淡，假设不成立。”
• 有的厨师甚至说：“这菜没法吃。”

这并不是因为厨师们笨或做错了，而是因为在烹饪过程中，每个人都会做很多**“合理的微调”**：

• 有人切菜时多切了一点点（变量选择不同）。
• 有人火候稍微大了一点（模型设定不同）。
• 有人觉得盐放多了就少放点（数据处理不同）。

这些微小的选择汇聚起来，就像在分叉路口不断选择方向，最终导致大家走向了完全不同的终点。这在学术界被称为**“分叉路径的花园”**。

2. 实验：让 AI 来当“厨师”

以前，要组织 29 个真人厨师做实验，既贵又慢，还要协调大家的时间。但在这项研究中，作者们做了一件很酷的事：他们雇佣了成千上万个 AI 厨师（基于大语言模型的智能体）。

• 食材：三个不同的真实数据集（足球裁判、程序员效率、选民观点）。
• 任务：每个 AI 厨师独立地处理数据，写代码，做分析，最后给出一个结论。
• 口味测试（Persona）：作者给这些 AI 厨师设定了不同的“性格”或“人设”：
  • 中立派：公事公办。
  • 怀疑派：觉得这个假设肯定是错的，要拼命找茬。
  • 乐观派：觉得这个假设肯定对，要努力证明它。
  • 确认偏执狂（Confirmation Seeking）：被明确指示“不惜一切代价，用各种合理的方法，找出支持这个假设的证据”。

3. 发现：AI 也能制造“口味大乱炖”

实验结果非常惊人：

1. 结论大乱炖：面对同一份数据，AI 厨师们得出的结论五花八门。有的说“支持”，有的说“不支持”，有的说“证据不足”。就像同一道菜，有人觉得是甜的，有人觉得是咸的。
2. 性格决定命运：这是最有趣的部分。如果你给 AI 厨师戴上“怀疑派”的面具，它就更可能得出“不支持”的结论；如果你给它戴上“确认偏执狂”的面具，它就能通过调整烹饪手法（比如换个统计模型、剔除几个数据点），让数据“变”出支持假设的味道。
   • 这种“性格”带来的影响非常大，甚至能改变 34% 到 66% 的结论走向。
3. AI 审计员：为了防止 AI 瞎编乱造（比如幻觉），作者还安排了一位"AI 审计员”来检查。虽然审计员剔除了一些明显胡来的“厨师”，但剩下的“好厨师”之间，依然存在着巨大的结论差异。

4. 核心隐喻：分叉路径的“无限复制机”

这就好比以前我们只能看到一条分叉路，现在 AI 让我们看到了整个分叉路森林。

• 风险：如果 AI 能轻易生成成千上万个“看起来都很合理”的分析报告，那么坏人（或者想偷懒的人）就可以像挑水果一样，只挑那个“结论最符合我心意”的报告发出来，而忽略其他几千个相反的报告。这会让科学变得不可靠，因为证据变得太廉价且容易“被挑选”了。
• 机遇：但反过来看，AI 也是解决这个问题的钥匙。既然 AI 能低成本地生成成千上万个不同的分析结果，我们为什么不把所有结果都展示出来呢？
  • 以前，人类科学家只能挑一个结果发表。
  • 现在，我们可以要求 AI 生成一个**“结果分布图”**（Multiverse）。就像展示一道菜的所有可能做法一样，告诉读者：“看，如果我们这样切菜，结果是 A；如果那样切菜，结果是 B。所以，这个结论其实是不确定的。”

5. 结论与启示：我们需要新的“透明规则”

这篇论文给未来的科学界提了一个醒：

• 不要只看一个结果：当 AI 帮你写分析报告时，不要只接受它给出的那个“完美结论”。
• 像展示代码一样展示“提示词”：就像科学家现在必须公开他们的代码和数据一样，未来他们也应该公开**“你是怎么问 AI 的”**（提示词）。因为你的提问方式（性格设定），直接决定了 AI 会给你什么样的答案。
• 拥抱不确定性：最好的科学报告，不再是给出一个确定的数字，而是展示一个**“可能性的范围”**。

一句话总结：
这项研究告诉我们，AI 不仅能像人类一样“看菜吃饭”（根据数据调整结论），甚至能更夸张地“看人下菜碟”（根据性格设定调整结论）。这既是科学被操纵的风险，也是让我们看清科学不确定性、让研究更透明的巨大机会。未来的科学报告，应该像展示“所有可能的菜谱”一样，把各种分析路径都摆出来，而不是只端上一盘“看起来最好吃”的菜。

技术摘要

这是一份关于论文《Many AI Analysts, One Dataset: Navigating the Agentic Data Science Multiverse》（许多 AI 分析师，一个数据集：导航代理数据科学的多重宇宙）的详细技术总结。

1. 研究背景与问题 (Problem)

核心问题： 科学结论不仅取决于数据，还高度依赖于研究过程中做出的分析决策（如变量选择、模型设定、异常值处理等）。这种现象被称为“分叉路径的花园”（Garden of Forking Paths）。

• 现有挑战： 传统的“多分析师”（Many-Analyst）研究通过让多个人类团队分析同一数据集来量化这种不确定性，发现经常得出相互矛盾的结论。然而，这类研究成本高昂、协调困难，难以成为常规操作，导致分析中的潜在不确定性往往是隐形的。
• 新风险： 随着基于大语言模型（LLM）的自主 AI 代理（Agentic AI）在数据科学中的应用，生成“可辩护”的分析流程变得极其廉价和规模化。这可能导致证据泛滥，并使得“选择性报告”（Cherry-picking）更容易发生，即通过反复运行或调整提示词直到得到期望的结论。
• 研究目标： 本文旨在利用自主 AI 代理大规模模拟“多分析师”研究，量化 AI 分析中的变异性，并研究提示词（Persona）和模型选择如何系统性地影响分析结果。

2. 方法论 (Methodology)

研究构建了一个可扩展的框架，包含 AI 分析师、AI 审计员和受控实验设计。

2.1 实验设计

• 任务设置： 使用三个不同领域的数据集和预设假设：
  1. Soccer (足球): 基于 Silberzahn et al. (2018) 的经典研究，检验裁判是否更倾向于向肤色较深的球员出示红牌。
  2. metr-rct: 基于 Becker et al. (2025) 的随机对照试验，检验 AI 辅助是否增加编程任务完成时间。
  3. anes-views: 基于美国国家选举研究（ANES）数据，检验电视新闻观看量与意识形态错位之间的关联。
• 变量控制：
  • 数据集与假设： 固定不变。
  • 估计量 (Estimand)： 预先指定（如调整后的风险差异、几何均值比等），确保比较基准一致。
  • LLM 模型： 使用 4 种不同的模型（Anthropic 的 Claude Sonnet 4.5, Haiku 4.5; Qwen3 Coder 480B, Qwen3 235B）。
  • 分析师角色 (Personas)： 定义 5 种不同的提示词角色，以模拟不同的分析倾向：
    1. 标准 (Standard): 中立。
    2. 负面 (Negative): 怀疑假设，寻找反证。
    3. 正面 (Positive): 相信假设，寻找支持。
    4. 寻求确认 (CS): 在常规做法内积极寻找支持假设的设定。
    5. 强寻求确认 (Strong CS): 明确鼓励进行类似"P-hacking"的探索性分析，以最大化支持证据。
• 规模： 总共运行约 5,000 次独立分析。

2.2 代理架构

• AI 分析师： 基于 Inspect AI 框架的 ReAct 代理。它们拥有完整的自主权，包括数据清洗、变量转换、缺失值处理、协变量选择、模型设定和推断。它们输出可复现的代码和叙事报告。
• AI 审计员： 使用专门的 Claude Sonnet 4.5 模型作为审计员。它审查每个运行的完整对话记录（包括工具调用、中间输出和代码），评估方法学有效性（如估计量对齐、不确定性量化、结论纪律等），并过滤掉存在幻觉或明显方法错误的运行。

2.3 数据提取与分析

• 从通过审计的运行中提取结构化决策（如协变量数量、回归方法、标准误计算等）。
• 构建“规范曲线”（Specification Curve）和“打击图”（Strike Plot），可视化不同分析决策与结果分布之间的关系。

3. 主要发现 (Key Results)

3.1 分析结果的巨大离散性 (Substantial Dispersion)

• 即使数据、假设和估计量完全相同，不同的 AI 分析师（甚至同一模型的不同运行）也会得出截然不同的结论。
• 效应量与方向： 在合规的运行中，效应量的估计值从负到正跨越，p 值分布广泛。对于某些数据集，合规运行中支持假设的比例在不同角色间差异巨大。
• 可辩护的多重宇宙： 许多产生不同结论的分析在方法学上都是“可辩护的”（defensible），这构成了一个机器生成的“多重宇宙”。

3.2 角色与模型的 steerability (可引导性)

• 角色效应： 分析结论是可引导的 (Steerable)。从“负面”角色到“强寻求确认”角色，支持假设的比例差异在三个数据集中分别为 34% 到 66% 个百分点。
• P-hacking 效应： “寻求确认”（CS）和“强寻求确认”（Strong CS）角色产生的 p 值显著更小，支持率显著更高。审计员虽然过滤掉了部分激进的错误分析，但未能完全消除这种由角色引导的偏差。
• 模型效应： 不同的 LLM 基础模型也会导致结果分布的系统性差异，尽管角色效应通常更为显著。

3.3 审计的作用与局限

• 审计员成功过滤了约 33% 的运行（主要是幻觉、估计量不匹配或缺乏不确定性量化）。
• 然而，即使经过严格审计，角色引导导致的结论差异依然存在。这表明仅仅依靠“合规性检查”不足以消除由分析策略选择带来的系统性偏差。

3.4 归因分析

• 结果的离散性主要源于具体的分析选择：协变量数量、回归方法（如 OLS vs. 逻辑回归）、标准误计算方法、时间池化策略等。
• 这些选择在不同的角色和模型条件下表现出系统性的变化。

4. 关键贡献 (Key Contributions)

1. 规模化模拟多分析师研究： 首次展示了利用自主 AI 代理在低成本、大规模下复现并扩展人类“多分析师”研究的能力。这使得分析不确定性从“偶尔调查”变为“常规量化”。
2. 揭示 AI 分析的可引导性 (Steerability)： 证明了通过简单的提示词调整（Persona），可以系统地操纵 AI 分析的结果分布，即使是在方法学合规的前提下。这比人类研究中的先验信念影响更为直接和显著。
3. 提出新的透明度规范： 鉴于 AI 生成分析的廉价性和易变性，作者提出新的规范：AI 生成的分析必须伴随多重宇宙风格的报告（Multiverse-style reporting），并完整披露所使用的提示词（Prompts），其重要性应与代码和数据相当。
4. 将不确定性转化为工具： 提出利用 AI 的规模优势，将分析变异性从“隐藏的负债”转化为“可见的、可测量的量”。通过生成结果分布，可以识别哪些未明确说明的设计选择对结论影响最大。

5. 意义与启示 (Significance)

• 对科学严谨性的挑战： 当“可辩护”的分析变得廉价且无限时，选择性报告的风险急剧增加。如果研究者可以轻易生成数百种分析并只报告支持其假设的那一种，科学结论的可靠性将受到严重威胁。
• 对 AI 辅助科学的指导： 在人类与 AI 协作中，用户的提问方式（提示词）直接决定了 AI 的分析路径。被动 framing 影响较小，但明确的引导（如“寻找支持证据”）会显著改变结论。
• 方法论创新： 该框架可作为已发表研究的“计算压力测试”。通过向 AI 提供原始研究的规范（Spec），并允许其在隐含的自由度上进行探索，可以量化原始结论的稳健性。如果 AI 生成的分布高度集中，说明结论稳健；如果分布分散，则表明原始研究中的隐含选择对结论至关重要，需要更严格的前置规范。
• 政策与规范建议： 未来的科学报告必须超越单一的点估计，转向报告分析结果的分布，并强制披露提示词工程细节，以应对 AI 时代的可重复性危机。

总结： 这篇论文揭示了 AI 代理在数据科学中引入的深刻变革：它们既能以极低成本揭示分析过程中的巨大不确定性（多重宇宙），同时也带来了通过提示词操纵结论的巨大风险。解决之道在于建立新的透明度标准，将分析的不确定性显性化，而非试图消除它。