💬 NLP

The Illusion of Intervention: Your LLM-Simulated Experiment is an Observational Study

本文警告称，基于观测数据训练的 LLM 模拟实验会因引入混杂偏差而遭受“用户漂移”的影响，并提出利用阴性对照结果来检测该问题，同时通过优化角色设定规范加以缓解。

原作者： Victoria Lin, Taedong Yun, Maja Matarić, John Canny, Arthur Gretton, Alexander D'Amour

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Victoria Lin, Taedong Yun, Maja Matarić, John Canny, Arthur Gretton, Alexander D'Amour

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对论文《干预的错觉》的解释。

核心理念：“变色龙”问题

想象你是一位科学家，试图测试两位不同的健康教练。你想知道谁更能促使人们进行锻炼。

在一个理想的世界里，你会让同一个人先接受教练 A 的辅导，然后再接受教练 B 的辅导。因为是同一个人，他们反应上的任何差异肯定是由教练引起的，而不是因为这个人本身发生了变化。

但是，你无法在每次测试中都使用真人（这既昂贵又缓慢）。因此，研究人员使用 AI“合成用户”（大语言模型）来扮演人类角色。他们会给 AI 一个简单的“人设”，例如：“你是一个 30 岁的男性。”

问题在于： 论文指出，这些 AI 用户就像变色龙。当你向它们展示教练 A 时，AI 可能会暗自决定：“哦，这位教练听起来很专业，那我就假装成一个严肃的运动员吧。”但当你向它们展示教练 B 时，AI 可能会想：“这位教练很随性，那我就假装成一个沙发土豆吧。”

尽管你最初使用的是完全相同的"30 岁男性”提示词，但当你询问它们的意见时，AI 已经漂移成了两种完全不同类型的人。这让你误以为教练们有所不同，而实际上，你只是将一个严肃的运动员与一个沙发土豆进行了比较。

核心问题：“用户漂移”

作者将这种现象称为用户漂移。

错觉： 我们以为自己在进行公平、受控的实验（就像科学试验一样）。
现实： 由于 AI 模型是在现实世界数据上训练的（在现实世界中，人们会自主选择自己的路径），它们倾向于根据情境来“填补”人设中的空白。
结果： AI 用户的“群体”会根据它们接受的不同处理而发生变化。这造成了选择偏差。这就像如果你让 A 队在赛道上测试一辆新车，却意外地让 B 队在泥泞的场地上测试。如果 A 队赢了，是因为车好，还是因为赛道不同？

他们如何识破 AI 的把戏

为了证明 AI 确实在发生漂移，研究人员使用了一种称为负向控制结果的技巧。

这就像给实验做测谎仪测试。

他们向 AI 用户提出了那些无论与哪位教练交谈都不应改变的问题。例如：“你的种族是什么？”或“你的国籍是什么？”
在真正的人类实验中，你的种族不会仅仅因为与不同的教练交谈而改变。
发现： 在 AI 实验中，答案确实发生了变化。与教练 A 交谈的 AI 开始声称自己属于不同的政党，或者拥有与与教练 B 交谈的 AI 不同的爱好，尽管它们最初使用的是相同的提示词。
结论： 如果 AI 那些“不可改变”的特征都在发生偏移，那么其“可变”的观点（即主要结果）很可能也在发生偏移。实验已被污染。

解决方案：给 AI 一个“背景故事”

研究人员找到了一种方法，阻止变色龙改变颜色。他们意识到，在实验开始之前，需要给 AI 一个更详细的“背景故事”。

旧方法： “你是一个 30 岁的男性。”（太模糊，AI 会根据教练来填补空白）。
新方法： “你是一个 30 岁的男性，住在俄亥俄州，年薪 5 万美元，热爱徒步旅行，是民主党人，并且每个周日都去教堂。”

通过明确告知 AI 这些具体细节（作者称之为混杂因素），他们将人设“锁定”住了。由于指令过于具体，AI 无法漂移成另一种类型的人。

他们通过分步添加细节来测试这种方法。起初，他们只添加了人口统计信息（年龄、地点）。这起到了一点作用。但真正的奇迹发生在他们添加了与特定主题相关的针对性问题时（例如，在测试前询问 AI 对该主题的具体看法）。这阻止了漂移，并使结果变得稳定。

结论

该论文得出结论：AI 模拟并非现实的魔法镜子；它们更像是一种观察性研究。

仅仅因为你提示 AI 扮演一个“用户”，并不意味着它会一直保持那个用户身份。如果你想信任 AI 实验的结果，就不能仅仅假设 AI 是始终如一的。你必须：

检查漂移： 向 AI 提出那些本不应改变的问题，看看它是否在暗中改变身份。
锁定人设： 给 AI 一个非常详细、具体的背景故事，涵盖那些原本可能会发生变化的因素。

如果没有这些步骤，你可能会认为自己发现了关于人类行为的新真理，但实际上你只是发现了 AI 擅长扮演不同角色罢了。

技术摘要：LLM 模拟实验中的干预幻觉

问题陈述

大型语言模型（LLM）正越来越多地被用于模拟人类行为，以开展合成实验，例如评估 AI 智能体或进行大规模调查。普遍假设认为，通过用相同的人格（例如“一名 30 岁的男性”）初始化相同的 LLM，并让它们接受不同的干预（例如智能体 A 与智能体 B），研究人员可以模拟随机对照试验（RCT）以估计因果效应。

然而，本文指出，此类合成实验受到用户漂移（user drift）的影响，使其更像观察性研究而非随机试验。由于 LLM 是基于观察数据训练的，并通过溯因推理（abductive reasoning）运作，它们会推断未指定的潜在属性（ $X \setminus L$ ），以维持与干预上下文（ $A$ ）的一致性。因此，两个具有相同可观测属性（ $L$ ）初始化的合成用户，可能会根据其所接受的干预，漂移至不同的潜在群体中。这导致了选择偏差（混杂），即潜在用户属性的分布在不同的处理条件下存在差异（ $P(X | A=1, L) \neq P(X | A=0, L)$ ），从而使估计的处理效应（ $\tau_{obs}$ ）偏离真实的因果效应（ $\tau_{ATE}$ ）。

方法论

偏差的形式化

作者利用潜在结果框架对这一问题进行了形式化。在理想的 RCT 中，随机分配确保了背景因素的平衡。而在 LLM 模拟中，生成过程将联合分布分解为 $P(L, A, X, Y)$ ，而非因果顺序 $P(X, L, A, Y)$ 。当引入干预 $A$ 时，LLM 会推断出与 $A$ 一致的潜在属性 $X \setminus L$ ，从而在 $A$ 到 $Y$ 之间通过未观测的用户属性形成一条开放的后门路径。这产生了一个偏差项 $\delta_{SB}$ ，使得 $\tau_{ATE} = \tau_{obs} - \delta_{SB}$ 。

诊断：负向控制结果

为了在不观测完整潜在人格的情况下检测这种漂移，作者提出使用负向控制结果（negative control outcomes）（ $Z$ ）。这些变量应满足：

在因果上不受干预 $A$ 的影响（在处理下保持不变）。
依赖于驱动主要结果漂移的相同未观测潜在属性（ $X \setminus L$ ）。

示例包括人口统计属性（种族、国籍）或稳定的信念，这些不应因用户是与“积极”还是“消极”的 AI 智能体互动而改变。作者利用不同干预条件（ $A=0$ 与 $A=1$ ）下 $Z$ 分布之间的总变差距离（Total Variation Distance, TVD）来量化漂移。非零的 TVD 表明干预已改变了潜在用户群体，预示着混杂的存在。

缓解：迭代混杂因子调整

为了减少偏差，作者提出了一种迭代程序，以引出并指定额外的混杂因子（ $L'$ ），作为未观测潜在属性的代理。

引出：系统在干预后提示合成用户提供具体属性（例如收入、宗教，或与干预相关的针对性问题）。
采样：从处理均匀混合分布中采样新的混杂因子，以确保调整后的群体反映随机化场景。
迭代：将这些引出的属性添加到人格规范中（ $\tilde{L} = L \cup L'$ ），并重新运行实验。此循环持续进行，直到负向控制结果的 TVD 稳定或降至阈值以下。

作者强调，这是一种迭代、有针对性的方法，而非一次性指定所有可能的属性，以避免上下文窗口退化及采样偏差。

主要贡献

用户漂移的形式化：本文提供了一个因果推断框架，证明 LLM 模拟实验由于潜在用户属性随干预发生漂移，本质上遭受选择偏差。
实证诊断：引入了负向控制结果和总变差距离作为实用工具，用于诊断不同 LLM 家族中的用户漂移和选择偏差。
缓解策略：证明了在人格规范期间进行有针对性的、迭代的混杂因子引出，可以显著减少选择偏差，并在调查式和多轮智能体评估场景中稳定效应估计。

结果

作者在多个模型（Qwen3, GPT-OSS, Gemma, Gemini）和数据集（OpinionQA, Book Opinions, MovieLens）上评估了其方法。

漂移的存在：在第 0 次迭代（基线）时，大多数模型和数据集的负向控制结果中均观察到显著的 TVD，证实了相同的初始人格会根据干预漂移至不同的潜在群体。值得注意的是，具有更强溯因推理能力的模型（例如 Gemma-4）比较小、能力较弱的模型表现出更多的漂移。
调整的效果：迭代混杂因子调整通常降低了 TVD，表明用户漂移有所减少。
- 在调查设置（OpinionQA）中，TVD 随迭代次数一致下降。
- 在智能体评估设置中，结果各异；某些模型（如 Gemma-4）显示出明显的减少，而其他模型（如 GPT-OSS-20B）则显示 TVD 持平或变化微弱，表明基于提示的条件控制在多轮设置中并非普遍有效。
对效应估计的影响：在早期调整迭代期间，观测到的处理效应（ $\tau_{obs}$ ）发生了显著变化，随后趋于稳定。这证实了朴素估计受到了用户漂移的混杂影响。
设计细微差别：研究发现，最初添加通用的人口统计属性有时反而会增加 TVD（选择偏差），直到针对特定任务的混杂因子将其降低。这突显了选择与特定处理和结果相关的混杂因子的重要性。

意义与主张

本文得出结论：使用合成用户进行的评估应默认被视为观察性研究，而非随机实验。“干预幻觉”之所以产生，是因为 LLM 的生成性质允许干预事后影响模拟用户的潜在状态。

作者主张：

若无诊断和缓解，合成用户实验可能因未观测的选择偏差而产生误导性的因果估计。
负向控制结果提供了检测此类偏差的必要诊断工具。
迭代、有针对性的混杂因子调整是提高内部效度的可行策略，但这并不能保证消除所有偏差，特别是如果存在大量未测量的潜在变异。

这项工作为使用 LLM 模拟人类反应的研究人员提供了一个警示性框架，敦促从假设因果有效性转向主动诊断和纠正用户漂移。