📊 statistics

What is the Causal Effect of a Conversation? Estimands and Inference in AI Mediated Conversations

本文为人工智能介导的对话开发了一个用于因果推断的潜在结果框架，通过区分诸如分配条件、特定消息以及实现的对话特征等各种因果对象，以阐明当对话是内生生成而非仅仅是被动接收时所需的不同估计量和识别假设。

原作者： Adriane Fresh, Aiden Shin

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Adriane Fresh, Aiden Shin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位试图弄清楚是什么让人们改变主意的科学家。在过去，你可能会给他们发一张传单或一段固定的脚本让他们阅读。这很容易研究：每个人得到的都是完全相同的纸张，所以如果他们的想法改变了，你就知道是因为那张纸。

但今天，研究人员越来越多地使用对话作为他们的“处理手段”（treatment）。他们不再是给一张传单，而是让一个人（或一个人工智能）与受试者交谈。问题在于，对话不是一张传单。它是一场舞蹈。

这篇论文认为，当你研究对话时，你必须非常小心地去衡量你到底在测量什么。如果你不小心，你可能以为你测量的是“表现得有礼貌”的效果，而实际上你只是在测量“被分配给一个有礼貌的机器人”的效果。

以下是该论文核心思想的拆解，使用了日常生活的类比。

1. “舞池”问题

想象你想研究音乐如何影响人们跳舞。

旧方法（静态处理）： 你把所有人放在一个房间里，循环播放“歌曲 A”。每个人都听到完全相同的歌曲。如果他们的舞蹈动作不同，那是由于歌曲的原因。这很简单。
新方法（对话式处理）： 你把人们放在一个舞池里，并给他们配上舞伴。你告诉舞伴 A 要“友善”，而舞伴 B 要“刻薄”。

问题的关键在于：舞蹈不仅仅是舞伴所做的，也是双方共同完成的。

如果你把一个“刻薄”的舞伴配给一个害羞、有礼貌的舞者，这位害羞的舞者可能会让他冷静下来。最终的舞蹈会变得非常温柔。
如果你把同一个“刻薄”的舞伴配给一个大声、具有攻击性的舞者，这场舞蹈可能会变成一场争吵。

尽管这两组人都被分配到了相同的“刻薄舞伴”条件下，但实际的体验（即舞蹈）是完全不同的。论文称之为内生性（endogeneity）：对话是由这两个人共同创造的。你不能仅仅说“刻薄的舞伴导致了争吵”，因为争吵也取决于对方是谁。

2. 你可能正在测量的五种不同事物

论文指出，研究人员经常混淆五种不同的事物。把它们想象成洋葱的不同层级：

分配（入场券）： 这是你交给参与者的票券。“你获得了一个友好的机器人。”这很容易测量。它告诉你当你将某人分配到某种条件时会发生什么。但这并不能告诉你对话实际的感觉是如何样的。
开场白（第一步）： 这是机器人说的第一句话。“你好，让我们聊聊政治。”这是具体的，但它没有考虑到在迈出第一步之后，对话是如何展开的。
政策（规则手册）： 这是机器人遵循的一套指令。“始终保持礼貌，但如果对方生气了，要保持冷静。”这是一个“机制”（regime）。它是一个衡量特定系统运作方式的好指标，但它仍然是一个由许多不同对话组成的集合。
信息（具体的步伐）： 这是在舞蹈过程中说出的单个句子。“我理解你的观点。”论文认为这是最难研究的东西。为什么？因为如果对方刚刚说了一句好话，这句话的意思，与对方刚刚对你大喊大叫时这句话的意思，是完全不同的。语境改变了含义。
实现的对话（整场舞蹈）： 这是实际发生的、混乱且独特的互动。这是对参与者而言唯一真正重要的东西，但由于没有两场舞蹈是完全一样的，它也是最难进行科学研究的东西。

3. “捆绑礼物”问题

论文使用了一个很好的类比，来说明为什么研究特定特征（如“文明度”或“语气”）很难。

想象你寄给某人一个礼盒。

目标： 你想知道盒子上的红丝带是否让他们感到快乐。
现实： 盒子里还装有一块巧克力、一张便条和一个玩具。
问题： 如果你给某人一个带有红丝带的盒子，他们同时也得到了巧克力。如果你给他们一个带有蓝丝带的盒子，他们得到的是另一种巧克力。

你无法分辨是丝带让他们快乐，还是巧克力让他们快乐。在对话中，“文明度”是丝带，但它总是与“说话长度”、“情绪强度”或“谁在说话”等其他事物捆绑在一起。你无法轻易将它们分离。

4. 那么，我们该如何解决这个问题？

论文并没有说“停止研究对话”。它说的是：“不要假装对话是简单的传单。”

为了获得清晰的答案，研究人员需要改变他们的实验：

使问题与设计相匹配： 如果你想研究一个政策的效果，就随机化该政策。如果你想研究一个特定信息的效果，你必须在对话中间随机化那个特定的信息（就像暂停舞蹈，然后告诉舞伴：“现在说这句话”）。
接受“局部”真相： 有时，你只能测量那些“顺从”了处理条件的受试者的效果。例如，如果你分配了一个“粗鲁”的机器人，但一个有礼貌的人让它冷静了下来，你就无法测量粗鲁对这个人的影响。你只能在那些真正发生了争吵的人身上进行测量。
使用“表征”（Representations）： 与其试图比较对话中的每一个单词（这是不可能的，因为它们都是独特的），研究人员应该根据它们的“氛围”（例如“高度敌对”、“中度友好”）对对话进行分组，并在这些组别内比较信息。

核心结论

对话之所以强大，是因为它们是鲜活的。它们会对你做出反应。但正因为它们会对你做出反应，它们在研究中显得非常混乱。

如果你把对话当作一个静态的对象（像传单一样）来对待，你会得到错误的答案。你可能以为你在研究“无礼”的效果，而实际上你是在研究“无礼”混合了“你正在交谈之人的特定性格”的效果。

这篇论文提供了一张地图，帮助研究人员停止混淆入场券（分配）、旅程（实际的对话）以及风景（如语气或长度等特定特征）。它告诉我们，要理解对话如何改变思想，我们必须更精确地界定我们究竟在测量对话的哪一部分。

技术摘要：AI 中介对话中的估计量与推断

问题陈述
政治学家越来越多地将对话视为一种因果处理手段，其范围涵盖了从人类劝说者到生成式人工智能（AI）的各种形式。虽然对话的交互性和响应性提供了极高的生态效度（尤其是在使用 AI 时）和可扩展性，但也为因果推断带来了根本性的挑战。与静态干预（如传单或固定文本）不同，对话是由受访者与对话者共同产生的。因此，实现的对话过程对于受访者的特征（如敌意、好奇心或抵触情绪）具有内生性。

核心问题在于，随机分配到一个对话条件（例如“文明”或“不文明”的 AI 政策）识别的是分配的效果，但不一定能识别实现的对话或其中特定特征（如不文明程度）的效果。由于对话是根据受访者的输入动态展开的，实现的处理变量变化与影响结果的受访者特质存在系统性关联。这造成了标准随机设计无法解决的混淆问题。本文认为，将“对话”视为一个单一的整体处理变量，掩盖了需要不同因果定义和识别策略的不同理论对象（分配、政策、消息、特征）。

方法论与框架
作者开发了一个针对序列化、交互式过程调整后的潜在结果框架。他们将对话形式化为一个涉及以下要素的路径依赖过程：

分配 ( $Z_i$ )： 随机化的条件（例如提示词或政策）。
政策 ( $\pi$ )： 支配对话者对历史记录做出响应的规则。
历史记录 ( $H_{it}$ )： 既往消息的序列。
实现的对话 ( $C_i$ )： 由政策、历史记录和受访者行为 ( $R_i$ ) 的交互作用生成的完整消息路径。
特征 ( $D_i, B_i$ )： 对话中可测量的和不可测量的潜在特征（如语气、文明程度）。

该框架区分了设计诱导的干预（被随机化的部分）与实现的暴露（受访者实际经历的部分）。文章利用有向无环图（DAGs）来说明受访者特质 ( $U_i$ ) 如何同时影响对话路径和结果，从而在随机分配的情况下产生内生性。

论文定义了一套因果估计量分类法，每种估计量都对应不同的理论对象并需要不同的识别假设：

分配效应 ( $\tau_Z$ )： 被分配到某一条件的意向性治疗（ITT）效应。在标准的随机化假设（一致性、无干扰、可忽略性、正值性）下是可识别的。
开场消息效应 ( $\tau_{A0}$ )： 初始消息的效果。如果消息是直接随机化的，则是可识别的，但如果消息是某种潜在特征的代理变量，则往往存在混淆。
政策效应 ( $\tau_\pi$ )： 部署特定对话机制的效果。在政策随机化的前提下（假设实现过程稳定）是可识别的。然而，这是一个聚合效应，平均了多样化的对话轨迹。
消息效应 ( $\tau_{A_t}$ )： 在给定历史记录的情况下，特定消息的效果。这需要序列可忽略性（即下一条消息在给定历史记录的情况下是“仿佛随机”的）。论文指出，由于历史记录受受访者特质的影响，这一假设经常被违反。
特征效应 ( $\tau_D$ )： 潜在特征（如不文明程度）的效果。这要求特征的变化必须与消息的其他未测组成部分解耦（捆绑偏差）。
实现的对话效应 ( $\tau_C$ )： 完整路径的效果。这需要对话可忽略性，这通常是不可检验的，且在对话是共同生成的背景下不太可能成立。
剂量效应 ( $\tau_E$ )： 暴露于某一特征的累积效应。它继承了特征层面存在的混淆问题。

主要结果与命题
论文提出了几个形式化对话场景中识别限制的命题：

命题 1（选择偏差）： 比较不同消息之间的结果无法分离出消息效应，因为这些消息是由不同的历史记录生成的，而历史记录是由未观察到的受访者特质 ( $U_i$ ) 驱动的。
命题 2（特征捆绑偏差）： 感兴趣的特征（如语气）的变化通常与其他未测量的消息维度捆绑在一起。随机化消息并不能分离出特征效应。
命题 3（路径的内生性）： 实现的对话既是处理变量，也是受访者特征的指标。比较实现的路径会将处理效应与受访者异质性混淆。
命题 4（剂量的继承性）： 将特征聚合为剂量度量并不能解决在特征层面存在的底层混淆问题。

研究设计启示
作者提出了几种旨在使估计量与研究目标保持一致的设计策略：

使估计量与设计匹配： 研究者必须明确自己感兴趣的是分配、政策还是特定特征，并据此设计随机化。
轮次级随机化： 不再随机化整个条件，而是在特定轮次（基于历史记录）随机化特定消息。这为特定的对话状态创造了一个局部平均处理效应（LATE），从而减少内生性。
条件平均处理效应 (CATE)： 通过对历史记录的表征（例如“文明”与“敌对”语境）而非高维度的完整历史进行条件化，研究者可以估计消息效应如何随语境变化。
平均边际成分效应 (AMCE)： 通过在观察到的对话语境分布上聚合 CATE，来总结平均消息效应。
工具变量 (LATE)： 当无法直接操纵实现的暴露时，可以将“分配”作为实现特征的工具变量，从而识别出“遵从者”（即其对话路径被分配所改变的人群）的局部平均处理效应。
约束协议： 通过限制消息空间（例如采用多项选择响应）来提高经验支持的可比性，尽管这可能会牺牲生态效度。

意义与主张
本文声称提供了一套用于定义和解释对话场景（尤其是由 AI 中介的对话）中因果效应的通用语言。其主要贡献不在于建议研究者仅退缩到易于识别的估计量（如 ITT）上，而在于澄清研究“说服”或“审议”等复杂且具有丰富理论意义的对象时所涉及的权衡。

作者认为，在“被分配的内容”与“被经历的内容”之间存在差距，是社会互动的基本特征，而非仅仅是方法论上的失败。通过明确从分配转向实现特征所需的假设，该框架使学者能够：

更好地将经验策略与理论目标对齐。
对发现结果进行带有适当谨慎的解释，以应对潜在的混淆。
创新研究设计（例如序列随机化）以针对特定的因果对象。

论文总结道，虽然对话之所以强大是因为其具有适应性和共同产生性，但这些特性也使得因果效应更难定义和识别。该框架的作用是引导研究者应对这种复杂性，而非消除它。