Compared to What? Baselines and Metrics for Counterfactual Prompting

以下是论文《与什么相比？反事实提示的基线与指标》的详细技术总结。

1. 问题陈述

反事实提示是评估大语言模型（LLM）的标准方法，研究人员通过手术式地编辑输入（例如，将“男性”替换为“女性”）来隔离特定因素（例如，性别偏见）对模型输出的影响。其核心假设是：任何观察到的输出变化都可归因于目标语义变化的因果效应。

作者认为这一假设存在缺陷，因为它违反了因果推断中的处理变体无关性（Treatment Variation Irrelevance）原则。

• 问题所在：每一次反事实编辑都是一个“复合处理”。它将感兴趣的变量（例如，性别）与偶然的表面形式变化（例如，特定的词语选择、词元数量、措辞）捆绑在一起。
• 后果：已知 LLM 对任意措辞和词元变化非常敏感（提示敏感性）。因此，观察到的输出翻转可能是由文本结构的变化引起的，而非扰动的语义含义。
• 当前差距：先前的工作通常将原始扰动效应（例如，15% 的答案翻转率）解释为偏见或缺乏忠实性的证据，而没有将它们与由良性、保持语义的修改所诱导的“零”分布进行比较。

2. 方法论

作者提出了一个严格的框架，以区分目标效应（由感兴趣的变量引起）和通用模型敏感性（由文本修改噪声引起）。

A. 实验设计

1. 目标扰动（$D_{targeted}$）：标准干预措施（例如，性别交换、风格改变）。
2. 基线扰动（$D_{benign}$）：一种对照条件，旨在模仿目标的表面变化而不改变语义变量。
   • 词元调整的同义改写：主要基线。LLM 对输入进行同义改写以保留语义，但改变一部分词元，其比例与目标扰动的词元编辑百分比相匹配。这控制了模型敏感性随词元改变数量而增加这一发现。
   • 固定句子：次要基线，在提示前添加一个与主题无关的句子。
3. 统计检验：作者不使用原始指标进行比较，而是使用统计检验来确定目标条件下的发散是否显著超过基线条件下的发散。
   • 逐样本指标：对目标和基线发散值之间的差异进行配对 t 检验。
   • 聚合指标：对聚合统计量的差异进行非参数自举检验。
   • 回归：用于方向性假设，以估计系统效应的幅度和符号。

B. 评估的指标

该论文评估了三类指标以量化输出发散：

1. 聚合指标：
   • 翻转率：分类答案发生变化的实例比例。
   • 互信息（MI）：衡量跨条件响应的一致性。
   • Phi 系数（$\phi$）：区分一致性与系统性不一致。
   • 局限性：这些指标效力较低，且在类别不平衡下可能退化。
2. 逐样本分布指标：
   • Kullback-Leibler (KL) 散度：衡量答案选项概率分布的偏移。
   • Jensen-Shannon 散度 (JSD)：KL 散度的对称、有界变体。
   • 优势：即使最终决策边界未被跨越，这些指标也能捕捉到细微的分布偏移。
3. 回归系数：
   • 当扰动具有符号编码（例如，女性为 +1，男性为 -1）时，估计方向性偏移（$\beta$）。这刻画了偏见的幅度和方向。

3. 主要贡献

1. 方法论修正：证明如果没有幅度匹配的基线，反事实结果是不可解释的。观察到的效应通常反映的是通用提示敏感性，而非特定因素敏感性。
2. 框架提出：引入了一个统计检验框架，将目标扰动与词元匹配的同义改写基线进行比较。
3. 指标分析：通过实证证明，逐样本分布指标（JSD、KL）和回归显著比聚合指标（翻转率、MI、$\phi$）更有效，特别是在不平衡数据集中。
4. 开源：发布了 cfprompt，一个实现该框架的 Python 包。

4. 主要结果

A. 重访 MedPerturb（医疗偏见）

• 原始主张：先前的研究声称 LLM 对患者性别和医疗分诊中的风格线索高度敏感。
• 新发现：当与词元匹配的同义改写基线进行比较时：
  • 性别扰动：观察到的效应（例如，性别交换的 14.9% 翻转率）与基线同义改写效应（14.1%）在统计上无法区分。
  • 结论：在 120 次测试中，只有 5 次达到显著性（均与较小模型上的“多彩”风格扰动有关）。关于模型对患者性别具有特定敏感性的主张在很大程度上缺乏支持；这些效应很可能是来自通用文本敏感性的噪声。

B. 健全性检查

• 召回率（阳性对照）：当任务明确更改为“该患者是男性吗？”时，该框架正确检测到了巨大的显著效应，证明其并非过于保守。
• 精确率（阴性对照）：将患者的年龄改变一年（最小扰动）与基线相比未产生显著效应，证实了该框架的特异性。

C. Bias-in-Bios（职业偏见）

• 背景：测试模型是否将“教授”与男性关联，将“护士”与女性关联。
• 发现：
  • 聚合指标：显示出微小的、勉强显著的翻转率（例如，+0.7%），可能导致“无偏见”的潜在结论。
  • 逐样本指标（JSD/KL）：检测到统计显著的分布偏移（$p \approx 10^{-7}$）。
  • 回归：揭示了清晰的方向性偏见（$\hat{\beta} \approx -0.5$），表明将传记替换为女性会系统地降低“教授”标签的对数几率。
  • 洞察：偏见确实存在，但在决策边界之下运作（logits 发生偏移但未翻转二元答案）。只有回归和分布指标才能刻画这一点。

D. Q-Pain 复现（种族偏见）

• 复现一项关于疼痛管理中种族差异的研究，作者发现 5 个显著的种族效应中有 4 个具有对应的显著基线效应（同义改写）。这表明原始关于种族偏见的发现可能受到了通用文本敏感性的混淆。

5. 意义与实践指导

这篇论文从根本上改变了 LLM 评估中反事实提示的开展方式。

• “零”基线是强制性的：研究人员必须包含一个基线扰动（特别是词元匹配的同义改写）以建立零分布。如果没有这一点，“偏见”发现可能是提示敏感性的伪影。
• 指标选择至关重要：
  • 避免仅依赖翻转率或MI，因为它们缺乏效力且在类别不平衡下失效。
  • 使用JSD/KL来检测分布偏移。
  • 使用回归来量化效应的方向和幅度。
• 词元匹配：基线必须匹配目标扰动所改变的词元数量，因为模型敏感性随编辑幅度而增加。
• 启示：许多先前关于 LLM 偏见或不忠实的声明可能被夸大或归因错误。真实且微妙的偏见确实存在（如 Bias-in-Bios 所示），但需要更复杂的统计工具来检测。

总之，该论文认为反事实提示并非“即插即用”的诊断工具；它需要严格的统计控制，以将信号（真实因素敏感性）与噪声（通用提示敏感性）区分开来。