💬 NLP

Prompt-Counterfactual Explanations for Generative AI System Behavior

本文提出了一种用于生成提示词反事实解释（PCEs）的新颖框架和算法，旨在解释特定输入提示如何影响生成式人工智能的输出特征，从而实现更有效的提示词工程、红队测试和合规监管。

原作者： Sofie Goethals, Foster Provost, João Sedoc

发布于 2026-01-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Sofie Goethals, Foster Provost, João Sedoc

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个才华横溢但有点捉摸不定的创意助手。你给它一个提示词（请求），它就会写出一个故事、一封邮件或一篇文章。有时，结果非常完美；但有时，它可能会无意中显得过于愤怒、过于政治化，甚至说了一些粗鲁的话。

核心问题是：它为什么会那样做？ 是因为你提问的方式吗？是因为你使用了某个特定的词吗？还是仅仅是一个随机的偶然？

这篇论文介绍了一种名为**提示词反事实解释（Prompt-Counterfactual Explanations, PCEs）**的新工具来回答这个问题。你可以把它想象成一个针对你提示词的“如果……会怎样？”机器。

问题所在：“黑箱”与“掷骰子”

通常，当我们试图解释为什么 AI 做出了某个决定时，我们观察的是一个简单的输入（如“收入：5万美元”）和一个简单的输出（如“贷款被拒绝”）。我们可以说：“如果你的收入是6万美元，你就会获得批准。”

但生成式 AI（如你所熟知的聊天机器人）是不同的。

它不是一个简单的开关： 它不仅仅是回答“是”或“否”，它会撰写整个段落。
它是在掷骰子： 即使你两次询问完全相同的问题，AI 也可能给出两个略有不同的答案。一个可能很有礼貌，另一个可能很暴躁。

正因如此，旧的解释工具不再奏效。你不能简单地说“如果你删掉这个词，答案一定会改变”，因为即便你不改动，AI 也可能仅仅因为随机性而改变答案。

解决方案：“厨师与品鉴师”

作者提出了一种看待这个问题的新方式。想象一下，AI 是一位厨师，而旁边站着一位品鉴师（分类器）。

厨师（即 AI）： 你给厨师一个食谱（提示词）。厨师烹饪出一道菜（输出）。
品鉴师： 品鉴师品尝这道菜并给出一个评分。是太辣了吗？是否带有政治色彩？是否具有攻击性？
实验： 厨师将同一份食谱烹饪 100 次。有时菜肴很辣，有时则不然。品鉴师给出一个平均分。

现在，PCE 工具介入了。它会问：“如果我们从食谱中删掉‘辣’这个词会怎样？”

它让厨师将新食谱烹饪 100 次。

场景 A： 菜肴仍然很辣。好吧，删除那个词并没有帮助。
场景 B： 菜肴现在变得温和了。成功！工具发现“辣”这个词才是主要元凶。

这个过程会在不同的单词或句子上重复进行，直到工具找到停止 AI 产生“不良”输出（如毒性或偏见）所需的最小变更集。

他们的发现（案例研究）

他们在三个真实场景中测试了这个想法：

1. 政治偏见测试

设置： 他们要求 AI 根据标题撰写新闻故事。
结果： 他们发现，标题中的特定词汇（如“内塔尼亚胡”或“特朗普”）经常触发 AI 撰写倾向于极右政治立场的故事。
神奇之处： 当他们用同义词替换这些特定词汇（例如，将“诉讼”改为“法律案件”）时，AI 的故事变得更加中立。这证明了提示词中的用词选择驱动了偏见，而不仅仅是 AI 内部的大脑。

2. 毒性测试

设置： 他们尝试寻找能让 AI 说出粗鲁或仇恨言论的提示词。
结果： 即使使用非常安全的提示词，AI 有时也会失误。PCE 工具识别出了那些将 AI 推向毒性边缘的微小、特定的词汇。
神奇之处： 这对“红队测试人员”（试图通过破坏系统来寻找缺陷的人）很有帮助。他们不需要盲目猜测会导致 AI 出错的随机词汇，而是可以使用 PCE 工具找到导致 AI 失效的语言中的精确“弱点”，从而使系统更安全。

3. 情感测试

设置： 他们要求 AI 根据长且复杂的提示词撰写故事。
结果： 有时 AI 会写出非常悲伤或愤怒的故事。
神奇之处： 该工具不仅观察单个词，还观察整个句子。它发现，仅从提示词中删除一两个特定的句子，就能让悲伤的故事变成快乐的故事。这表明该工具可以处理复杂、冗长的指令，而不只是短语。

为什么这很重要

论文认为，我们不能盲目信任这些 AI 系统。我们需要知道它们为什么会表现出某种行为。

对于开发者： 这就像是一个调试工具。如果 AI 表现得粗鲁，你不需要靠猜；你可以看到提示词中究竟是哪个词导致了这种情况。
对于安全性： 它帮助机构对 AI 进行“压力测试”，以确保它不会意外说出有害内容。
对于控制力： 它为人类提供了一种通过微调提示词来“引导”AI 的方法，确保输出保持在安全且符合预期的范围内。

简而言之，这篇论文为我们提供了一个放大镜，让我们去观察交给 AI 的“食谱”，帮助我们准确理解哪些食材导致了味道不好，以便我们在端上桌之前修正食谱。

技术摘要：面向生成式人工智能系统行为的提示词-反事实解释 (Prompt-Counterfactual Explanations)

问题陈述

随着生成式人工智能系统（尤其是大语言模型，LLMs）被集成到高风险的现实应用中，理解这些系统不仅是生成了“什么”，更重要的是“为什么”变得至关重要。传统的可解释人工智能 (XAI) 技术，特别是反事实解释 (CFEs)，是为产生离散、确定性决策的预测系统设计的。然而，由于以下四个根本性挑战，直接将这些技术应用于生成式人工智能是不可行的：

输出复杂度： 生成式输出是复杂的、非结构化的、高维的（例如整个文档），这不同于传统分类器中一维且离散的输出。
输入结构： 标准的 CFE 方法通常将输入视为无序的特征集（如词袋模型），忽略了对 LLMs 至关重要的序列和语言结构。
替换策略： 定义有效的“反事实”需要灵活的策略来修改输入的“部分”（例如掩码处理、同义词替换），而这会随语境而变化。
非确定性： 生成式人工智能是随机性的；相同的提示词可能会产生不同的输出。传统的 CFEs 假设输入到输出之间存在确定性的映射，如果没有概率框架，那么“什么样的改变会改变输出？”这一问题将难以定义。

本文关注的是生成式人工智能行为的一个特定子类：即通过下游分类器揭示出的输出是否表现出某种特定特征（例如毒性、政治偏见、负面情绪）。其目标是识别对输入提示词进行最小化修改，从而改变该特征的概率或聚合得分。

方法论：PCE 框架

作者提出了一个提示词-反事实解释 (PCE) 框架，旨在将 CFEs 适配于非确定性的生成式系统。

核心概念

该框架将生成式人工智能系统与下游分类器视为一个统一的流水线。PCE 被定义为一组最小的输入元素（单词、短语或句子），其移除或修改会导致下游分类器的聚合得分降至用户定义的阈值以下。

PCE-1 算法

论文介绍了一种用于生成这些解释的直观算法 (Pke-1)：

初始评分： 将原始提示词 $S$ 传递给生成模型 $G$ 以产生 $N$ 个样本。下游分类器 $C_m$ 对这些样本进行评估，聚合函数 $f_{Cm}$ 计算出一个得分（例如平均情感、毒性输出的比例）。如果该得分超过阈值，则继续执行过程。
元素级敏感度： 算法遍历提示词中的元素（例如单词）。对于每个元素 $e_i$ ，它创建一个修改后的提示词 $S \setminus e_i$ （通常通过用下划线掩盖该元素），并重新运行生成和分类过程。
解释构建：
- 单元素： 如果掩盖单个元素能使聚合得分降至阈值以下，则将其记录为单元素解释。
- 多元素子集： 算法构建尚未被识别为单元素解释的元素子集。它按基数（优先选择较小的集合）和得分影响进行排序。它测试各个子集，观察其移除是否能降低得分至阈值以下。
- 终止： 当找到目标数量的解释或达到时间限制时，搜索停止。

该框架在聚合得分（均值、中位数、极端事件概率）和阈值的定义上具有灵活性，使其能够适应不同的风险概况（例如，是最小化平均毒性，还是确保零毒性输出）。

核心贡献

系统性适配： 这是首次将标准的反事实解释系统地适配到带有下游分类器的生成式人工智能系统中。
挑战解决： 论文明确列出了将 CFEs 应用于生成式人工智能的四个挑战，并提出了一个解决这些挑战的框架（通过下游分类工作流、灵活的输入单元、掩码策略和概率评分）。
算法实现： 展示了 PCE-1 算法，这是一个用于生成提示词-反事实解释的原理验证方法。
实证验证： 在三个具有不同输出特征和数据分布的案例研究中演示了 PCE 的生成。

结果：三个案例研究

作者使用 LLaMA 3.1-8B 和 OLMo-2-0425-1B 在三个领域评估了该框架：

1. 政治倾向检测

设置： LLMs 根据标题生成新闻故事；分类器判定政治倾向（左翼/中间/右翼）。
发现： PCE 识别出了标题中特定的词汇（例如 "Netanyahu"、"IMF"、"Trump"），当这些词被掩盖时，显著降低了生成右翼倾向输出的概率。
泛化性： 包含 PCE 识别出的前 20 个单词的标题，其生成偏向性输出的可能性（49.8%）显著高于随机标题（38.3%）。
应用： 在提示词工程过程中，将这些识别出的词替换为同义词，使右翼倾向得分从 0.498 降至 0.314，证明了 PCEs 在偏见感知提示词工程中的效用。

2. 毒性预测

设置： 使用 RealToxicityPrompts 数据集，研究重点在于罕见的毒性生成。
发现： PCEs 识别出了特定的触发词（例如 "Confederate"、"Bannon"），当这些词被掩盖时，会降低毒性输出的频率。
应用（红队测试）： 使用从 PCEs 中提取的词汇生成新的提示词，其毒性输出率（3.0%）高于随机选词（2.3%），这表明 PCEs 可以作为红队测试和漏洞发现的有效灵感来源。

3. 情感分类

设置： LLMs 根据长篇提示词生成故事；目标是减少负面情绪。
发现： 框架成功识别了驱动负面情绪的长篇提示词中的特定句子。掩盖这些句子通常能将平均负面情绪得分降至接近于零。
应用： 对 PCEs 识别出的特定句子进行改写（而非随机句子），比随机改写能更大幅度地降低负面情绪（0.28 对比 0.31 的随机改写），验证了解释的精准度。

意义与主张

论文将 PCEs 定位为迈向生成式人工智能面向提示词的可解释性 (prompt-focused interpretability) 的基础性一步。作者主张：

PCEs 为这些模型应用于更高风险任务时提供了必要的透明度和问责能力。
它们提供了一个实用的工具用于提示词工程 (prompt engineering)，通过理解特定提示词元素与模型行为之间的因果联系，允许开发者抑制不理想的输出特征。
它们增强了红队测试 (red-teaming) 工作，通过精准定位触发有害行为的特定输入特征，实现更具针对性的压力测试。
至关重要的是，这项工作区分了技术正确性（识别影响输出特征的输入元素）与上下文效用（利益相关者如何使用这些信息）。论文确立了前者是实现后者的前提条件。

作者承认了局限性，指出 PCEs 可能无法解释那些无论提示词如何改变都会持续存在的模型训练固有偏差，并且对于大型提示词，生成 PCEs 的计算成本可能很高。他们建议未来的工作方向包括优化搜索效率，并将该框架扩展到其他模态（图像、音频）以及个性化的 LLM 上下文。