💬 NLP

Faithful-Patchscopes: Understanding and Mitigating Model Bias in Hidden Representations Explanation of Large Language Models

本文指出 Patchscopes 框架中存在一种系统性的不忠实性，即大语言模型依赖于固有的语言偏置而非上下文隐藏表示，并提出了 BALOR 方法来重新校准逻辑值，从而显著提高解释的忠实度。

原作者： Xilin Gong, Shu Yang, Zehua Cao, Lynne Billard, Di Wang

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Xilin Gong, Shu Yang, Zehua Cao, Lynne Billard, Di Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：解读 AI 的“思想”

想象一下，大型语言模型（LLM）就像一座巨大且复杂的工厂。当你向它提问时，它不仅仅是在思考，还在通过层层机械结构处理信息，创造出包含你请求中特定细节的内部“蓝图”（称为隐藏表示）。

最近，研究人员发明了一种名为 Patchscopes 的工具。你可以把 Patchscopes 想象成一台“读心机”。它提取其中一个内部蓝图，将其接入到一个新问题中，并要求 AI 用通俗易懂的语言解释这个蓝图的含义。

问题所在： 这篇论文指出，这种读心机往往是**不忠实（unfaithful）**的。它并不总是能如实反映蓝图中包含的内容。相反，它经常忽略你提供给它的具体细节，而只是重复它通常会想的内容。

类比：“西兰花”偏见

为了理解这个问题，想象你正向一个机器人展示一张紫色西兰花的照片。

现实情况： 在照片中，西兰花显然是紫色的。机器人的这个图像内部“蓝图”正确地编码了“紫色”这一颜色。
机器人的习惯： 然而，在现实世界中（以及机器人在大量文本训练中所学到的知识中），西兰花几乎总是被描述为绿色的。机器人有一个强烈的习惯：西兰花 = 绿色。
失效情况： 当你使用 Patchscopes 并基于那个紫色蓝图询问机器人“这颗西兰花是什么颜色的？”时，机器人忽略了紫色的证据。它回答道：“绿色。”

机器人太习惯于“绿色”这个习惯，以至于它覆盖了其自身记忆中的实际证据。论文将此称为由不平衡语言模式（看到“绿色西兰花”的次数比“紫色西兰花”多 100 倍）导致的模型偏差（Model Bias）。

解决方案：BALOR（“事实核查员”）

作者提出了一种名为 BALOR（通过对数几率重校准实现偏差对齐）的新方法来解决这个问题。

你可以把 BALOR 想象成一个运行并行模拟的智能事实核查员。以下是它的工作原理：

“有偏差”的猜测： 机器人看着紫色的西兰花，依赖于其坏习惯，认为：“它很可能是绿色的。”
“对比”猜测： BALOR 向机器人提出了第二个问题：“如果我没有给你看照片，只是泛泛地问你关于西兰花的问题，你会怎么说？”机器人回答：“绿色”（因为这是它的默认偏差）。
数学魔法： BAL car 对这两个答案进行比较。它意识到：“机器人在两种情况下都说了‘绿色’。但第一种情况下，它明明看到了紫色的照片！既然它仍然说‘绿色’，说明它的偏差太强了。”
修正： BALOR 从“基于图像的答案”中减去“默认偏差”。它本质上是在说：“好吧，我们知道你会因为习惯而想说‘绿色’。但既然照片显示是‘紫色’，那我们就增强‘紫色’的信号，并抵消掉‘绿色’的习惯。”

通过在机器人写出最终答案之前，对其信心水平（称为 logits）进行这种数学运算，BALOR 迫使机器人关注特定的上下文（即紫色的西兰花），而不是它的通用习惯。

研究发现

研究人员在四个不同的 AI 模型（如 Llama 和 Qwen）上进行了测试，使用的是关于颜色、性别和文化等棘手问题的数据集。

问题是真实存在的： 在没有帮助的情况下，由于 AI 不断陷入偏差，其解释出错的概率为 18% 到 28%。
BALOR 有效： 通过使用这种“事实核查”方法，他们显著提高了准确性。在某些情况下，AI 对实际持有信息的忠实度提高了 33%。
无需“手术”： 与其他需要重新训练整个 AI（这既昂贵又会改变 AI 的思维方式）的方法不同，BALOR 就像是一个在过程最后阶段运行的过滤器。它在不改变 AI 大脑的情况下修复了答案。

总结

这篇论文表明，AI 模型经常会对它们内部所“知道”的内容撒谎，因为它们过于固执于训练中的习惯。作者构建了一个名为 BALOR 的工具，它像一名裁判一样，能够识别出 AI 何时为了遵循习惯而忽略证据，并通过数学手段引导它说出真相。这使得试图解释 AI 如何思考的工具变得更加可靠。

技术摘要：Faithful-Patchscopes

1. 问题陈述

大语言模型（LLMs）已展示出通过 Patchscopes 框架（Ghandeharioun et al., 2024）解释其内部隐藏表示的能力。该框架通过将源表示“修补”（patching）到目标提示词中，将隐藏状态解码为人类可读的解释。然而，本文指出一个关键的局限性：这些解释存在系统性的不忠实性（systematic unfaithfulness）。

作者观察到，LLM 在解码过程中往往依赖于内在的语言模式（经验先验），而非隐藏表示中所编码的上下文信息。例如，如果一个隐藏表示编码了“西兰花”的属性为“紫色”（尽管通常西兰花与“绿色”相关联），模型往往会忽略编码的“紫色”，而在其解释中生成“绿色”。这种行为是由模型偏差驱动的，这种偏差是由训练数据中不平衡的语言模式引起的，即高频关联会覆盖低频的上下文属性。

本文认为现有的去偏方法并不适用于 Patchscopes：

监督微调（SFT） 需要昂贵的标注数据集，并且会全局改变模型参数，从而改变了 Patchscopes 旨在解释的原始隐藏表示。
基于提示词的方法（Prompt-based methods） 不稳定且对提示词设计高度敏感。
转向向量干预（Steering vector interventions） 假设偏差存在于定义良好的、线性可分的方向上，这难以可靠地估计。

2. 方法论

2.1. 数据集与分析

为了系统地研究这一问题，作者构建了一个涵盖四个任务的数据集：颜色（Color）、性别（Gender）、文化（Culture）和年龄（Age）。

偏差子集（Biased Subset）： 包含名词-属性对，其中模型根据语言频率表现出对主要属性（ $a_{pri}$ ）的强烈偏好（例如：西兰花 $\rightarrow$ 绿色），而次要属性（ $a_{sec}$ ）则是上下文提供的（例如：西兰花 $\rightarrow$ 紫色）。
非偏差子集（Non-biased Subset）： 包含不存在强烈语言偏好的词对。

研究结果：

因果联系： 逻辑回归分析证实，不平衡的语言模式（属性之间的频率差距）是模型偏差的一个显著决定因素。频率差异每增加一个标准差，偏差发生的几率会增加约 9.3 倍。
忠实度下降： 在偏差子集上，Vanilla Patchscopes 的忠实度（通过 Show Rate，即正确属性生成的比例来衡量）相比于非偏差子集平均下降了 18.84%。

2.2. 定位偏差敏感层

作者提出了一种方法来识别编码偏差并开始影响下游计算的具体层。他们引入了两个指标：

Logit 差异（Logit Difference, LD）： 使用 Logit-lens 方法，测量每一层中上下文对齐的属性与偏差属性之间的 Logit 差异。
梯度相似度对齐（Gradient Similarity Alignment, GSA）： 测量输出梯度与属性方向之间的对齐程度，以确定模型是依赖于偏差信息还是上下文信息。

这些指标被结合成一个层选择分数（ $l^*$ ），用于确定干预的最佳层。作者发现，偏差并不是均匀分布的，而是出现在中间层。

2.3. 提出的解决方案：BALOR

本文引入了 BALOR（通过 Logit 再校准实现偏差对齐），这是一种解码时的干预手段，可以在不修改模型参数的情况下减轻偏差。

核心机制：
BALOR 利用一对对比提示词：

目标提示词（Target Prompt, $T$ ）： 包含修补后的隐藏表示（编码了上下文属性）。
对比提示词（Contrastive Prompt, $T^*$ ）： 将占位符替换为原始 Token，其中不包含任何上下文信息，从而仅反映模型的经验偏差/先验。

Logit 再校准：
该方法在应用 Softmax 函数之前，从目标提示词的 Logit 中减去对比提示词的缩放 Logit：
$p_{balor}(y | T) = \sigma \left[ (1 + \alpha) l_\theta(y | T) - \alpha l_\theta(y | T^*) \right]$
其中：

$l_\theta(y | T)$ 和 $l_\theta(y | T^*)$ 是 Pre-softmax 的 Logit。
$\alpha$ 是控制放大程度的超参数。

理论保证：
定理 4.1 证明，在对数几率（log-odds）空间中，如果一个 Token 受修补证据的支持程度高于受对比先验的支持程度，那么随着 $\alpha$ 的增加，BALOR 会单调地增加其相对偏好。这有效地隔离了偏差成分并放大了上下文信息。

模式：

共享模式（Shared Mode, Mode S）： 使用再校准后的分布为两个提示词采样 Token，保持序列同步。
分离模式（Divided Mode, Mode D）： 仅对目标提示词进行再校准；对比提示词使用原始 Logit 进行解码。

3. 核心贡献

数据集与分析： 设计了一个数据集来评估偏差条件下的 Patchscopes，证明了模型偏差从根本上限制了解释的忠实度（导致性能下降 11.84% 至 28.47%）。
BALOR： 引入了一种 Logit 再校准解码方法，通过将修补后的表示与经验先验进行对比，在推理阶段减轻偏差。
实证验证： 在四种现代 LLM（Llama2-7b, Llama3.2-1b, Llama3-8b, Qwen3-4b）上进行了广泛实验，表明 BALOR 始终优于基线方法。

4. 实验结果

实验在四个任务下分别在 Zero-shot 和 Few-shot 设置下进行。

性能： BALOR（特别是 Mode S）的表现始终优于所有基线方法，包括 Vanilla Patchscopes、提示引导方法（Closed-Book, Internal-Evidence, Data-Bound）、SFT 以及 FairSteer。
提升： 与 Vanilla 基线相比，BALOR 在 Show Rate（SR）上实现了高达 33% 的相对性能提升。
稳定性： Mode S 在不同的超参数（ $\alpha$ ）和采样温度下表现出高度的稳定性。Mode D 则表现出更多的变异性和由于提示词间序列分歧导致的偶尔不稳定。
对比：
- 基于提示词的基线方法不稳定，且往往表现不如 Vanilla 基线。
- 当微调数据与评估数据发生冲突时，SFT 方法的性能会显著下降。
- 当去偏方向不准确时，FairSteer 表现较差。

5. 重要性与主张

本文主张，不平衡的语言模式会诱发模型偏差，从而扭曲隐藏表示解释的忠实度。 通过提出 BALOR，作者提供了一种无需更改模型参数或内部表示即可恢复隐藏表示中所编码真实信息的机制。

作者强调，其工作提高了 LLM 可解释性的可靠性。他们指出，虽然其方法增强了忠实度，但生成的解释不应被视为模型推理的确定性证据，而应与补充性的评估技术结合使用。这项工作旨在帮助研究人员更好地理解 LLM 如何编码和使用上下文信息，这对于这些模型的可靠部署至关重要。作者认为该工作不会直接产生负面的社会后果。