💬 NLP

FishBack: Pullback Fisher Geometry for Optimal Activation Steering in Transformers

本文介绍了 FishBack，这是一种新颖的激活转向方法，它通过使用费舍尔信息度量（Fisher information metric）取代存在缺陷的欧几里得假设来推导最优转向方向，从而显著减少了各种规模和层级的 Transformer 模型中的非目标失真。

原作者： Sihan Wang, Jiayi Zhao, Qingyan Cao, Hongbo Yao, Lin Shu

发布于 2026-08-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sihan Wang, Jiayi Zhao, Qingyan Cao, Hongbo Yao, Lin Shu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大语言模型是庞大的人工神经元网络，通过阅读数万亿个示例，学会了如何预测句子中的下一个词。一旦训练完成，这些模型会变得极其有用，但它们也可能表现得固执或不安全，生成带有偏见、不诚实或仅仅不是用户意图的内容。多年来，研究人员一直试图通过在模型工作时为其内部计算添加一个微小的“推力”来修复这些行为。这种被称为“激活转向”（activation steering）的技术，涉及在模型的隐藏层中找到一个特定的方向，并沿着该路径推动数据，以鼓励某种期望的特征，例如真实性或特定的语法时态。这是一种轻量级的替代方案，避免了成本高昂且耗时的重新训练整个模型。然而，这些“推力”一直以来都极不可靠。在网络的一个部分效果完美的推力，在另一个部分往往会失效，或者更糟的是，它在修复一个问题的同时，意外地破坏了其他完全不同的东西，导致模型产生乱码或丧失其原有的个性。

根据华南理工大学研究人员的一项新研究，这种不稳定的核心原因在于对这些模型运行空间的根本性误解。现有的大多数方法将模型的内部状态视为一个平坦的、普通的网格，即在任何方向移动相同距离所付出的代价都是相等的。研究人员认为这种观点是错误的。实际上，语言模型内部的空间是弯曲且不均匀的，就像地球表面相对于平面地图而言。在其中一个方向移动一小段距离可能会剧烈改变模型的输出，而在相邻方向移动相同的距离则可能几乎没有任何影响。由于假设了一个平坦的表面，旧的方法本质上是在尝试让汽车穿越山脉直线行驶，却忽略了决定路径的陡坡和山谷。

为了解决这个问题，该团队开发了一种名为 FishBack 的新方法。他们不再靠猜测正确的方向，而是计算了模型正在导航的真实地形形状。他们发现，控制网络中间部分的微小变化如何影响最终输出的规则，是由一个被称为“费舍尔信息度量”（Fisher information metric）的特定数学属性决定的。该度量就像一张地形图，展示了在每个方向上地形有多“陡峭”或多“平坦”。通过将这张地图从模型的最终输出层向后回溯到发生转向的中间层，研究人员能够看清问题的真实几何结构。随后，他们利用这张地图找到了移动模型状态的最佳路径。这条路径不是直线，而是一条曲线路径，它能在实现期望的行为变化的同时，消耗最少的“能量”，并尽可能少地干扰模型的其余知识。

研究人员在三个不同规模的语言模型上测试了这种方法，规模从具有 768 个内部维度的较小模型到拥有超过四千个维度的巨型模型不等。他们专注于三个特定任务：将动词变为第三人称单数形式、变为进行时态，或变为过去时态。在每种情况下，他们都将这种新的几何方法与标准的平坦空间技术进行了对比。结果令人瞩目。在较小的模型上，与现有的最佳方法相比，新方法将不希望出现的副作用（研究人员称之为“目标外失真”）降低了高达六点五倍。在更大、更复杂的模型上，这种改进更加一致，在网络的早期和中间层，将不必要的改变减少了近四倍。

至关重要的是，这项研究还表明，旧的方法不仅效率较低，而且在方法论上存在根本缺陷。当研究人员在自己的系统中用简单的平坦假设取代复杂的几何地图时，性能显著下降，这证明了空间的曲率才是成功的关键。这种新方法通过为每种特定情况计算精确的最优方向，而不是使用一个适用于所有输入的固定向量来运作。这使得模型能够适应其内部状态在特定时刻的独特形状。研究人员还开发了一种方法，可以在不需要显式构建整个地图的情况下计算出这种复杂的方向，因为对于最大的模型来说，显式构建会过于缓慢。相反，他们使用了一种巧妙的近似法，仅通过几百次计算就能捕捉到景观的核心形状，使该技术在实际应用中变得可行。

研究结果表明，困扰当前激活转向方法的稳定性问题并非模型本身的漏洞，而是由于使用了错误的几何学来进行导航。通过承认语言模型的内部世界是弯曲的，且移动的代价随方向的不同而剧烈变化，FishBack 方法为引导这些系统提供了一种稳定且高效的方式。研究人员证明，这种几何修正法在网络的早期和中间层最为有效，因为那里的地形最为崎岖。随着数据向最终输出端移动，地形趋于平坦，复杂方法的优势也随之减弱，这与理论完全吻合。这项工作为使语言模型变得更加可靠和可控提供了一条清晰的路径，将一个脆弱的、试错式的过程转变为一个精确的、有数学依据的工具。

技术摘要：FishBack —— 用于 Transformer 最优激活转向的拉回 Fisher 几何学

1. 问题陈述

激活转向（Activation steering）已成为一种无需参数更新即可修改大语言模型（LLM）行为的轻量化方法。通过在推理时沿特定线性方向位移隐藏状态，研究人员可以放大或抑制特定概念（例如：真实性、情感、拒绝）。然而，现有的方法（如 CAA、ActAdd 和 ITI）表现出显著的脆弱性：它们在不同层之间不稳定，需要对系数进行精细调优，并且往往会扭曲与目标概念无关的行为。

作者将这些失败归因于现有方法所共享的一个基本且往往未被说明的假设：即中间激活空间是**欧几里得（Euclidean）**的。这些方法应用形式为 $h \leftarrow h + \alpha v$ 的更新，将该空间视为平坦的，即在任何方向上的步长成本都相同。论文指出这一假设是有缺陷的。虽然最终的 Softmax 层已知具有非欧几里得几何特性（Fisher-Rao 度量），但控制中间层（即实际进行转向操作的层）干预的几何结构却一直未被研究。因此，当前的方法沿着“直线”进行转向，这并非最优，且会导致高昂的非目标扭曲代价。

2. 方法论：FishBack 框架

本文提出了 FishBack 框架，该框架直接从模型的计算中导出中间层转向的正确几何结构，而非通过拟合数据。

2.1 拉回 Fisher 度量 (The Pullback Fisher Metric)

核心洞察在于：一次干预的代价不在于其欧几里得长度，而在于它在多大程度上改变了模型的预测标记分布。

输出度量： 在最后一层，预测的变化受 Softmax 头部的 Fisher 信息度量 $H$ 控制。
拉回 (Pullback)： 为了确定层 $\ell$ 处的扰动 $\delta h$ 的代价，作者通过网络的雅可比矩阵 $J$ （从层 $\ell$ 到输出的映射导数）将该度量“拉回”。
度量公式： 生成的度量为 $G = J^\top H J$ 。矩阵 $G$ 是拉回 Fisher 度量。它是对称正半定的，并对应于模型关于激活 $h$ 的负对数似然的广义高斯-牛顿矩阵。

2.2 最优转向方向

利用 $G$ ，寻找转向方向的问题变成了一个约束优化问题：在诱导目标概念变化的同时，最小化其余分布的移动（即非目标扭曲）。

概念余向量 (Concept Covector)： 概念方向表示为一个余向量 $q = J^\top \beta_W$ ，其中 $\beta_W$ 是目标概念的探针。
闭式解： 实现概念变化 $\rho$ 且最小化非目标扭曲（以 KL 散度衡量）的最优位移 $\delta h^\star$ 由下式给出：
$\delta h^\star = \frac{\rho}{q^\top G^\dagger q} G^\dagger q$
其中 $G^\dagger$ 是 Moore–Penrose 伪逆。
非目标最优性： 在满足可分性条件（即分布中的概念因子与内容因子相互独立）的情况下，最小化总 KL 散度等价于最小化非目标 KL 散度。因此，该方向在保持无关行为方面是最优的。

2.3 对 8B 规模模型的扩展性

显式构建 $G$ （大小为 $d \times d$ ）对于大型模型（如 Llama-3-8B, Qwen3-8B， $d=4096$ ）在计算上是不可行的。作者开发了一种无矩阵近似算法：

动作评估： 通过有限差分雅可比-向量积和反向传播来计算 $G$ 对向量的作用，从而避免显式构建矩阵。
低秩谱： $G$ 的谱高度集中。使用随机分解（秩为 50）来寻找用于计算逆矩阵的低维子空间。
冻结雅可比： 为了节省计算量，雅可比矩阵在初始点计算一次并保持固定，在转向步骤中仅更新 Fisher 信息和余向量。

3. 核心贡献

确定了正确的几何结构： 论文确立了控制中间层转向的度量是拉回 Fisher 信息（ $G = J^\top H J$ ），该度量直接从模型中闭式导出。这与假设平坦（欧几里得）度量的加法类方法形成了对比。
闭式最优方向： 作者推导出了一个闭式表达式，用于寻找在给定概念变化下使非目标 KL 散度最小的转向方向。该方向将原始概念余向量向输出几何中“廉价”的方向进行旋转。
可扩展的近似方案： 开发了一种无矩阵算法，可以在每个案例中通过几百次部分前向传播，恢复出 8B 规模模型的优化方向，使其适用于现代 LLM。
实证验证： 该框架在 GPT-2 Small、Llama-3-8B 和 Qwen3-8B 上针对三种动词形态概念（第三人称单数、进行时、过去时）进行了评估。

4. 实验结果

评估采用了一个反事实协议，通过在匹配的概念变化（确保等效的目标效应）下比较各方法，来衡量非目标扭曲（非概念标记的 KL 散度）。

GPT-2 Small： 与单个基准方法（CAA、ActAdd、ITI、ReFT、RepSurgery）相比，FishBack 将非目标 KL 散度降低了中位数 1.4 倍至 6.5 倍。与“针对特定案例的最佳”先验模型（即为每个特定案例选择最小非目标散度的基准方法）相比，FishBack 仍实现了更低的非目标散度，中位数比例为 1.25（FishBack 占优），胜率达 64%，尽管差距较小。
8B 模型 (Llama-3-8B, Qwen3-8B)： 在早期和中间层，FishBack 相对于基准方法的非目标 KL 散度中位数降低了 1.8 倍至 3.6 倍。
几何消融实验： 在保持其余流水线完全一致的情况下，将拉回度量 $G$ 替换为单位矩阵（欧几里得消融），会导致显著更高的非目标扭曲（比例为 1.3x 至 2.45x），这证实了性能提升归功于几何修正本身。
层依赖性： 几何优势在度量具有强各向异性的早期和中间层最为显著（条件数 $\sim 10^7$ ）。在深层，几何趋于平坦，优势随之减弱，这与论文中的理论预测一致。

5. 重要性与主张

论文声称，当前激活转向方法的这种不稳定性及非目标扭曲，源于忽略了模型表示空间的内在非欧几里得几何。通过利用拉回 Fisher 度量显式建模这种几何结构，FishBack 为干预提供了一个具有理论依据的最优方向。

理论严谨性： 该方法并不依赖于拟合数据的流形，而是直接从模型的雅可比矩阵和 Softmax 头中导出度量，保证了在二阶近似下的最优方向。
实际影响： 框架证明了即使在更大、更复杂的模型（8B 参数）中，几何修正依然能保持其优势，显著提高了行为修改的保真度。
局限性： 作者指出，该方法的优势取决于拉回度量的各向异性。在几何接近欧几里得（平坦）的极深层，几何修正带来的收益会缩小，这与论文中推导的理论界限一致。

总之，FishBack 将激活转向重新定义为在一个由模型自身信息几何定义的弯曲流形上进行导航的问题，为解决线性转向向量的脆弱性提供了一个稳健的解决方案。