📊 statistics

The Information Geometry of Softmax: Probing and Steering

本文论证了定义 Softmax 分布的 AI 表示空间具有信息几何结构，并据此提出了能最优修改目标概念同时最小化干扰其他概念的“双重 steering"方法，从而增强了概念操控的鲁棒性与稳定性。

原作者： Kiho Park, Todd Nief, Yo Joong Choe, Victor Veitch

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Kiho Park, Todd Nief, Yo Joong Choe, Victor Veitch

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图驾驶一艘庞大且复杂的船（一个 AI 模型）前往一个特定的目的地（一个新概念，比如将一个句子从“他”改为“她”，或者将一张“狗”的图片变为“猫”）。

长期以来，研究人员一直试图通过简单地向直线方向转动方向盘来驾驶这些船。他们假设海洋是平坦且均匀的，就像一片巨大的冰面。如果他们想向北行驶，就直接把轮子向北转。这被称为欧几里得转向（Euclidean steering）。

然而，这篇论文指出，AI 模型航行的海洋并不是平坦的冰面。它实际上是一个弯曲、崎岖的地形，其中两个点之间的“接近程度”取决于船只的行为有多相似，而不仅仅是它们在地图上看起来有多远。作者称之为信息几何（Information Geometry）。

以下是他们的发现和他们的新方法——**对偶转向（Dual Steering）**的拆解，使用了简单的类比：

1. 问题：“平坦地图”陷阱

论文开头提到，目前大多数方法将 AI 的内部思想（表示）视为存在于一个平坦、直线世界中的事物。

类比： 想象你正在混合两种颜色的油漆。如果你在一条直线上混合红色和蓝色，你会得到紫色。但如果你在混合概率（比如下雨的概率与晴天的概率），数学逻辑是不同的。
问题所在： 当研究人员沿着直线推动 AI 以改变某件事物（例如，从“狗”到“猫”）时，他们会不小心把油漆溅得到处都是。AI 可能会突然开始谈论“自行车”或“云朵”，仅仅是因为那次直线式的推动扰乱了整个系统的平衡。这被称为“目标外泄露（off-target leakage）”。

2. 解决方案：“弯曲地图”（信息几何）

作者意识到，AI 的“大脑”运作起来就像一台概率机器。当 AI 决定下一个词说什么时，它使用一种叫做 Softmax 的数学工具将数字转化为百分比（概率）。

洞察： 因为 AI 处理的是概率，它所生活的空间是弯曲的。在这个弯曲的空间里，“最直”的路径并不是一条直线；它是一条尊重概率规则的曲线。
类比： 想象地球。如果你想从纽约飞往伦敦，最短的路径不是穿过地心的直线，而是沿着表面（大圆航线）的曲线。如果你尝试穿过地球进行直线飞行，你会坠毁。同样，如果你试图在 AI 的弯曲概率空间中进行“直线”转向，你会撞上不相关的概念。

3. 新方法：“对偶转向”

论文引入了一种新的 AI 转向方法，称为对偶转向（Dual Steering）。与其在直线方向上推动 AI（欧几里得方式），不如沿着概率空间的自然曲线进行转向。

它是如何工作的：
- 欧几里得转向（旧方法）： 你抓住方向盘，直接猛地向“猫”的方向转动。这样做时，你无意中撞倒了仪表盘上的“狗”和“鸟”雕像。
- 对偶转向（新方法）： 你使用一张知道地形是弯曲的特殊地图进行导航。你沿着一条路径引导船只，在改变“狗”到“猫”的同时，完全不触碰“鸟”或“自行车”雕像。
“对偶”的概念： 论文解释说，观察 AI 数据有两种方式：
1. 原空间（Primal Space）： AI 看到的原始数字。
2. 对偶空间（Dual Space）： AI 产生的实际概率（行为）。
  作者发现，为了干净利落地改变行为，你需要在“对偶空间”（概率的世界）中进行转向，然后将其翻译回原始数字。

4. 他们的证明

作者从数学上证明了对偶转向是“金发姑娘原则”（即恰到好处）的方法：

它成功地改变了目标概念（例如，让 AI 说出“猫”而不是“狗”）。
它最大限度地减少了损伤。它使无关事物的概率（如“朋友”或“自行车”）保持与之前完全相同的水平。

5. 现实世界测试

他们在真实的 AI 模型（如用于文本的 Gemma-3 和用于图像的 MetaCLIP）上进行了测试。

文本示例： 当他们要求 AI 将一个句子从“他是我的……”改为“她是我的……”时，旧方法无意中让 AI 在奇怪的方式下开始谈论“朋友”或“叔叔”。新方法在完美改变“他”为“她”的同时，保持了句子的其余结构和意义不变。
图像示例： 当将一张“猫”的图片变为“狗”时，旧方法有时会意外地在图中加入“狗猫混合体”或“自行车”。新方法则干净利落地将猫替换为狗，同时保持背景和其他物体原封不动。

总结

该论文声称，AI 模型并不生活在平坦的地图上，而是生活在一个弯曲的、基于概率的地形上。如果你试图用直线来驾驶它们，就会引发混乱。通过使用对偶转向——即尊重该地形自然曲线的方法——你可以改变 AI 对某一特定事物的看法，而不会意外破坏其他一切。

注：该论文严格关注这些模型运作的几何结构以及如何使用线性探针（linear probes）对其进行转向。它并不声称解决了通用的 AI 安全问题，也没有讨论临床或医疗应用。它纯粹是关于如何让 AI 的“方向盘”更加精准，且不易产生意外的副作用。

技术摘要：Softmax 的信息几何学：探测与引导

问题陈述

当前解释和操纵 AI 模型的方法通常依赖于线性表示假设（linear representation hypothesis），该假设认为高层概念对应于模型向量表示空间中的特定方向。虽然这一假设已使识别和引导概念（如情感、真实性）的方法成为可能，但现有技术往往较为脆弱，且效果不如直接微调。作者指出，一个主要限制是这些技术隐含地假设表示空间具有平坦的欧几里得几何结构。论文认为，对于使用 softmax 分布的模型（包括 Transformer、LLM 以及像 CLIP 这样的对比模型），表示空间的自然几何结构并非欧几里得几何，而是信息几何（information geometry）。因此，标准的欧几里得运算（例如直接向表示向量添加探测向量）可能会失效，或者导致非预期的“离靶”漂移（off-target drift），即概率质量泄漏到无关的概念上。

方法论

论文将“表示向量 $\lambda$ 的几何结构应反映其诱导概率分布 $P_\lambda$ 的接近程度”这一思想进行了操作化。

1. 信息几何框架

作者建立了一个由 Kullback-Leibler (KL) 散度诱导的 Bregman（对偶平坦）几何结构。该结构引入了以下两者之间的对偶关系：

原空间 ( $\Lambda$ )： 表示向量 $\lambda$ 的空间。
对偶空间 ( $\Phi$ )： 期望值（均值嵌入）的空间 $\phi(\lambda) = \nabla A(\lambda) = \mathbb{E}[\gamma | \lambda]$ ，其中 $A(\lambda)$ 是对数归一化因子。

论文区分了两种自然的插值路径：

原空间插值 (e-geodesic)： 原空间中的一条直线。它最小化逆向 KL 散度的加权和，表现得像一个 AND 算子，强调共享的高概率区域。
对偶插值 (m-geodesic)： 对偶空间中的一条直线。它最小化前向 KL 散度的加权和，表现得像一个 OR 算子，产生分布的线性混合，同时保留两个端点的语义特征。

2. 对偶引导 (Dual Steering)

其核心方法论贡献是对偶引导，这是一种修改表示以展示目标概念，同时最大限度减少对非目标概念影响的技术。

欧几里得引导的问题： 标准引导直接将探测向量 $\beta_W$ （对偶空间的一个元素）添加到原表示 $\lambda$ 中。在非欧几里得几何中，这是一种“类型不匹配”，并且经常导致离靶漂移。
对偶引导的解决方案： 对偶引导不是直接更新 $\lambda$ ，而是通过添加探测向量来更新对偶坐标 $\phi(\lambda)$ ： $\phi(\lambda_t) = \phi(\lambda_0) + t\beta_W$ 。
理论保证： 在概念可分解分布（concept-factorizable distributions）的假设下（即输出分布可以分解为目标概念分布和非目标分布），作者证明了对偶引导能够识别出既能修改目标概念，又能最小化非目标分布 KL 散度的极小值点。这有效地保持了无关 token 的相对概率。

3. 实际实现

由于对偶空间是一个有界的凸集，对偶坐标中的线性更新可能会超出可行域。为了解决这个问题，作者提出了正则化牛顿更新（Regularized Newton Update）：

使用对数归一化因子的 Hessian 矩阵（对应于未嵌入向量的协方差矩阵）来近似对偶坐标的变化。
通过求解线性系统 $\text{Cov}[\gamma | \lambda] \Delta \lambda = \epsilon \beta_W$ 来找到对应的原空间步长。
对协方差矩阵应用 Tikhonov 正则化 ( $\alpha I$ ) 以处理秩亏损问题（当 softmax 高度集中在少数 token 上时会发生这种情况），确保更新过程定义良好，并在必要时将分布推向更高熵的区域。
使用 共轭梯度法（Conjugate Gradient） 高效求解线性系统，而无需显式求逆大型协方差矩阵。

主要结果

作者在 Gemma-3-4B (LLM) 和 MetaClip-2 (视觉-语言模型) 上针对各种二元概念（例如：动词 $\Rightarrow$ 第三人称，狗 $\Rightarrow$ 猫，英语 $\Rightarrow$ 法语）评估了对偶引导。

非目标概念的保持： 实验结果表明，在保持非目标分布方面，对偶引导显著优于欧几里得引导。当进行“父亲” $\Rightarrow$ “母亲”的引导时，欧几里得引导常会导致“泄漏”（例如给无关的 token 如“朋友”分配显著概率），而对偶引导则能维持反事实对和中性 token 的概率质量。
鲁棒性指标： 即使在目标概念概率趋近于 1 时，对偶引导也比欧几里得方法实现了更低的 KL 散度和更小的非目标分布秩差异。
插值行为： 可视化确认，对偶插值 (m-geodesic) 表现为分布的线性混合，而原空间插值 (e-geodesic) 则倾向于抑制端点特定的输出，转而强调共享特征。

意义与主张

论文声称，内在信息几何的非欧几里得结构对于将几何操作与诸如引导之类的语义任务联系起来至关重要。

理论洞察： 它证明了线性表示假设必须在信息几何（特别是 Bregness 对偶性）而非平坦的欧几里得几何背景下理解，才能具备鲁棒性。
实际效用： 对偶引导提供了一种有理论依据的方法，用于鲁棒地操纵表示，并最大限度地减少非预期的副作用，为提高可解释性和控制方法的可靠性提供了模板。
适用范围： 虽然结果是基于 softmax 模型得出的，但作者认为利用内在几何的这一高层思想具有广泛的适用性。他们明确指出，这项工作旨在作为未来研究如何影响控制方法鲁棒性的几何结构的模板，特别是在模型的中间层。

作者对“探测假设”（即线性探测能完美捕捉整个超平面上的概念）保持谦逊，承认在实践中该假设可能并不完全成立，但对偶引导在经验上仍然优于欧几里得方法。