📊 statistics

The Geometry of Updates: Fisher Alignment at Vocabulary Scale

本文介绍了 FisherSketch，这是一种无需训练且流式高效的方法，它通过核均值嵌入来估计头部费舍尔对齐（head Fisher alignment），从而为具有共享词表的 LLM 家族实现可扩展的源选择和任务相似性诊断，克服了仅基于表示的指标以及全费舍尔矩阵计算成本高的局限性。

原作者： John Sweeney

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： John Sweeney

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个巨大的、经过高度训练的语言模型（就像一个懂得多种语言的超级聪明机器人）。现在，想象你想教这个机器人一项新的、特定的技能，比如编写化学公式（SMILES）或理解蛋白质结构。

核心问题是：你应该使用哪种现有的数据集来教它这项新技能？

通常，人们试图通过观察机器人在看到数据时是如何“思考”的（其内部激活状态）来回答这个问题。他们会问：“机器人看待化学公式的方式是否与看待蛋白质序列的方式相同？”如果答案是“是的”，他们就会假设机器人将很容易学会这项新任务。

问题：“学习的暗室”
本文认为，仅仅通过观察机器人的“思考方式”来导航，就像是在黑暗的房间里通过触摸墙壁来寻找路径。你可能会在两个不同的房间里摸到同一面墙，但这并不意味着家具（目标）在相同的位置。

作者将此称为**“激活缺失”（Activation-Dark）状态。两个任务对机器人的内部传感器（激活值）而言可能看起来完全一样，但当它尝试解决这些任务时所犯的错误**可能会指向完全相反的方向。如果你用错误的数据训练机器人，即使感觉是一样的，它也可能会学到错误的改进方向。

解决方案：FisherSketch（用于更新的“望远镜”）
作者引入了一个新工具——FisherSketch。与其仅仅观察机器人看到了什么，不如观察它计划如何改变自身以解决问题。

以下是核心思想的拆解与类比：

1. “更新”才是真正的关键

想象机器人是一个正在考试的学生。

表示相似性（旧方法）： 你观察学生在阅读问题时的神态。如果他们在读数学和历史题时看起来都同样专注且严肃，你就假设他们在这两门课上都会表现出色。
Fisher 对齐（新方法）： 你观察学生在答案纸上做的修改。
- 对于数学，他们可能会意识到：“我需要增加更多的数字。”
- 对于历史，他们可能会意识到：“我需要写下更多的日期。”
- 即使他们在阅读时看起来一模一样，他们的修改计划却是完全不同的。

论文证明了，如果你只观察“神态”（激活值），你就无法预测“修改”（更新）。两个任务可能看起来相同，但所需的改变却截然不同。

2. “词表规模”的挑战

机器人的词汇量非常庞大（超过 128,000 个词）。要为每一个单词计算“修改计划”，通常需要一台内存比地球上现存的所有计算机加起来还要大的计算机（每个任务 61 GB！）。对于成千上万个不同的任务来说，这是不可能实现的。

FisherSketch 就像是一个神奇的压缩技巧。

它并没有写下整个 61 GB 的修改计划，而是创建了一个微小的 16 KB “签名”（大约只有一张小照片的大小）。
它通过对数据进行一次“流式处理”（streaming pass），利用一种巧妙的数学技巧（随机投影），在从未写下所有数据的情况下，估算出修改的方向。
它捕捉了三样东西：
1. 激活（Activations）： 机器人看到了什么。
2. 误差（Errors）： 机器人哪里做错了。
3. 耦合（Coupling）： “看到”与“出错”是如何相互作用的。

3. “言语化偏移”（Verbalizer Shift）实验

为了证明这一点，作者运行了一个特定的测试，称为“言语化偏移”。

他们给机器人一个固定的提示词：“答案是……”
他们只改变了最后一个词（即“言语化器”/verbalizer），比如将“是/否”改为“正确/错误”。
结果： 由于提示词完全相同，机器人的内部“思考”（激活值）保持完全不变。旧的方法会说：“这两个任务是 100% 相同的！”
现实情况： 机器人的学习能力根据最后一个词的变化而发生了剧烈变化。
FisherSketch 正确地预测了这种变化，因为它观察了误差几何（error geometry）（即特定的最后一个词如何改变了机器人的错误），而旧的方法对此视而不见。

总结性主张

旧方法失效： 像 CKA（比较内部“思考方式”）这类指标无法预测机器人是否能很好地学习新任务，因为即使“思考方式”相同，其“误差”也可能不同。
新方法有效： FisherSketch 直接从数据流中估算“Fisher 对齐”（即更新计划的相似性）。
高效性： 它将海量数据压缩成极小的 16 KB 签名，使得瞬间比较数千个任务成为可能。
准确性： 在针对 Llama-3.1-8B 的测试中，FisherSketch 在挑选微调的最佳源数据方面，表现远优于仅观察激活值的传统方法，尤其是在那些“思考方式”未变但“学习目标”发生变化的复杂案例中。

简而言之，这篇论文指出：不要只问机器人看到了什么；要问它计划如何修正自己的错误。 而且，你可以利用他们发明的新工具 FisherSketch，高效地实现这一点，即使面对规模巨大的模型也是如此。

技术摘要：更新的几何学：词表规模下的 Fisher 对齐

1. 问题陈述

本文探讨了针对共享词表但预测目标不同（例如，将共享分词器适配到 SMILES、蛋白质序列或基因组数据）的大语言模型（LLM）家族进行**无需训练的源选择（training-free source selection）**所面临的挑战。

当前的迁移性指标在这一“激活暗区（activation-dark）”机制中面临困境：

表示相似性指标（如 CKA、RSA、SVCCA）基于冻结的激活值计算相似性。作者认为这些指标对于头部层级的迁移是不可识别的（non-identifiable），因为它们忽略了标签条件误差的几何结构。模型可以拥有完全相同的表示，却具有正交的更新方向。
经典的更新几何指标（如 Fisher 对齐）在理论上能捕捉必要的更新结构，但在词表规模下（ $K \sim 10^5$ ）在计算上是极其昂贵的。存储误差二阶矩矩阵 ( $\Gamma_e$ ) 每个任务需要约 61 GiB，这使得精确计算在面对大规模候选集时变得不可行。

核心问题是：如何高效地估计词表规模下的参数更新几何兼容性（Fisher 对齐），而不依赖于可能产生误导的仅激活信号，也不必实例化巨大的矩阵？

2. 方法论

理论基础

作者建立了一个理论，即对于线性头部，单样本梯度 $g$ 可以精确分解为前层激活 $a$ 与逻辑空间误差 $e$ 的克罗内克积（即 $g = a \otimes e$ ）。

表示指标的不可识别性： 本文证明（定理 3.2）表示类指标无法确定头部 Fisher 对齐。作者构建了一个“见证者（witness）”，其中不同任务共享相同的表示（ $Z_i = Z_j$ ），但具有不相交的标签集，从而导致正交的头部梯度（ $A_F(i, j) = 0$ ）。因此， $M(Z_i, Z_j)$ 无法区分相同任务与正交任务。
Fisher 对齐作为乘积核余弦： 核心理论贡献（定理 4.2）将头部 Fisher 对齐重写为联合 $(a, e)$ $(a, e)$ 特征空间中**核均值嵌入（kernel mean embeddings）**之间的余弦相似度：
$A_F^{head}(i, j) = \cos(\mu_{ae, i}, \mu_{ae, j})$
其中 $\mu_{ae, k}$ $μ_{a e, k}$ 是乘积核 $k_{ae}((a, e), (a', e')) = (a^\top a')^2 (e^\top e')^2$ $k_{a e} ((a, e), (a^{'}, e^{'})) = (a^{⊤} a^{'})^{2} (e^{⊤} e^{'})^{2}$ 的均值嵌入。
该分解揭示了迁移性取决于三个因素：
1. 激活几何（Activation Geometry）： 激活二阶矩（ $M_a$ ）的相似性。
2. 误差几何（Error Geometry）： 误差二阶矩（ $\Gamma_e$ ）的相似性。
3. 耦合（Coupling）： 一个衡量偏离“激活与误差相互独立”假设程度的非可分性比例（ $\rho$ ）。

算法：FisherSketch

为了使该方法在词表规模下具备可操作性，作者引入了 FisherSketch，一种流式、单次遍历的估计器。

随机麦克劳林特征（Random Maclaurin Features）： FisherSketch 不计算完整的 $O(d^2 K^2)$ 嵌入，而是使用分解后的随机投影（Rademacher 向量）来估计乘积核期望。
高效性： 它利用克罗内克结构分别对 $a$ 和 $e$ 进行投影计算，将单样本复杂度从 $O(mdK) $降低至$ O(m(d+K))$。
子采样随机哈达玛变换（SRHT）： 针对高维误差空间（ $K \approx 128,256$ ），使用 SRHT 将投影成本从 $O(mK) $降低到$ O(K \log K + m)$。
输出： 该方法为每个任务生成一个紧凑的 16 KB 任务签名（一个维度为 $m=4096$ 的向量），编码了联合激活-误差几何。它还维护了一个 192 KB 的流式状态用于拆分样本估计，以减少偏差。

3. 核心贡献

不可识别性证明： 正式证明了表示相似性指标（CKA、RSA、SVCCA）在没有误差几何或标签映射假设的情况下，不足以预测头部层级的迁移。
精确分解恒等式： 证明了头部 Fisher 对齐精确等于联合均值嵌入之间的乘积核余弦，并提供了严谨的三因子分解（激活、误差、耦合）。
FisherSketch： 一种可扩展的、无需训练的估计器，能将复杂的更新几何压缩为 16 KB 的签名，实现词表规模（ $K=128,256$ ）的比较，且每个任务仅需 192 KB 的流式状态。
诊断工具： 这些签名允许研究人员解构任务相似性是由激活、误差还是其耦合驱动的，从而作为探测“激活暗区”的探针。

4. 实验结果

词表规模下的源选择

在 Llama-3.1-8B 的 100 个领域上进行的评估显示：

性能： FisherSketch 实现了 45.7% 的 Top-1 源选择准确率（约为随机基线的 10.9 倍），最大遗憾值（max regret）为 0.119。
对比： 在自然领域偏移（natural domain shifts）上，它与仅基于激活的基线模型具有竞争力，但在特定机制下表现显著优于后者。
效率： 将每个任务的存储需求从用于精确计算 $\Gamma_e$ 的 ~61 GiB 降低到了 16 KB。

可识别性压力测试（语符器偏移/Verbalizer Shift）

在通过固定前缀提示词进行的受控实验中，不同语符器（例如“Yes/No”与“True/False”）的激活值是相同的：

仅激活基线失效： 激活相似性（ $Scov(M_a)$ ）坍缩为一个常数（随机基线性能为 20% Top-1）。
FisherSketch 成功： FisherSketch 达到了 66.7% Top-1，成功预测了仅由标签条件误差几何变化驱动的迁移差异。
仅误差边际表现： 仅误差边际（ $Scov(\Gamma_e)$ ）同样表现良好（72.2% Top-1），证实了当激活几何保持恒定时，误差几何驱动了信号。

科学序列概念验证

在分子 SMILES 领域，FisherSketch 与跨领域困惑度降低度高度相关（ $\rho_s=0.53, p=0.006$ ），而仅激活相似性并不显著（ $p=0.081$ ）。

估计器验证

在 ViT-B/16 上，FisherSketch 在联合相似度（ $\hat{S}_{ae}: 0.97$ ）和耦合度（ $\hat{\rho}: 0.95$ ）方面与精确 Fisher 对齐表现出极高的 Spearman 相关性。在 $n=2000$ 个样本时，该方法比精确计算快 89 倍。

5. 意义与主张

本文声称提供了一种实用的、无需训练的机制，用于在共享词表 LLM 家族中进行源选择，在这些场景下，由于“激活暗区”的特性，传统指标会失效。

操作影响： 它实现了自动化微调源选择、干扰感知（interference-aware）的持续学习以及基于预测的参数更新兼容性（而非仅仅是表示相似性）的推理时路由。
理论洞察： 它阐明了迁移本质上是更新（梯度）的几何学，而非仅仅是表示的几何学。论文指出，虽然表示指标在有利机制下可以提供信息，但如果没有显式的误差结构建模，它们在本质上是受限的。
可扩展性： 通过将复杂的更新几何压缩为小型签名，这项工作使词表规模的迁移性分析变得可行，超越了有限标签近似（如 LogME/LEEP）或高昂精确 Fisher 计算的限制。

作者明确指出了局限性：该方法假设存在共享的输出基底（词表或对齐的分类法），并侧重于头部层级（或共享参数）的 Fisher 对齐。对于异构输出空间或不涉及共享参数的全网络比较，建议采用不同的方法或内部层诊断。