🤖 AI

Finding Usable Weight Mechanisms with Tiled SVD

本文提出了一种通过列分块奇异值分解（column-tiled SVD）直接从神经网络线性层中提取可解释权重机制的方法，将特征定义为“触发-写入-强度”三元组，在 Gemma-2-2B 模型的所有测试站点上均展示了完美的性能，并发布了相关的代码和评估套件。

原作者： Ash Manvi, Samreena Tajreen

发布于 2026-08-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ash Manvi, Samreena Tajreen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图理解一个巨大的、超级聪明的机器人大脑是如何运作的。长期以来，科学家们就像侦探一样，通过观察机器人在解决问题时留下的“笔记”（激活值）来试图弄清它的想法。他们构建了特殊的字典来为这些笔记贴上标签，比如给特定的活动模式命名为“猫”或“正义”。这有点像拥有一个翻译工具，它会告诉你：“啊，对了，现在它正在思考一只猫！”但问题在于：这个翻译器是一个独立的工具，并不属于机器人大脑本身的一部分。它就像一本解释机器的说明书，而不是直接看到内部齿轮和杠杆的运动。

核心问题是：我们能否在不需要外部说明书的情况下，找到机器人大脑中真正执行思考的“齿轮”？作者们正在观察连接不同大脑部分的“线路”（权重）。他们想要找到那些能够开启或关闭特定想法的具体、可用的开关。如果我们能直接在布线中找到这些开关，我们就不仅是在猜测机器人在想什么，而是能精确地看到它是如何一步步构建思想的。这至关重要，因为如果我们理解了真实的机械原理，我们就能修正错误或引导机器人走向更安全的路径，而不仅仅是猜测它的含义。

这篇论文的故事：寻找真正的齿轮

来自 Aquin Labs 的作者 Ash Manvi 和 Samreena Tajreen 决定停止观察机器人的“笔记”，转而直接观察其“布线图”。他们专注于一种特定类型的机器人大脑——Gemma-2-2B，并提出了这样一个问题：“如果我们把布线切割成细小、易于管理的块，我们能否找到控制机器人思想的具体开关？”

为了实现这一点，他们使用了一种名为 SVD（奇异值分解）的数学工具。把 SVD 想象成一种超强大的方法，可以将一个杂乱、缠绕的毛线球解开成整齐、笔直的细绳。通常，科学家们会一次性解开整个毛线球来寻找最大的细绳。但作者们有一个直觉：最有用的细绳可能隐藏在更小的、特定的部分中。因此，他们尝试了一个新技巧：分块 SVD（Tiled SVD）。

想象机器人的布线是一面巨大的开关墙。他们没有尝试一次性解开整面墙，而是将墙切成了小的、正方形的瓷砖（就像马赛克一样）。他们分别解开了每一块小瓷砖。从每块瓷砖中，他们提取出了一个“机制基座”（mechanism mount），这只是一个时髦的说法，指的是一个三件套组合：

触发器 (v)： 翻转开关的特定信号。
写入 (u)： 开关推动机器人思想的方向。
强度 (σ)： 这个开关推动的力量大小。

作者们并没有仅仅靠猜测来判断这些开关是否有效；他们建立了一套严谨的测试，以验证这些是真实的“机制”还是仅仅是随机噪声。他们检查了三个主要方面：

能量提升（Energy Lift）： 翻转这个开关是否真的能让机器人的大脑以更有用的方式做更多工作？他们发现，他们的“分块”方法（将墙切成小块）在寻找这些强大的开关方面，比观察整面墙的效果要好得多。
覆盖率（Coverage）： 这些开关是否覆盖了机器人大脑的足够范围？他们发现，每个瓷砖块中只需几个开关就足以解释机器人的几乎所有行为。
因果引导（Causal Steering）： 如果他们手动翻转这些开关，机器人的想法是否会发生可预测的变化？他们通过向机器人的“残差流”（thoughts 传输的主干道）中注入信号，并检查机器人的最终答案是否按预期发生了变化，来测试这一点。

他们的发现

结果非常成功。他们在机器人大脑的每一个层级（共 26 层）中测试了 七种不同类型的布线。这意味着他们检查了 182 个不同的位置。

“大”开关： 对于两种主要向机器人记忆中写入新思想的开关类型（称为 mlp.down 和 attn.o），他们使用了包含检查机器人是否正确改变想法在内的完整测试。这 52 个位置全部通过了测试。
“辅助”开关： 对于其他五种辅助处理信息但不直接写入记忆的开关类型，他们使用了稍微简单的测试。这 130 个位置也全部通过了测试。

总计，182 个中的 182 个 位置都通过了测试。这意味着他们成功地在他们观察到的机器人大脑的每一个部分中，都找到了可用的、真实的机制。

这意味着什么（以及它不意味着什么）

作者非常明确地说明了他们没有做的事情。他们并没有找到像“猫”或“爱”这样的词汇字典。他们也没有取代用于发现新概念的旧有“笔记记录”方法（如稀疏自编码器）。相反，他们证明了如果你在细小的、分块的切片中观察布线，你就能找到机器人进行思考的实际物理规则。

他们还发现，对于大脑的某些部分，你不能只看原始布线，必须观察“有效路径”（即信号在机器人工作时实际流动的路径）。一旦他们针对这一点进行了调整，开关就完美运行了。

该论文表明，这种“分块”方法是寻找机器人内部齿轮的一种比观察整个系统更好的方式。这是一个可重复的、诚实的测试，证明了我们可以找到驱动机器人行为的“权重规则”（大脑内部真实的数学逻辑），而不需要一个单独的翻译器来告诉我们发生了什么。虽然他们仅在一种特定的机器人模型和一种类型的文本上进行了测试，但他们构建的方法现在已开放给任何人，用于探索其他大脑。

技术摘要：利用分块 SVD 寻找可用权重机制

问题陈述
当前机械解释性（mechanistic interpretability）的主流方法依赖于训练代理字典（如稀疏自动编码器，SAEs），通过最大激活文本来标注特征。虽然这些图谱成功识别了概念，但特征的“身份”（identity）存在于学习到的字典中，而非网络权重本身。因此，实际向残差流（residual stream）写入内容的特定权重规则仍然是隐性的。此外，现有方法通常仅将奇异值分解（SVD）作为一种透镜或电路原语，而非作为一种严谨的测试，用以确定哪种特定的权重矩阵（ $W$ ）分块方式能产生可用的、符合分布的机制。

方法论
作者提议直接从网络中的线性位点（linear sites）中提取“机制挂载”（mechanism mounts），使用的是列分块 SVD（column-tiled SVD）。

机制挂载（Mechanism Mounts）： 一个挂载被定义为一个三元组 $(v, u, \sigma)$ ，代表触发器（trigger）、写入方向（write direction）和强度（strength）。一个机制的身份是权重规则本身，而非文字标签。
分块策略（Tiling Strategy）： 并非对整个权重矩阵进行 SVD，而是将 $W$ 的输入列划分为若干分块（tiles）。每个分块被独立进行因子分解（ $B_t = U_t \Sigma_t V_t^\top$ ）。保留每个分块的前 $k$ 个模态（modes）以构成挂载。
评估指标： 作者引入了一个基于**全量写入能量提升（full-write energy lift）**而非局部分块提升的测量栈。
- 全量写入能量提升 ( $L_{full}$ ): 衡量方向 $u$ 在整个数据集上解释实际写入张量 $\Delta h_t$ 能量的能力。该指标避免了单列分块带来的自证循环（tautological）优势，即单列分块会夸大局部指标。
- 覆盖率饱和度（Coverage Saturation）: 评估由每块前 $k$ 秩重构恢复的 $W$ 的 Frobenius 范数比例。它要求提升在早期（1–2 个模态内）即达到饱和，且不会显著坍缩。
- 因果转向检查（Causal Steer Check，实验 C）: 对于残差写入，作者在后层 RMSNorm 之后注入转向方向，并测量结果的对数变化量与写入方向的解嵌入（unembedding）之间的 Spearman 相关系数（ $\rho$ ）。
有效路径挂载（Effective-Path Mounts）: 对于非残差位点（如 mlp.up 和 attn.v），原始模块权重往往无法通过因果检查。该方法构建了“有效映射”（effective maps）（例如，通过平均门控激活值对 mlp.up 进行加权，或使用岭回归最小二乘法处理 attn.v），以捕捉实际的分布内用法。

实验设置

模型： Google Gemma-2-2B（26 层）。
数据： WikiText-2 原始训练数据，采样 16,384 个 token。
位点（Sites）： 对每一层的所有七个线性映射进行评估：
- 残差写入（A/B/C 检查）： mlp.down, attn.o。
- 非残差（仅 A/B 检查）： mlp.gate, mlp.up, attn.q, attn.k, attn.v。
基准（Baselines）： 将分块 SVD 方法与全矩阵 SVD、列采样以及随机基准进行对比。

关键结果
该套件被应用于所有 182 个位点层（7 个位点 $\times$ 26 层）。

实验 A（分块）： 在所有深度的残差写入中，分块 SVD 始终比全矩阵 SVD、列采样和随机基准实现了更高的全量写入能量提升。这表明 $W$ 中的局部列结构无法通过单一的全局 SVD 得到良好总结。
实验 B（覆盖率）： 覆盖率提升迅速饱和，在仅使用 1 或 2 个模态时即达到峰值性能。额外的模态主要增加了冗余。
实验 C（因果深度）： 对于残差写入，转向对数的变化量与写入方向的解嵌入之间的对齐程度随深度增加。早期层（0–5 层）表现出较弱的对齐（这证明了豁免 C1 检查的合理性），而最终层达到了高相关性（mlp.down 的 $\rho \approx 0.91$ ，attn.o 的 $\rho \approx 0.75$ ）。
综合判定： 该套件通过了 182/182 个位点层。
- 残差位点（mlp.down, attn.o）通过了 A、B、C 检查（52/52）。
- 非残差位点（使用有效路径挂载的 mlp.up 和 attn.v）通过了 A 和 B 检查（130/130）。

意义与主张
作者将这项工作定位为并非替代用于概念发现的稀疏自动编码器，也不是生成人类可读概念名称的方法。其意义在于：

公平分块（Fair Chunking）： 证明了在匹配预算下，分块 SVD 是提取可用权重机制优于全局 SVD 或列采样的更优方法。
关于局部指标的负面结果： 强调了局部分块提升指标具有自证循环性，而全量写入能量提升是衡量可用性的必要标准。
可复现协议： 提供了一个“诚实的多元位点协议”，该协议验证了 Transformer 块中所有线性映射的可行机制提取，包括经过深度调节的因果检查。
身份定义： 确立了机制的“身份”是权重规则本身，独立于外部字典。

论文结论指出，通过针对特定层使用有效路径挂载，一套简单、可复现的检查套件可以验证整个模型架构中所有可用的机制。作者发布了库代码、语料库构建器及实验入口，以支持该协议。

这篇论文的故事：寻找真正的齿轮

他们的发现

这意味着什么（以及它不意味着什么）

类似论文