🤖 machine learning

Transmuting prompts into weights

基于提示词与隐式权重更新之间的理论联系，本文提出了一种原则性算法，旨在将瞬态提示信息压缩为可重用的、与标记无关的思想向量与矩阵，从而为将文本输入转化为用于模型编辑与知识注入的有效权重更新提供理论基础与直接方法。

原作者： Hanna Mazzawi, Benoit Dherin, Michael Munn, Adrian Goldwaser, Michael Wunder, Javier Gonzalvo

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Hanna Mazzawi, Benoit Dherin, Michael Munn, Adrian Goldwaser, Michael Wunder, Javier Gonzalvo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个非常聪明但有点健忘的机器人助手（一个大语言模型）。通常，为了让这个机器人完成一项特定的工作——比如“翻译这个法语单词”或“让这个句子变得优雅”——你必须在每次提问时都重复一遍指令。这就像是在每次向机器人下达任务前，都要对着它的耳朵大声朗读一遍规则手册。

这篇论文介绍了一个聪明的技巧，旨在停止这种“大声叫喊”。研究人员不再通过重复指令来工作，而是想出了如何根据这些指令永久性地重写机器人的内部规则手册（即它的“权重”）。他们将这个过程称为“将提示词转化为权重”（Transmuting Prompts into Weights）。

以下是他们实现这一目标的简单分解，使用了日常生活的类比：

1. 问题所在：“幽灵”指令

通常情况下，当你给机器人一个指令（例如“要有礼貌”）时，它只是在当前的对话中暂时改变其行为。一旦对话结束，机器人就会忘记。

旧方法： 研究人员曾尝试通过在每次对话中向机器人的大脑添加一个“魔术数字”（向量）来修复这个问题。这虽然有效，但更像是一种试错游戏。
新方法： 这篇论文提出：“我们不要再靠猜了。让我们从数学上证明一条指令究竟是如何改变机器人的大脑的，然后将这种改变‘烘焙’进机器人的永久记忆中。”

2. 核心思想：“思维补丁”（The Thought Patch）

研究人员发现，当你给机器人一个提示词（指令）时，它会在大脑中产生一种暂时的变化“阴影”。

类比： 想象机器人是一位厨师。当你说“加盐”时，厨师撒盐的手部动作会发生特定的变化。
- 依赖标记的补丁（Token-Dependent Patches）： 起初，研究人员发现，对于厨师说的每一个单词，其“撒盐”的动作都会有细微的不同。这就像厨师必须为句子中的每一个单词都学习一种新的、微小的手部动作。这对于永久保存来说太复杂了。
- “思维补丁”： 研究人员意识到，我们可以将所有这些微小且不同的手部动作取平均值，合并成一个单一的、完美的、适用于整个句子的手部动作。他们将这种简单的偏移称为“思维向量”（Thought Vector），将更复杂的改变称为“思维矩阵”（Thought Matrix）。

3. 过程：“缝合”指令

论文描述了一种算法（一套分步食谱），将临时指令转化为永久性的改变：

观察厨师： 他们让机器人阅读指令和任务（例如，“翻译：Hello” $\rightarrow$ “Bonjour”）。他们记录下机器人大脑是如何被激活的。
观察没有指令的厨师： 他们让机器人在没有指令的情况下尝试任务（例如，仅输入“Hello”）。他们观察大脑是如何以不同方式激活的。
寻找差异： 他们计算两种大脑状态之间的差距。
数学魔法： 利用一种称为“最小二乘法”（可以理解为在点云中寻找最符合的直线）的方法，他们计算出需要填补该差距的精确数学公式。
永久修复： 他们将该公式直接添加到机器人的永久权重中。

4. 结果：机器人记住了

一旦完成了这个过程，机器人就不再需要重复说出“翻译”这个指令。这条指令现在已经硬编码进了它的脑中。

类比： 这就像训练一只狗坐下。
- 之前： 你每次都要说“坐！”，狗之所以听话是因为你在场。
- 之后： 你已经通过训练，让狗的肌肉形成了记忆。当你在指点时，它会自动坐下。命令现在是狗身体的一部分，而不仅仅是你发出的声音。

5. 他们测试了什么

研究人员在 Google 模型（Gemma）的一个小型版本上进行了测试，并发现：

数学与逻辑： 他们教会了机器人进行数字乘法或对有毒句子进行“脱毒”（净化）。一旦应用了“思维补丁”，即使没有指令，机器人也能完美地执行这些任务。
翻译： 他们教会了它将法语翻译成英语。应用补丁后，即使从未提到“翻译成英文”的指令，它也会自动进行法英翻译。
新知识： 他们教会了它一些虚构事实的小型词典（例如，“Zog 的首都是 X”）。机器人学会了这些事实，并且可以在词典不在场的情况下随时调用这些知识。

局限性（注意事项）

论文指出，这种“硬编码”在提问方式与训练时高度一致的情况下效果最好。如果你使用与训练时非常不同的措辞来提问，机器人可能会感到困惑。这就像是一个被训练成回答“首都是哪里？”的机器人，如果被问到“告诉我那个首都城市”，它可能会卡住，因为“思维补丁”是针对第一个问题的特定措辞进行调优的。

总结

简而言之，这篇论文提供了一个数学证明：指令本质上只是临时的权重更新。通过对这些临时更新取平均值，他们创造了一种方法，可以将指令和知识永久安装到语言模型的脑中，使其无需每次重复指令即可执行复杂任务。

技术摘要：将提示词转化为权重

问题陈述

目前在推理阶段控制大语言模型（LLMs）的方法通常分为两类经验性类别：激活转向（向隐藏状态添加“转向向量”）和模型编辑（对权重矩阵应用低秩修改）。虽然这些技术行之有效，但它们过度依赖于经验启发式方法（例如平均对比激活），缺乏植根于 Transformer 架构的统一理论依据。此外，现有方法通常将提示词信息视为瞬态的，或者需要通过架构修改将指令永久编码进权重中。核心挑战在于建立一种基于第一性原理的方法，将瞬态的文本输入（提示词）压缩为可重用的、与 Token 无关的权重更新，从而能够持久地编码指令或新知识，而无需重新运行提示词。

方法论

本文建立在 Dherin 等人（2025）的基础理论之上，该理论证明了输入提示词 $I$ 对 Transformer 块的计算效应，可以通过对该块的前馈权重和偏置应用特定的、依赖于 Token 的秩一更新（称为“最小 Token 补丁”）来完美复制。

作者提出了一个框架，旨在将这些瞬态的、特定于 Token 的更新泛化为静态的、可重用的构造，即思维向量（ $\delta(I)$ ）和思维矩阵（ $\Delta(I)$ ）。

1. 理论推导

依赖于 Token 的补丁： 对于提示词 $C = [I, x_1, \dots, x_n]$ ，上下文 $I$ 对 Token $x$ 的影响可以通过更新 $\delta_x(I)$ 和 $\Delta_x(I)$ 来复制。
思维向量： 为了创建一个与 Token 无关的向量，作者通过最小化最优 Token 向量与单个向量之间的平方误差来求解。其解法是 Token 特定向量的算术平均值：
$\delta(I) := \frac{1}{n} \sum_{i=1}^n \delta_i = \frac{1}{n} \sum_{i=1}^n (A(C, x_i) - A(C \setminus I, x_i))$
这为对比激活平均化的启发式实践提供了理论依据。
思维矩阵： 最优矩阵是通过最小化所有示例的误差来推导的。定理 2.1 证明，如果矩阵 $Z = \sum a_i a_i^T$ 是可逆的，则全局最小值由下式达到：
$\Delta(I) = \left( \sum_{i=1}^n W \delta_i a_i^T \right) Z^{-1}$
这表明最优思维矩阵自然地表现为秩一更新之和。

2. 思维补丁算法

作者引入了一种迭代的、逐层对齐的程序（算法 1），用于将指令转化为权重：

上下文传递： 在完整提示词 $[I, x]$ 上运行原始模型，以收集“地面真值”注意力输出 $A_l$ 。
非上下文传递： 使用当前已补丁的权重在 $[x]$ 上运行模型，以收集近似输出 $a_l$ 。
差异计算： 计算残差 $dz_l = A_l - a_l$ 。
更新计算：
- 思维向量更新是差异的平均值。
- 思维矩阵更新通过最小二乘法最小化（带有可选的 Ridge 正则化）来求解，以找到使残差误差最小化的权重更新。
应用： 更新按学习率 $\eta$ 进行缩放并应用于权重。

3. 架构适配

该方法被适配到使用 RMSNorm 和 Gated GeLU 激活函数的现代架构（如 Gemma 3）中：

Gated GeLU： 思维矩阵优化被解耦为两个独立的最小二乘估计，分别针对 $W_{up}$ 和 $W_{gate}$ 投影。
偏置缺失： 由于 Gemma 缺乏 MLP 输出中的显式偏置参数，思维向量偏移直接被吸收进 $W_{down}$ 投影矩阵中，并通过调整 RMSNorm 缩放因子来维持激活分布。

核心贡献

理论统一： 本文为为什么激活转向（平均对比激活）和低秩模型编辑会奏效提供了第一性原理层面的解释。作者证明了这些启发式方法等价于最优思维向量和思维矩阵的最小二乘逼近。
转化框架： 它将“思维补丁”的概念从用于提示词压缩的理论工具提升为一种用于直接控制模型和永久注入知识的实用算法。
Token 无关性： 该方法成功地将瞬态的、依赖于 Token 的信息浓缩为可重用的、与 Token 无关的向量和矩阵。
算法实现： 作者提供了一个具体的算法（算法 1），以及将其应用于 Gemma 等现代模型的特定修改方案。

实验结果

该方法在 Gemma 3.0 1B 指令微调版 模型上进行了验证，涵盖多个任务：

算术与语言任务： 在求和与乘法等任务上，补丁后的模型（在上下文中不含指令）实现了 100% 的准确率，完美匹配了带有完整提示词的原始模型性能。这仅使用了 10 个示例就完成了。
去毒化（Detoxification）： 应用于 ParaDetox 数据集，补丁后的模型将毒性从 90.53% 降低至 6.22%，非常接近全上下文基线（6.7%），同时保持了语义含义（BERT 分数）。
翻译与知识检索： 该方法在法语/西班牙语转英语以及国家首都检索方面取得了高准确率，显著优于未补丁的基线，并接近全上下文性能。
新知识注入： 模型成功吸收了合成的键值对字典。对于小型字典（ $k \le 8$ ），性能保持在接近 100%，但当字典规模增大时（ $k=32$ 时降至 91%）或检索查询结构与训练提示词不同时，性能会出现下降。

意义与主张

论文声称建立了瞬态 Transformer 推理机制与永久模型修改之间直接的理论联系。通过聚合瞬态的 Token 补丁为可重用的思维向量和思维矩阵，作者提供了一种基于原则的、数据高效的方法，用于持久地将提示词指令编码进权重中。

其重要性在于证实了对比平均化和低秩更新不仅是经验性的技巧，更是 Transformer 指令编码的固有机制。这项工作架起了“参数连续体”理论与实际实现之间的桥梁，提供了一个统一的数学解释，用以说明现有的控制方法。

作者对局限性保持了谦逊的态度，指出目前的最小二乘公式容易在特定的提示词结构上产生过拟合（这在知识注入任务中有所体现，即查询结构发生偏差时会导致性能下降），并表示未来的工作将侧重于先进的正则化技术，以防止知识注入过程中的结构性过拟合。