🤖 machine learning

Forgetful Attention: A Trainable Support-Vector Memory with Certified Selection and Exact Unlearning

本文介绍了支持向量注意力（SV-Attention），这是一种利用单类支持向量机（one-class SVM）原理的训练型记忆机制，旨在提供经过认证的标记驱逐（token eviction）和精确的遗忘能力，在实现具有竞争力的语言建模结果的同时，展示了卓越的稀有项召回率和数据删除性能。

原作者： Vishwajith Ramesh

发布于 2026-07-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Vishwajith Ramesh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在经营着一个超级聪明的图书馆，一位机器人管理员正在阅读一个宏大且无尽的故事来回答你的问题。通常情况下，这位管理员会在脑海中保留故事的每一个字，但随着故事变得越来越长，它开始忘记重要的部分，或者被那些无聊、重复的部分搞混。

大多数现代 AI 图书馆试图通过让旧的词汇缓慢“遗忘”来解决这个问题，就像让沙堡在潮汐中侵蚀一样。它们可能会缩小一个词的记忆直到它变得微乎其微，但论文指出这样做很混乱。沙子依然在那里，只是变小了，你无法百分之百确定它已经消失了。

这篇论文的作者 Vishwajith Ramesh 及其团队构建了一种新型的管理员，叫做 SV-Attention。他们没有建造沙堡，而是建造了一个严格的保安，并配备了一本特殊的规则手册。

保安的规则手册：“非零即全”

这位管理员不仅仅是缩小记忆；它会决定一个词是否足够重要以至于值得保留。它使用一种巧妙的数学技巧（单类支持向量机，one-class Support Vector Machine）来观察故事中的词汇，并将它们分为两堆：

VIP 嘉宾： 独特或重要的词。这些词会获得完整、响亮的声音。
幽灵： 无聊、重复或仅仅是噪音的词。这些词会得到一个完美的零。

这就是神奇之处：如果一个词得到了零，它不仅仅是“安静”。它在数学上是隐形的。论文证明，如果你丢弃一个“幽灵”词，管理员对你问题的回答将与该词从未存在过时完全相同。这就像是你从一本书中擦除了一页，而故事本身完全没有改变，因为那一页仅仅是前一页的空白副本。

“完美橡皮擦”

论文展示了这位管理员可以删除特定的词，并且能百分之百确定它已消失。

测试： 他们尝试从一个故事中删除一个“秘密”词。旧的方法（缩小记忆）即使在尝试将其变小时，仍有 80% 的概率让这个秘密泄露出来。
SV-Attention 的方式： 当他们删除这个秘密时，它完全消失了。管理员的答案变化不到十亿分之一（约 $10^{-9}$ ），这基本上等于零。
保证： 他们称之为“精确遗忘”。这不是一种猜测。这是一个证书。如果要求管理员忘记某个特定患者的记录（例如在医院中），它可以证明它已经删除了该记录，且没有留下任何痕迹，同时保持所有其他患者记录的安全。

“保安” vs. “风云人物”

论文还测试了当故事中充满重复内容时，这位管理员挑选正确词汇的能力。

旧方法（热门选手）： 想象一个只允许“风云人物”进入的保安——即那些出现次数最多的词。如果一个故事中有 100 个“the”的副本，但只有一个稀有的、重要的词如“爆炸（explosion）”，旧的保安会把“爆炸”踢出去，因为“the”更受欢迎。
SV-Attention 的方式： 这个保安寻找的是独特的东西。在针对稀有项目的测试中，旧方法仅保留了它们 32% 的时间。而新的保安保留它们的时间达到了 86%。这就像是一个不理会人群，只让戴着霓虹帽的那个人进场的保安。

代价：它有点慢

这是论文中说“先别高兴太早”的部分。
虽然这位管理员非常聪明且擅长删除，但它很慢。

在标准计算机芯片上，它比最快的标准注意力机制要慢 36 倍。
它最适合处理小规模问题或特定任务（如医疗记录或寻找稀有事实），但论文承认它目前还没准备好取代大型聊天机器人中使用的超快注意力机制。
作者在一个小型语言模型（322 万参数）上进行了测试，发现它在预测下一个词方面表现略好；但当他们尝试在更大的模型（1000 万参数）上运行时，这种优势就消失了。他们认为这是因为当故事变得巨大时，“保安”学习起来需要太长时间。

它不是什么

论文非常明确地说明了这项技术不做的事情：

它并不会神奇地让 AI 变得更快。事实上，它更慢了。
它并不适用于每一种类型的记忆。如果一个故事中没有重复的词和无聊的部分，保安就没什么用处。
它并不保证法律意义上的隐私（例如证明没人能猜出数据中是谁）。它只能保证 AI 的输出在删除一个词后不会改变。你仍然需要其他的测试来证明它在隐私法方面是安全的。

核心结论

这篇论文介绍了一种全新的 AI 记忆方式，这种方式在数学上完美地实现遗忘。如果你需要删除特定的信息，并百分之百确定它已消失——比如擦除一份患者记录或修正一个错误的事实——这个“保安”是第一个可以给你提供证书说“我保证，它已消失”的工具。

对于那些“删除的准确性比速度更重要”的特定工作来说，它是一个强大的工具，但就目前而言，它是一个专门的精密装置，而不是整个图书馆的替代品。

技术摘要：遗忘注意力：一种具有认证选择与精确遗忘能力的训练型支持向量记忆

问题陈述

当前的测试时学习（TTL）注意力机制，如 DeltaNet、线性注意力以及选择性状态空间模型，通过维护不受约束的稠密记忆状态（通常是最小二乘或循环形式）来运行。在这些系统中，每个 token 都保留着非零权重，而移除 token 的唯一机制是指数衰减。这种方法存在两个根本性的局限：

缺乏认证选择： 目前没有原则性的方法来确定哪些上下文 token 可以在不改变模型输出的情况下被丢弃。现有的剪枝启发式算法（如 H2O、SnapKV）依赖于评分指标，但无法保证剔除过程能保持读取结果（readout）不变。
不完美的遗忘： 监管要求（如 GDPR 的被遗忘权）和临床需求要求能够彻底删除特定 token 的影响。基于梯度的遗忘方法（如梯度上升、系数缩放）会留下难以界定且难以向审计员证明的残留影响。

方法论

本文引入了 支持向量注意力（SV-Attention），这是一种受约束的、最大化间隔（max-margin）的记忆层，它将注意力重新定义为一个针对上下文键（keys）进行在线拟合的一类支持向量数据描述（SVDD）问题。

核心机制

给定上下文键 $x_i$ 和值 $v_i$ ，SV-Attention 计算一个加权平均值，其中权重为一类 SVM 的支持系数 $\alpha$ ：
$o(q) = \frac{\sum_i \alpha_i \kappa(q, x_i) v_i}{\sum_i \alpha_i \kappa(q, x_i)}$
系数 $\alpha$ 通过求解一个具有固定框参数 $C$ 的凸二次规划问题得到：
$\min_{\alpha} \alpha^\top K \alpha - \text{diag}(K)^\top \alpha \quad \text{s.t.} \quad \sum \alpha_i = 1, \quad 0 \le \alpha_i \le C$
其中 $K$ 是键的 Gram 矩阵。

活性集合划分（The Active-Set Partition）

该解法根据卡罗什-库恩-塔克（KKT）条件将 token 划分为三个集合：

边界集合 ( $S$ )： $0 < \alpha_i < C$ 。这些 token 承载着读取结果。
误差集合 ( $E$ )： $\alpha_i = C$ 。边界或离群键。
储备集合 ( $R$ )： $\alpha_i = 0$ 。位于描述内部的 token。

认证选择： 根据互补松弛性，储备集合 ( $R$ ) 中的 token 权重恰好为零。移除它们在数学上被证明是保持输出不变的。
精确遗忘： 系统利用了一个增量求解器（Cauwenberghs & Poggio, 2000），该求解器维护着带边界 KKT 矩阵的逆矩阵。这使得以下操作成为可能：

增量添加： 在保持 KKT 条件的同时添加一个 token。
减量移除： 通过逆向过程移除一个 token，使求解器返回到该 token 尚未被观测到时的精确状态（在相同的固定 $C$ 下）。

训练与实现

本文采用了两种不同的数值路径：

精确维持路径 (fp64)： 用于推理和证书验证。它维护 KKT 逆矩阵，从而实现了一种自定义的反向传播，该过程可以复用此逆矩阵（无需第二次求解），并支持精确的减量删除。
稳定批处理路径 (训练)： 为了在 GPU 上进行训练，作者使用了一种单独的近似方法。它采用批处理 FISTA 求解器来估计活性集合掩码，随后使用正则化岭回归（ $10^{-3}$ ）的 torch.linalg.solve 来计算系数。该路径可以通过 autograd 进行微分，但不提供精确删除证书，也不复用 KKT 逆矩阵。

一个混合层结合了这两者：一个长程全局记忆（由精确路径或其近似值求解）处理前缀，而一个稠密局部路径（标准 softmax）处理当前块（chunk）。

核心贡献

精确遗忘： 维护的 fp64 求解器实现了“完美”遗忘，即等价于在不包含该数据的情况下重新训练。实验表明，在唯一最优解的前提下，减量移除过程恢复出的活性集合划分和决策函数与重新训练的模型完全一致（中值偏差 $\sim 10^{-9}$ 至 $10^{-13}$ ）。
认证选择： 活性集合划分是一个数学证书而非启发式评分。剔除储备 token 被保证不会改变输出。
可训练的最大间隔记忆： 作者展示了一个可训练层，它通过一个自定义的反向传播过程复用前向维持的 KKT 逆矩阵，从而避免了精确路径中第二次系统求解的计算成本。
现实世界能力： 该系统展示了外科手术式的特征遗忘、精确的知识编辑，以及在 MIMIC-IV ICU 流数据上实现零泄露的“被遗忘权”患者记录删除。

实验结果

精确遗忘验证

划分匹配度： 在高斯分布、真实 MIMIC-IV 和训练后的键上，减量路径恢复出的活性集合划分与重新训练的模型完全一致（在 98–100% 的试验中，即唯一最优解情况下）。
决策函数偏差： 减量解与重新训练解之间的中值偏差在高斯/ICU 数据中为 $\sim 10^{-9}$ ，在学习到的键上为 $10^{-13}$ 。最坏情况下的偏差（ $1.1 \times 10^{-2}$ ）仅出现在病态的近重复流中。
与衰减对比： 系数衰减（标准基准）表现出高出几个数量级的偏差（ $10^{-2}$ 至 $10^{-1}$ ），因为它从未重新求解剩余的 token。

认证选择性能

稀有项召回率： 在偏斜冗余度下，认证选择保留了稀有项，召回率为 0.86，而 H2O 式的重击者（heavy-hitter）剔除法即使在拥有查询预知权的情况下，召回率也仅为 0.32。
自适应状态： 在带有增长填充物的选择性复制任务中，SV-Attention 在支持集大小保持受限（11–14 个 token）的情况下，维持了约 0.99 的召回率；相比之下，固定状态基准（DeltaNet、线性注意力）则会崩溃至随机水平。
ICU 流数据： 在 MIMIC-IV 数据上，在匹配预算下，认证选择保留了 0.80 的关键恶化小时数，而重击者剔除法仅为 0.05。

语言建模性能

小规模（3.22M 参数）： 在 enwik8 数据集上，混合 SV-Attention 达到了 2.178 BPC，优于匹配状态的滑动窗口 Transformer（2.383 BPC）（提升 8.6%， $p=0.001$ ）。
可扩展性： 在 10M 参数规模下，该优势消失了（趋同），这归因于块冻结门（chunk-frozen gate）在较大规模下的收敛速度比 softmax 更慢且更不稳定。作者指出，如何实现可扩展且稳定的门控优化仍是一个开放性问题。
吞吐量： 在 3.22M 模型上，混合训练路径达到 9,125 tokens/s，这比标准的 MPS softmax 参考实现慢了 35.8 倍。

意义与主张

本文将 SV-Attention 定位为一种专门化的机制，而非旨在取代标准注意力以统治所有规模下的原始吞吐量或困惑度。其目标场景是需要可审计保证的情况。

监管与临床价值： 其主要意义在于提供了一种移除 token 是可证明而非近似的机制。对于受“被遗忘权”约束或涉及临床知情同意撤回的应用，能够证明模型的输出在数学上等同于从未见过该数据的模型，是其区别于基于梯度的遗忘方法的关键差异点。
结构优势： 本文认为，最大间隔约束引入了一种稠密最小二乘记忆所缺乏的结构性“活性集合”。这种结构允许对离群值进行认证选择和精确遗忘，这在冗余度高、异常驱动的流数据（如医疗体征、模板化文档）中特别有用。
局限性： 作者明确指出，精确删除证书仅适用于由精确 fp64 路径求解的长程全局记忆。局部块路径和批处理训练近似值并不携带此证书。此外，其性能优势目前仅限于小规模语言建模，且系统的运行速度明显慢于标准注意力实现。

总而言之，SV-Attention 以牺牲原始吞吐量和大规模困惑度优势为代价，换取了可证实的属性：即能够证明特定 token 被忽略（选择）以及特定 token 已被完全擦除（遗忘）。