🤖 machine learning

Forgetful Attention: A Trainable Support-Vector Memory with Certified Selection and Exact Unlearning

本論文は、一クラスSVMの原理を活用することで、認証されたトークン削除および正確なアンラーニング機能を提供し、実世界のデータセットにおいて競争力のある言語モデリング結果を達成しつつ、希少アイテムの再現率とデータ削除性能の両面で優れた性能を実証する学習可能なメモリメカニズムであるSupport Vector Attention（SV-Attention）を導入する。

原著者： Vishwajith Ramesh

公開日 2026-07-15

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Vishwajith Ramesh

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、超スマートな図書館の管理人になったと想像してください。そこでは、ロボット司書が膨大な、終わりのない物語を読み上げ、あなたの質問に答えてくれます。通常、この司書は物語のあらゆる言葉を頭の中に保持していますが、物語が長くなるにつれて、重要な部分を忘れたり、退屈で繰り返される部分に混乱したりし始めます。

現代のほとんどのAIライブラリは、砂の城が潮に浸食されていくように、古い言葉をゆっくりと「忘れていく」ことでこれを解決しようとします。彼らは言葉の記憶を小さくしていくかもしれませんが、これは乱雑なやり方です。砂はまだそこにあり、ただ小さくなっているだけで、それが完全に消えたと100%確信することはできません。

この論文の著者であるヴィシュワジット・ラメシュ（Vishwajith Ramesh）とそのチームは、新しい種類の司書であるSV-Attentionを構築しました。砂の城を作る代わりに、彼らは特別なルールブックを持った**厳格な門番（バウンサー）**を作りました。

門番のルールブック：「ゼロか、フルか」

この司書は、単に記憶を縮小させるのではありません。その言葉が保持する価値があるかどうかを判断し、保持するかどうかを決定します。彼らは巧妙な数学的トリック（一クラスSVM：One-Class Support Vector Machine）を使用して、物語の言葉を観察し、それらを2つのグループに分けます。

VIP（重要人物）： ユニークまたは重要な言葉。これらには、フルボリュームの大きな声が与えられます。
ゴースト（幽霊）： 退屈で、繰り返される、あるいは単なるノイズである言葉。これらには完全なゼロが与えられます。

ここに魔法があります。もしある言葉が「ゼロ」を与えられた場合、それは単に「静かになった」のではありません。それは数学的に不可視になります。論文は、もし「ゴースト」の言葉を捨てたとしても、司書によるあなたの質問への回答は、その言葉が最初から存在しなかった場合と全く同じであることを証明しています。それは、本から1ページを消し去ったとしても、そのページが前のページの単なる空白のコピーであったために、物語が全く変わらないようなものです。

「完璧な消しゴム」

この論文は、この司書が特定の言葉を削除できるだけでなく、それが消えたことを100%確信できることを示しています。

テスト： 彼らは物語から「秘密の」言葉を削除する実験を行いました。従来の方法（記憶を縮小させる方法）では、記憶を極限まで小さくしようとしても、その秘密が80%の確率で漏れ出してしまいました。
SV-Attentionのやり方： 秘密の言葉を削除したとき、それは完全に消え去りました。司書の回答の変化は10億分の1（約 $10^{-9}$ ）未満であり、実質的にゼロでした。
保証： 彼らはこれを「正確なアンラーニング（学習解除）」と呼んでいます。それは推測ではありません。証明書です。もし司書に特定の患者の記録（病院のようなケース）を忘れるよう命じられた場合、他の患者の記録を安全に保ったまま、その記録を完全に削除したことを証明できるのです。

「門番」対「人気者」

論文では、物語の中に重複がたくさんある場合に、この司書がどれほど適切に言葉を選べるかもテストしています。

旧来の方法（ヘビーヒッター）： 最も多く登場する「人気のある子供たち」だけを通す門番を想像してください。もし物語に100個の「the」があり、1個の珍しい重要な言葉「explosion（爆発）」があった場合、旧来の門番は「the」の方が人気があるため、「explosion」を追い出してしまいます。
SV-Attentionのやり方： この門番は、ユニークなものを見つけ出します。希少なアイテムを用いたテストにおいて、旧来の方法ではそれらを32%しか保持できませんでした。新しい門番は、それらを**86%**保持しました。それは、群衆を無視して、ネオンカラーの帽子を被った一人だけを通す門番のようなものです。

欠点：少し遅い

ここからは、論文が「あまり期待しすぎないでください」と言っている部分です。
この司書は非常にスマートで、削除に関しては完璧ですが、遅いのです。

標準的なコンピュータチップ上で、標準的なアテンション手法よりも約36倍遅いです。
小規模な問題や特定のタスク（医療記録や希少な事実の検索など）には最適ですが、論文は、これがまだ巨大なチャットボットで使用されている超高速なアテンションに取って代わる準備ができているわけではないと認めています。
著者らは小さな言語モデル（322万パラメータ）でテストを行い、次の単語の予測においてわずかに優れた性能を示しましたが、より大きなモデル（1000万パラメータ）で試したところ、その優位性は消失しました。これは、物語が巨大になると「門番」の学習に時間がかかりすぎるためであると彼らは示唆しています。

これは「何ではない」のか

この論文は、この技術が何を行わないかについても明確に述べています。

それはAIを魔法のように速くすることはありません。実際には、より遅くなります。
すべての種類のメモリに対して機能するわけではありません。もし物語に繰り返される言葉や退屈な部分が全くないのであれば、門番はあまり役に立ちません。
それは、法的な意味でのプライバシー（誰がデータに含まれていたかを誰も推測できないことを証明するなど）を保証するものではありません。それは、AIの「出力」が言葉を削除しても変化しないことを保証するだけです。データのプライバシー法に対して安全であることを証明するには、別途、他のテストが必要になります。

結論

この論文は、AIが物事を記憶するための新しい方法を紹介しています。それは、数学的に完璧な忘却を実現するものです。もし特定の情報を削除し、それが完全に消えたことを絶対に確信する必要がある場合（患者の記録を消去したり、誤った事実を修正したりする場合など）、この「門番」は、「約束します、それは消えました」という証明書を与えることができる最初のツールです。

これは、速さよりも「削除の正確さ」が重要となる特定の仕事における強力なツールですが、現時点では、全体を置き換えるためのものではなく、特化したガジェットなのです。

技術要約：Forgetful Attention: 認証された選択と厳密なアンラーニングを備えた学習可能なサポートベクターメモリ

問題提起

DeltaNet、線形アテンション、選択的状態空間モデルなどの現在のテスト時学習（TTL）アテンションメカニズムは、制約のない高密度なメモリ状態（通常は最小二乗法または再帰的）を維持することで動作します。これらのシステムでは、すべてのトークンが非ゼロの重みを保持しており、トークンを除去する唯一のメカニズムは指数関数的な減衰です。このアプローチには、以下の2つの根本的な限界があります：

認証された選択の欠如： コンテキストトークンを、モデルの出力を変更することなく破棄できるかどうかを判断するための、原理的な方法が存在しません。既存のプルーニング・ヒューリスティック（H2OやSnapKVなど）は、出力（readout）を保存することを保証する仕組みを持たず、スコア化された指標に依存しています。
不完全なアンラーニング： GDPRの消去権や臨床的なニーズといった規制要件は、特定のトークンの影響を完全に削除できる能力を求めています。勾配ベースのアンラーニング手法（勾配上昇法や係数スケーリングなど）は、境界を定めることが困難で、監査人に弁護することが難しい残留影響を残します。

メソドロジー

本論文では、制約付きの最大マージンメモリ層であり、アテンションをコンテキストキーに対するOne-class Support Vector Data Description (SVDD) 問題として再定義した Support Vector Attention (SV-Attention) を導入します。

コアメカニズム

コンテキストキー $x_i$ と値 $v_i$ が与えられたとき、SV-Attentionは、One-class SVMのサポート係数 $\alpha$ を用いた加重平均を計算します：
$o(q) = \frac{\sum_i \alpha_i \kappa(q, x_i) v_i}{\sum_i \alpha_i \kappa(q, x_i)}$
係数 $\alpha$ は、固定されたボックスパラメータ $C$ を持つ凸二次計画問題を解きます：
$\min_{\alpha} \alpha^\top K \alpha - \text{diag}(K)^\top \alpha \quad \text{s.t.} \quad \sum \alpha_i = 1, \quad 0 \le \alpha_i \le C$
ここで、 $K$ はキーのグラム行列です。

アクティブセット分割

解は、Karush–Kuhn–Tucker (KKT) 条件に基づき、トークンを以下の3つの集合に分割します：

マージン集合 ( $S$ ): $0 < \alpha_i < C$ 。これらのトークンは出力を担います。
エラー集合 ( $E$ ): $\alpha_i = C$ 。境界または外れ値となるキー。
リザーブ集合 ( $R$ ): $\alpha_i = 0$ 。記述の内部にあるトークン。

認証された選択： 相補的スラック条件により、リザーブ集合 ( $R$ ) のトークンは重みが正確にゼロになります。これらを排除することは、出力が保存されることが証明されています。
厳密な忘却： 本システムは、境界付きKKT行列の逆行列を維持するインクリメンタル・ソルバー（Cauwenberghs & Poggio, 2000）を利用しています。これにより、以下が可能になります：

インクリメンタルな追加： KKT条件を維持しながらトークンを追加する。
デクリメンタルな除去： プロセスを逆転させてトークンを除去し、そのトークンが一度も見られなかった場合と同じ状態（同一の固定 $C$ の下で）にソルバーを正確に戻す。

学習と実装

本論文では、2つの異なる数値的パスを採用しています：

厳密維持パス (fp64): 推論および証明の検証に使用されます。これはKKT逆行列を維持し、この逆行列を再利用するカスタムバックプロパゲーション（第2のソルブを必要としない）を可能にし、厳密なデクリメンタル削除をサポートします。
安定化バッチパス (学習用): GPU上での学習を可能にするため、別の近似を使用します。これは、アクティブセットマスクを推定するためにバッチ化されたFISTAソルバーを用い、続いてリッジ正則化（ $10^{-3}$ ）された torch.linalg.solve で係数を算出します。このパスはオートグラッドを通じて微分可能ですが、厳密な削除の証明を提供したり、KKT逆行列を再利用したりすることはありません。

ハイブリッド層はこれらを組み合わせます：長距離のグローバルメモリ（厳密パスまたはその近似によって解かれる）がプレフィックスを処理し、高密度なローカルパス（標準的なsoftmax）が現在のチャンクを処理します。

主な貢献

厳密な忘却： fp64による厳密維持パスは、「完璧な」アンラーニングを実現します。これは、データなしで再学習した場合と等価であることを意味します。実験では、デクリメンタルな除去が、（最適解が一意である場合に）再学習されたモデルと同一のアクティブセット分割および決定関数を回復することを示しました（中央偏差 $\sim 10^{-9}$ 〜 $10^{-13}$ ）。
認証された選択： アクティブセット分割は、ヒューリスティックなスコアではなく、数学的な証明として機能します。リザーブ・トークンを排除することは、出力が変わらないことを保証します。
学習可能な最大マージンメモリ： カスタムバックプロパガクションを用いて、フォワードパスで維持されたKKT逆行列を再利用することで、標準的なアテンションの計算コストを回避しつつ、学習可能な層を実証しました。
実世界での能力： 本システムは、外科的な事実の忘却、厳密な知識編集、およびMIMIC-IV ICUストリームにおける「忘れられる権利」に基づく患者記録の削除を、リークなしで実現しています。

実験結果

厳密な忘却の検証

分割の一致： ガウス分布、実際のMIMIC-IV、および学習済みモデルのキーにおいて、デクリメンタル・パスは、再学習されたモデルと同一のアクティブセット分割を98〜100%の試行（一意の最適解）で回復しました。
決定関数の偏差： デクリメンタル解と再学習解の間の中央偏差は、ガウス/ICUデータで $\sim 10^{-9}$ 、学習されたキーで $10^{-13}$ でした。最悪の偏差（ $1.1 \times 10^{-2}$ ）は、条件の悪い重複ストリームにおいてのみ発生しました。
減衰との比較： 係数減衰（標準的なベースライン）は、残りのトークンを再解決しないため、偏差が数桁大きく（ $10^{-2}$ 〜 $10^{-1}$ ）なりました。

認証された選択の性能

希少アイテムの再現率： 偏った冗長性条件下において、認証された選択は、H2O型のヘビーヒッター排除と比較して、0.86 という高い再現率で希少アイテムを保持しました（H2Oはクエリに対するオラクルアクセスを持っていても 0.32 でした）。
適応的な状態： フィラーが増加する選択的コピー・タスクにおいて、SV-Attentionはサポートセットのサイズを限定（11〜14トークン）したまま、 $\sim 0.99$ の再現率を維持しました。一方、固定状態のベースライン（DeltaNet、linear）はチャンスレベルまで崩壊しました。
ICUストリーム： MIMIC-IVデータにおいて、認証された選択は、一致した予算内で、ヘビーヒッター排除（0.05）に対し、重要な悪化時間（critical deterioration hours）の 0.80 を保持しました。

言語モデリング性能

小規模スケール (3.22M params): enwik8において、ハイブリッドSV-Attentionは、一致した状態を持つスライディングウィンドウTransformer（8.6%の改善、 $p=0.001$ ）と比較して、2.178 BPC を達成しました。
スケーラビリティ： 10Mパラメータにおいて、この優位性は消失（wash）しました。これは、チャンク凍結ゲートが、より大規模なスケールではsoftmaxよりも収束が遅く不安定であることに起因します。著者らは、ゲートのスケーラブルで安定した最適化は未解決の問題であると述べています。
スループット： ハイブリッド学習パスは、3.22Mモデルで 9,125 tokens/s に達しますが、これは標準的なMPS softmaxのリファレンスよりも 35.8倍遅い です。

意義と主張

本論文は、SV-Attentionを、生の透過率やあらゆるスケールでのパープレキシティにおいて支配的な汎用的なアテンションの代替としてではなく、監査可能な保証を必要とするシナリオのための特化したメカニズムとして位置付けています。

規制および臨床的価値： 最大の意義は、トークンの除去が近似ではなく証明可能であるメカニズムを提供することにあります。臨床的な同意の撤回や「忘れられる権利」の対象となるアプリケーションにおいて、モデルの出力がそのデータを一度も見なかった場合と数学的に等価であることを示す能力は、勾配ベースのアンラーニングに対する決定的な差別化要因となります。
構造的利点： 最大マージン制約が、高密度な最小二乗法メモリには欠けている構造的な「アクティブセット」を導入することを主張しています。この構造により、外れ値の認証された選択と厳密な忘却が可能になり、これは冗長で異常駆動型のストリーム（例：医療バイタル、定型文書）において特に価値があります。
限界： 著者らは、厳密な削除証明は、厳密なfp64パスによって解かれる長距離グローバルメモリにのみ適用されることを明示しています。ローカルチャンクパスおよびバッチ学習近似は、この証明を持ちません。さらに、現在の性能上の優位性は小規模な言語モデリングに限定されており、システムは標準的なアテンションの実装よりも大幅に低速です。

要約すると、SV-Attentionは、生の透過率や大規模なパープレキシティの支配力を犠牲にして、認証された特性（特定のトークンが無視されていることの証明、および特定のトークンが完全に消去されたことの証明）を追求しています。