💻 computer science

Gated DeltaNet-2: Decoupling Erase and Write in Linear Attention

Gated DeltaNet-2 は、先行モデルにおけるスカラー結合編集の限界を克服するために、個別のゲートを通じてチャネルごとの消去操作と書き込み操作を分離する新規の線形注意機構を導入し、言語モデル化および長文脈検索タスクにおいて最先端のパフォーマンスを達成する。

原著者： Ali Hatamizadeh, Yejin Choi, Jan Kautz

公開日 2026-05-22

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ali Hatamizadeh, Yejin Choi, Jan Kautz

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

「Gated DeltaNet-2」という論文を、平易な言葉と創造的な比喩を用いて解説します。

全体像：「メモリ過多」の問題

非常に長い本を読んで質問に答える必要がある、超賢い図書館司書（AI モデル）を想像してください。

従来の方法（標準トランスフォーマー）： 司書は、読んだことのあるすべての単語ごとに、巨大で成長し続ける索引カードの山を維持します。本が 10 万語の長さであれば、その山は巨大になります。これは多くの机のスペース（メモリ）を占有し、情報の検索を遅くします。
より新しい方法（線形アテンション）： スペースを節約するために、司書は単一の固定サイズのノートを使用します。すべてを書き留める代わりに、物語を追いながら要約します。ノートがいっぱいになると、新しいことを書くために何かを消さなければなりません。

この「固定されたノート」の問題点は干渉です。司書が新しい物語を書くためにページを消すと、後で必要になる過去の重要な詳細を誤って消し去ってしまう可能性があります。これは、すでに電話番号が書かれた付箋に新しい買い物リストを書こうとするようなものです。番号の上に書き込んでしまうと、その番号を失ってしまいます。

以前の解決策：「万能」の消しゴム

研究者たちは、KDAやGated DeltaNetのようなモデルでこの問題を修正しようとしました。彼らは司書に特別な「消しゴム」と「ペン」を与えました。

しかし、これらのモデルには欠陥がありました：消しゴムとペンは結びついていたのです。
2 つのことを同時に制御する単一のスイッチを想像してください。

古い書き込みのどの程度を消し去るか。
新しい書き込みのどの程度を確定するか。

司書が過去の特定の単語を消し去り、ページの残りを維持したい場合、それはできませんでした。そのスイッチは、ページ全体を消すか、新しい物語全体を書くかのどちらかを強制しました。彼らは正確に対応できませんでした。彼らは「密着」していたのです。

新しい解決策：Gated DeltaNet-2

Gated DeltaNet-2は、この司書のノートシステムの新しいバージョンです。その主な革新は、消しゴムからペンを**分離（デカップリング）**することです。

1 つのスイッチの代わりに、モデルには2 つの独立した制御があります。

「消去ゲート」（消しゴム）： この制御は古い情報を見ます。古い物語のどの特定の部分を消し去るかを正確に決定します。隣にある「オレンジ」という単語に触れることなく、「りんご」という単語だけを消去できる、精密な消しゴムを持っているようなものです。
「書き込みゲート」（ペン）： この制御は新しい情報を見ます。新しい物語のどの部分を書き留めるかを正確に決定します。リスト全体を書き直すことなく、購入した新しい材料だけを記述できるペンを持っているようなものです。

比喩：
ノートのページをデジタルホワイトボードだと考えてください。

旧モデル： リモコンを持っています。「更新」を押すと、ボードの 50% が消され、50% の新しいものが書かれます。何が消され、何が書かれるかを選ぶことはできません。
Gated DeltaNet-2： レーザーポインターとマーカーを持っています。レーザーを使って、間違った特定の古い事実だけを消し去り（「消去ゲート」）、その後、マーカーを使って特定の重要な新しい事実だけを記述（「書き込みゲート」）できます。

なぜこれが重要なのか（結果）

この論文では、この新しい「2 つのゲート」システムを、莫大な量の教育テキストで訓練された 13 億パラメータのモデル上で、他の賢いモデル（Mamba-2、Mamba-3、元の KDA など）と比較してテストしました。

彼らが発見したことは以下の通りです。

「干し草の山の中の針」を見つける能力の向上：
図書館司書が 100 ページの文書の中に隠された 1 つの特定の文句を見つけるテストを想像してください。
- 旧モデルは、新しい情報を書こうとする際に「結びついた」消しゴムが誤って針を消し去ってしまったため、混乱することがありました。
- Gated DeltaNet-2は、この点で最も優れていました。重要な「針」を保護しながら、邪魔な情報だけを選択的に消去できたため、非常に長い文書であっても正解をよりよく記憶していました。
より賢い推論：
常識に関するテスト（例：「私がコップをテーブルの上に置いたら、コップはどこにあるか？」）において、新しいモデルは競合他社よりも高いスコアを記録しました。メモリを精密に編集できることが、モデルが関係をよりよく理解するのに役立っているようです。
速度と効率：
より複雑な制御（1 つではなく 2 つのゲート）を持っているにもかかわらず、モデルは著しく遅くなりませんでした。それは依然として他の効率的なモデルと同様の速度でテキストを処理しており、実用的な用途に適しています。

まとめ

Gated DeltaNet-2は、AI が短期記憶を管理するためのより賢い方法です。**忘却（古いデータの消去）の行為と学習（新しいデータの記述）**の行為を分離することで、モデルは重要な情報を誤って削除する「巻き添え被害」を回避します。これにより、メモリ使用量を低く保ちながら速度を高く維持しつつ、以前の手法よりも長い物語や複雑なタスクをより正確に処理できるようになります。

技術的サマリー：Gated DeltaNet-2

問題定義

線形アテンション機構は、無制限のキャッシュを固定サイズの再帰状態に置き換えることで、標準的なソフトマックスアテンションに対する魅力的な代替手段を提供し、シーケンスの混合を線形時間へ、デコーディングを定数メモリへと削減します。しかし、デルタ則モデル（DeltaNet、Gated DeltaNet、Kimi Delta Attention/KDA など）には根本的なボトルネックが残っています。これらのモデルは、関連付けのターゲットを絞った上書きを可能にすることでメモリ管理を改善していますが、2 つの異なる操作を同時に制御するためにスカラーゲート（ $\beta_t$ ）に依存しています。

消去（Erasing）： キー側から読み取られた古いコンテンツのどの程度を削除するかを決定する。
書き込み（Writing）： 値側からの新しいコンテンツのどの程度をコミットするかを決定する。

本論文は、これらを単一のスカラー決定として扱うことがモデル化の制限であると主張しています。消去はキー軸に対して作用し（古い読み取りのどの座標を削除するかを決定）、書き込みは値軸に対して作用します（取り込まれる値のどの座標をコミットするかを決定）。これらの決定を結合することは、特に多くの関連付けが同じ有限の状態空間を競合する長いコンテキストシナリオにおいて、既存の関連付けを混乱させることなく圧縮されたメモリを選択的に編集するモデルの能力を制限します。

手法：Gated DeltaNet-2

著者は、デルタ則内の消去操作と書き込み操作を分離する再帰アテンション層であるGated DeltaNet-2を提案します。

1. Gated Delta Rule-2

核心的な革新は、スカラーゲートを 2 つの独立したチャネルごとのゲートに分離することです。

消去ゲート（ $b_t \in [0, 1]^{d_k}$ ）： キー次元に適用されるチャネルごとのベクトル。現在の読み取り（ $e_t = b_t \odot k_t$ ）の座標に重みを付け、古い状態のどの部分が消去されるかを決定します。
書き込みゲート（ $w_t \in [0, 1]^{d_v}$ ）： 値次元に適用されるチャネルごとのベクトル。取り込まれる値（ $z_t = w_t \odot v_t$ ）の座標に重みを付け、新しい値のどの部分がコミットされるかを決定します。

状態更新式は以下のようになります。
$S_t = (I - k_t(b_t \odot k_t)^\top) D_t S_{t-1} + k_t(w_t \odot v_t)^\top$
ここで、 $D_t = \text{Diag}(\alpha_t)$ は KDA から継承されたチャネルごとの減衰を表します。

この定式化は以前のモデルを一般化します。

$b_t$ と $w_t$ が同じスカラー $\beta_t$ に束縛されている場合、KDAが再現されます。
減衰 $\alpha_t$ もスカラーに束縛されている場合、Gated DeltaNetが再現されます。

2. 高速重み更新の視点

著者は、この更新を局所回帰損失に対するオンライン最適化ステップとして解釈します。モデルは、読み取り値（ $\bar{S}_{t-1}^\top e_t$ ）をゲート付きターゲット（ $z_t$ ）に修正する連想的な編集を条件として、新しい状態と減衰したメモリとの距離を最小化します。この見方により、更新がゲート付きの古い読み取りを減算し、その後ゲート付きの新しい値を加えることが明確になります。

3. 効率的なチャンク単位並列トレーニング

トレーニング効率を維持するために、著者は累積的なチャネルごとの減衰をランク 1 の消去因子に吸収するWY アルゴリズム（KDA と同様）を導出しました。

減衰の吸収： チャネルごとの減衰は、消去（ $\bar{E}$ ）および書き込み（ $Z$ ）行列に正規化され、再帰を純粋な非対称デルタ更新として表現することを可能にします。
三角方程式の求解： チャンク単位の計算には、補助行列 $Y$ （消去側）と $U$ （書き込み側）を計算するために、下三角システム $(I+T)^{-1}$ を解くことが含まれます。
ゲート認識型バックワードパス： 重要な技術的貢献は、バックワードパスの導出です。スカラーゲートモデルではゲート因子をドット積から引き出すことができるのに対し、Gated DeltaNet-2 ではチャネルごとのゲート（ $b_t$ と $w_t$ ）を補助行列の勾配の蓄積に直接組み込む必要があります。これにより、効率的なチャンク単位の構造を破ることなく正しい勾配フローが保証されます。

4. アーキテクチャ

このモデルは、標準的なトランスフォーマースタイルのブロック内のトークンミキサーとして実装されています。再帰のみおよびハイブリッドの両方の構成をサポートします。ハイブリッド変種は、正確な局所的相互作用を処理するためにスライディングウィンドウアテンション（SWA）と Gated DeltaNet-2 ミキサーを交互に配置し、再帰層が長距離依存関係を管理します。

主要な結果

このモデルは、13 億パラメータで FineWeb-Edu トークン 1000 億でトレーニングされ、Mamba-2、Gated DeltaNet、KDA、Mamba-3（SISO/MIMO）、およびトランスフォーマーと比較評価されました。

言語モデリングと推論： Gated DeltaNet-2 は、パープレキシティ（WikiText、LAMBADA）およびゼロショット常識推論ベンチマーク（PIQA、HellaSwag など）の両方において、再帰およびハイブリッド設定のいずれでも最も強力な全体的な結果を達成しました。
長コンテキスト検索（RULER）： 最も顕著な改善が**マルチキー干し草の針（MK-NIAH）**タスクで観察されました。これらのシナリオでは、固定サイズの状態が競合する関連付けを分離する必要があり、Gated DeltaNet-2 はすべてのベースラインを上回りました。特にコンテキスト長が増加するにつれて（最大 8K トークンまで）、その優位性が際立ちました。
実世界の検索： 抽出や質問応答（SQuAD、TriviaQA、DROP）に関連するタスクにおいて、ハイブリッド Gated DeltaNet-2 モデルは最高平均精度を達成し、ノイズの多い実世界のコンテキストにおける堅牢性を示しました。
効率性： H100 GPU でのスループット分析により、Gated DeltaNet-2 はシーケンス長が増加してもほぼ平坦なスケーリングを維持し、追加のチャネルごとのゲートに起因するわずかな定数オーバーヘッドのみで KDA と比較して優れていることが示されました。

意義と主張

本論文は、アクティブなメモリ編集の分離が、固定状態再帰の主要な圧力点である、多数の圧縮された関連付け間の干渉を直接的に標的とすると主張しています。

モデル化の柔軟性： 消去と書き込みを分離することで、モデルは減衰を通じて広範なコンテキストをクリアし、消去ゲートを通じて特定の古くなった関連付けを削除し、書き込みゲートを通じて必要な値チャネルのみを挿入することができます。この柔軟性により、モデルは KDA や Gated DeltaNet を特殊ケースとして再現しつつ、必要に応じてより複雑なチャネル構造を学習できます。
実証的検証： 除去実験（アブレーション研究）は、両方のゲートが性能に寄与することを確認しており、チャネルごとの消去ゲート（ $b_t$ ）が言語モデリングと検索における改善の大部分を占めています。
実用性： この研究は、高度なメモリ制御メカニズムが、大規模トレーニングに必要な並列トレーニング効率を犠牲にすることなく、線形アテンションに統合できることを実証しています。

著者は、Gated DeltaNet-2 が「再帰アテンションの最前線」における一歩前進を表し、長コンテキストシナリオにおける圧縮されたメモリを管理するためのより表現豊かで効率的なメカニズムを提供すると結論付けています。