技術的概要：OSDN：線形アテンションにおける証明可能なオンライン前処理によるデルタ則の改善

1. 問題定義

線形アテンションと状態空間モデル（SSM）は、ソフトマックスアテンションに対する $O(N)$ の推論複雑性と定数メモリの代替手段を提供し、長系列処理に適しています。しかし、それらは特にソフトマックスベースのトランスフォーマーと比較して、コンテキスト内連想想起に苦戦することが多いです。

デルタ則（DeltaNet における実装）は、トークンごとの回帰損失 $f_t(S) = \frac{1}{2}\|S k_t - v_t\|_F^2$ に対するオンライン勾配降下（OGD）の単一ステップとして再帰的状態更新を解釈することで、このギャップを埋めようとします。更新則は $S_t = S_{t-1} + \beta_t (v_t - S_{t-1}k_t)k_t^\top$ であり、ここで $\beta_t$ はスカラーゲートです。

核心的な限界：スカラーゲート $\beta_t$ は、すべてのキー次元に適用される均一な学習率として機能します。これは、内部目的関数の特徴ごとの曲率を無視しています。連想想起タスクにおいて、異なるキー（例えば、頻出と希少な識別子、安定と高エントロピーの値）は、異なる経験的曲率を示します。単一のスカラーステップサイズは妥協を強います：ある方向の古くなったメモリを上書きするために増やすと、すでに適切に較正されている別の方向を過剰に修正してしまう可能性があります。標準的な適応オプティマイザ（Adam など）は、これを解決するために対角前処理を使用しますが、そのようなメカニズムを再帰層に適用するには、通常、密な二階状態が必要か、DeltaNet を効率的にするハードウェアフレンドリーなチャンク単位並列化パイプライン（WY 変換など）を破綻させます。

2. 手法：オンラインスケーリングデルタネット（OSDN）

著者らは、スカラーゲートを、ハイグラディエントフィードバックを通じてオンラインで学習される対角前処理行列 $D_t = \text{diag}(d_t)$ で拡張するOSDNを提案します。

2.1. 代数的等価性とハードウェアの維持

OSDN の重要な洞察は、勾配ステップを右から前処理することが、書き込み側キーの特徴ごとのスケーリングと代数的に等価であるという点です。
標準的な更新則：
$$S_t = S_{t-1} - \beta_t \nabla f_t(S_{t-1}) D_t = S_{t-1} + \beta_t (v_t - S_{t-1}k_t)(d_t \odot k_t)^\top$$
前処理済みキー $\tilde{k}_t = d_t \odot k_t$ を定義することで、更新則は次のようになります：
$$S_t = S_{t-1} + \beta_t (v_t - S_{t-1}k_t)\tilde{k}_t^\top$$
この変換により、OSDN は DeltaNet のチャンク単位 WY 並列パイプラインを厳密に維持できます。実装では、チャンクグラム行列とチャンク内スコアにおいて、保存キー $K$ を $\tilde{K}$ に置き換えるだけでよく、$O(K)$ の前処理ベクトルを超えて高次元の状態オーバーヘッドは発生しません。

2.2. 分離されたハイグラディエントフィードバック

前処理パラメータ $d_t$ は、Online Scaled Gradient Method (OSGM) フレームワーク [18] から導出されたハイグラディエント代理に対するオンライン勾配降下（OGD）を通じて更新されます。
前処理パラメータに対する代理損失は以下の通りです：
$$h_t(d_t) = \frac{f_t(S_t) - f_t(S_{t-1})}{\|\nabla f_t(S_{t-1})\|_F^2}$$
重要なことに、内部回帰損失 $f_t$ の正確な二次構造により、この代理は、高次元の状態 $S_t$、値 $v_t$、または残差 $u_t$ からは独立し、キー $k_t$ とスカラーゲート $\beta_t$ のみによって依存する閉形式の式を許容します。
$$h_t(d_t) = \frac{(1 - \beta_t \langle d_t, k_t^2 \rangle)^2 - 1}{2 \|k_t\|_2^2}$$
この分離により、2 フェーズ実装が可能になります：

1. フェーズ 1：キーストリームに対する軽量な $O(K)$ スキャンを行い、前処理済みキーの系列 $\{\tilde{k}_t\}$ を計算し、$d_t$ を更新します。
2. フェーズ 2：$K$ の代わりに $\tilde{K}$ を使用して、標準的なチャンク単位デルタネットパスを実行します。

2.3. 適応的前処理忘却（APF）

キー分布が変化する非定常な言語コンテキストに対処するため、著者らはAPFを導入します。これは、状態 $S_t$ ではなく、前処理状態 $d_t$ のみに対して適用される、学習されたトークンごと・ヘッドごとの保持ゲート $r_{t,h}$ を追加します：
$$\bar{d}_{t+1} = r_{t,h} d_t + \eta \nabla_d h_t(d_t)$$
これにより、2 フェーズスキャンに必要なアフィン再帰構造を維持しつつ、メタオプティマイザが古くなった較正を「忘却」することが可能になります。

3. 理論的保証

本論文は、内部損失の正確な二次性質に基づいて、2 つの収束保証を確立しています：

1. 人口極限超幾何収束（定理 5.1）：理想的な右ニュートン比較器（$D^\star = \Sigma_k^\dagger$）に対して、オンライン学習者が部分線形後悔を達成する場合、グローバル目的関数の最適性の欠如は、超幾何率 $O((C/T)^T)$ で収縮します。これは、標準的な幾何（線形）収束よりも著しく高速です。
2. アルゴリズム局所残差収縮（定理 5.2）：実装された対角更新について、トークン局所残差比の積 $\prod_{t=1}^T \frac{f_t(S_t)}{f_t(S_{t-1})}$ は有界です。対角比較器がゲート付きニュートン条件（$\beta_t \langle d^\star, k_t^2 \rangle = 1$）を満たす場合、収縮率も超幾何的であり、標準的な OGD 後悔の仮定の下で特に $O((1/\sqrt{T})^T)$ となります。

4. 実験結果

実験は、340Mおよび1.3BパラメータスケールにおけるDeltaNet、Gated DeltaNet (GDN)、および**Kimi Delta Attention (KDA)**のバックボーンで行われました。

4.1. コンテキスト内想起（340M スケール）

• 性能：バニラ OSDN は、ベースライン DeltaNet に対して JRT 様式のコンテキスト内想起を32%改善しました（0.150 $\to$ 0.198）。この gain は、キーが再帰し、前処理パラメータが較正を可能にする反復コンテキストタスク（例："JRT-twice" 変種）に集中していました。
• APF の影響：OSDN-APF は**17%**の gain（0.176）を維持し、DeltaNet 変種の中で最高の WikiText/LAMBADA パープレキシティ（30.99 対 32.00）を提供しました。
• 一般化：より広範なベンチマーク（Commonsense、LongBench）において、OSDN 変種はベースラインと同等の性能を維持し、このメカニズムがユニバーサルな性能向上装置ではなく、ターゲットを絞ったものであることを確認しました。

4.2. 1.3B パラメータへのスケーリング

• 残差収縮：メカニズムレベルのシグナルがスケールとともに増幅されました。幾何平均残差比（$q_{geo}$）は0.432 から 0.265に低下し（39% の削減）、340M で見られた改善のほぼ倍増となりました。
• ダウンストリーム同等性：内部残差収縮の大幅な改善にもかかわらず、ダウンストリーム指標（WikiText/LAMBADA パープレキシティ、Commonsense、LongBench）は 1.3B DeltaNet ベースラインと同等のままであり、このメカニズムが汎用能力を低下させることなく効果的に転移することを示しています。

4.3. 効率性

• スループット：OSDN 変種は最小限の推論オーバーヘッドしか発生させませんでした。340M では、スループットの変化は $\pm 2.2\%$ 以内でした。1.3B では、OSDN-APF はベースラインより6.8% 遅く、これは前処理パラメータのための追加の逐次スキャンに起因します。
• 状態オーバーヘッド：$O(K)$ の前処理ベクトルにより、永続的な再帰状態はわずか$\le 0.05\%$増加しました。

5. 意義と主張

本論文は、OSDN を、一次スカラー更新と適応的オプティマイゼーションの間のギャップを埋める最小限のターゲット拡張として位置づけています。

• メカニズムレベルの改善：主な貢献は、残差収縮比の直接診断によって検証された、オンライン前処理による連想想起の証明可能なメカニズムレベルの改善です。
• ハードウェア互換性：他の二階または密な前処理方法とは異なり、OSDN はチャンク単位並列パイプラインと $O(K)$ の状態複雑性を維持し、大規模展開を実用的にします。
• スケーラビリティ：結果は、オンライン前処理の恩恵が数十億パラメータスケールで転移し増幅することを示しており、線形アテンションにおける「曲率の不一致」は、アーキテクチャの抜本的変更なしに対処可能な根本的なボトルネックであることを示唆しています。
• 限界：著者らは明示的に、OSDN はユニバーサルなベンチマーク改善装置ではないと指摘しています。gain は反復キーを含む検索タスクに集中しています。理論的保証は、内部損失の正確な二次仮定と単調減少に依存しており、これらは理想化された条件です。この手法は、コンテキスト内学習のすべての限界を解決すると主張するものではなく、特にデルタ則の書き込みステップ幾何学に対処するものです。