技術要約：十分であれば最適である：量子化されたGated DeltaNetのための乗算のみによる行列逆行列近似

問題提起

大規模言語モデル（LLM）が長いコンテキスト長へとスケールするにつれ、標準的なアテンション・メカニズムは二次関数的なメモリおよび実行コストに直面しています。Gated DeltaNetのような線形アテンション手法は、固定サイズの再帰状態を維持することでこれに対処します。しかし、最近の実装（例：Qwen3.5やKimi）では、トークンシーケンス内の並列性を引き出すために、チャンク単位の並列戦略を利用しています。これは外側のトークン間の依存関係を取り除きますが、新たなボトルネックを生み出します。それは、各チャンク内における三角行列の逆行列計算です。

具体的には、チャンク単位の更新には $T = (I - A)^{-1}$ を計算する必要がありますが、ここで $A$ は厳密な下三角行列です。従来のアプローチは、$k \times k$ 行列に対して $k-1$ 回のイテレーションを必要とする逐次アルゴリズムである**前進代入法（forward substitution）**に依存しています。この手法は並列性に乏しく、ベクトル演算に大きく依存するため、ニューラル・プロセッシング・ユニット（NPU）上でのハードウェア利用率が低くなります。Qwen3.5-4Bにおいて、この逆行列ステップは総サイクルコストの22%～31%を占めており、チャンクサイズが大きくなるにつれてオーバーヘッドが増大します。

さらに、ブロック分解やノイマン級数展開を用いてこれを並列化しようとする既存の試みも、以下の課題に直面しています：

1. ブロック分解による逆行列計算は行列サイズを制限し、利用可能な並列性を抑制します。
2. 直接的なノイマン級数展開（ $(I-A)^{-1} = \sum A^n$ ）は、有限精度（FP16/INT）下で数値的不安定性に陥ります。高次の項は急速に増大し、オーバーフローやヘビーテイル分布を引き起こし、量子化性能を低下させます。

手法

著者らは、チャンク単位の線形アテンションにおける厳密な下三角行列に特化した、**乗算のみ（MatMul）**による近似アルゴリズムを提案しています。その核心となる哲学は「十分であれば最適である（Good Enough Is Optimal）」です。モデルの精度を維持しつつ、ハードウェア効率の高い実行を可能にするのであれば、厳密な逆行列計算は不要であるという考えに基づいています。

本手法は、以下の3つの主要コンポーネントで構成されています。

1. 低次での打ち切りノイマン展開

全項を計算する有限展開（$k$ 個の項が必要）を行う代わりに、少数の項 $N$ （$N \ll k$）でノイマン級数を打ち切ります。

• 理論的根拠: レマ3.1は、厳密な下三角行列 $A$ に対して、$n$ 乗 $A^n$ は第 $n$ 副対角線とその以下にのみ寄与することを確立しています。したがって、逆行列のエネルギーは主対角線の近傍に集中します。
• 実装: 初期近似は $T^{(0)} = \sum_{n=0}^{N} A^n$ となります。実証的な分析により、低い次数（例：$N \approx 3$）で逆行列構造の大部分を捉えられることが示されており、完全な展開に伴う計算コストを回避できます。

2. 構造的対角マスキング

高次の項が急速に増大して数値的不安定性（FP16/INTの範囲を超える可能性）を引き起こす問題に対処するため、著者らは対角マスク $M^{(N)}$ を適用します。

• メカニクション: このマスクは、主対角線からの距離が打ち切り次数 $N$ を超えるエントリーをゼロに設定します（すなわち、$i-j \le N$ の場合に $M_{ij} = 1$、それ以外は $0$）。
• 効果: これにより、逆行列の精度にはほとんど寄与しないものの、オーバーフローや量子化ノイズの原因となる、行列の左下領域にある「余分な」大きな値を除去します。これにより、近似が低ビット整数（INT）量子化に対して堅牢になります。

3. 並列残差補正

打ち切りとマスキングは近似誤差を生じさせます。逐次的な依存関係を再導入することなく精度を回復するために、著者らは並列残差補正スキームを採用しています。

• 定式化: 逐次的な更新（ $T^{(m+1)} = T^{(m)} + T^{(m)}R^{(m)}$ ）を行う代わりに、残差誤差 $E = I - (I-A)T^{(0)}$ の行列累乗の累積として補正を再定式化します。
• 実行: 最終的な近似は $T \approx T^{(0)} \sum_{s=0}^{S} E^s$ として計算されます。これにより、プロセス全体を**行列乗算（MatMul）**カーネルのみを使用して実行でき、NPUへの並列性を完全に露出させることが可能になります。

量子化への適応

本手法は、低ビット推論（例：INT8/INT16）向けに特別にチューニングされています。著者らは、打ち切り次数 $N$ を増やす（例：3から4へ）と、値のダイナミックレンジが劇的に拡大し、深刻な量子化誤差につながることを観察しています。$N$ を制限し（例：$N=3$）、残差ステップ（$S=8$）で補償することで、数値的安定性、精度、および効率のバランスを取っています。

主な貢献

1. 近似的だが十分なMatMul専用の逆行列計算: 本論文は、逐次的な三角行列解法を、構造化マスキングと並列残差補正を組み合わせた低次ノイマン近似に置き換えます。これにより、主要な計算をMatMulカーネルにマッピングし、浮動小数点および整数量子化の両方において精度を維持します。
2. ハードウェア効率の高いNPU実行: 三角行列解法の依存関係を排除することで、密な行列乗算を露出させます。これにより、NPU上で最大5倍のカーネルレベルの高速化を実現し、精度を損なうことなくデコードレイヤーのオーバーヘッドを**20%**削減します。
3. 低精度下での堅牢性: 繰り返される行列累乗操作におけるダイナミックレンジの拡大を抑制し、従来のメソッドが大幅に劣化したり失敗したりする場面でも、INT16およびINT8量子化を用いた安定した推論を可能にします。

実験結果

本手法は、Qwen3.5ファミリーのモデル（0.8Bから9Bパラメータ）およびQwen3-Nextモデルを用いて評価されました。

• 精度:
  • 単一カーネル: 本手法は、FP16およびINT16において、FP32のベースラインに匹敵する高い信号対雑音比（SNR）を維持します。
  • エンドツーエンド: パープレキシティ（PPL）およびダウンストリームタスクの精度（MMLU, CSR, RealWorldQA）は、すべてのモデルスケールにおいてFlash Linear Attention（FLA）のベースラインと一致します。
  • 量子化: W4A16量子化の下で、提案手法は標準的なFLAよりも、特にRealWorldQAにおいてパフォーマンスを大幅に維持しており、PPLおよびMMLUスコアの差は無視できる程度です。
• パフォーマンス:
  • 高速化: チャンクサイズ32、64、128において、行列逆行列カーネルに対してそれぞれ5.2倍、4.2倍、4.6倍の高速化を達成しました。
  • オーバーヘッド削減: 行列逆行列のコストを、FLAにおける約22～31%から約5～9%に削減し、結果として全体のサイクルを**18.1%から24.6%**削減しました。
• アブレーション研究:
  • 低次での打ち切りのみ（$N=3$）では低精度下で発散しますが、対角マスクと残差補正（$S=8$）を加えることで、安定性と精度が回復します。
  • 64×64の行列の場合、最適な構成は $N=3$ および $S=8$ です。

意義と主張

本論文は、特にNPUにおけるロングコンテキスト・モデリングのボトルネックをターゲットとした、効率的でハードウェアフレンドリーな解決策を提供すると主張しています。

• スケーラビリティ: 逐次的な前進代入のペナルティなしに、より大きなチャンクサイズ（最大128）を可能にすることで、より効率的なロングコンテキスト処理をサポートします。
• デプロイメント: 計算量とエネルギー要件を削減することで、リソース制約のあるデバイス（モバイルおよびエッジプラットフォーム）へのロングコンテキストモデルのデプロイを容易にします。
• トレードオフの哲学: 本研究は、「正確な」逆行列計算は高品質なモデル性能のために必ずしも必要ではないことを強調しています。「十分である」という近似を受け入れることで、ハードウェア能力（MatMul重視、並列化可能）に適合させ、実用的なパフォーマンスにおいて最適な結果を得るという考え方です。

著者らは、本手法は効率性を向上させるものの、特に低精度制約下での信頼性を確保するために慎重な評価が必要であり、あらゆる潜在的なアーキテクチャにおけるすべての数値的不安定性の問題を解決することを目的としているのではなく、特にGated DeltaNetのコンテキストを対象としていることを注記しています。