技術的サマリー：デルタアテンションリジデュアル

問題定義

深層トランスフォーマーにおける標準的なリジデュアル接続は、固定された加法的係数（$h_l = h_{l-1} + f(h_{l-1})$）を介してすべての先行するサブレイヤー出力を累積します。これにより勾配の高速道路が提供されますが、深度全体にわたって情報を選択的に集約するメカニズムが欠如しています。アテンションリジデュアル（Kimi, 2025）は、固定された集約を、以前のレイヤー出力に対する学習されたソフトマックスアテンションに置き換えることで、選択的なクロスレイヤールーティングを可能にするよう提案しました。

しかし、本論文は標準的なアテンションリジデュアルにおける致命的な失敗モード、すなわちソースの冗長性によるルーティングの崩壊を特定しています。アテンションリジデュアルにおいて、ソース表現（$s_i$）は累積隠れ状態（$h_i = \sum v_j$）です。深度が増加するにつれ、隣接する累積状態は大きな共通プレフィックスを共有するため、それらのペアワイズ類似度が増大します。この冗長性はルーティング候補間の対比を低下させ、ソフトマックスアテンション重みをほぼ一様な分布へと駆り立てます。実証的に、深層における最大ルーティング重みは約0.2まで劣化し、このメカニズムは情報豊富な状態を選択する能力を失い、実質的にすべてのソースを平均化する結果となります。

手法：デルタアテンションリジデュアル

ソースの冗長性に対処するため、著者はデルタアテンションリジデュアルを提案します。これは累積状態ではなく、各サブレイヤーが導入する変化（デルタ）に対してルーティングを行うものです。

中核メカニズム

$s_i = h_i$ に対してルーティングを行う代わりに、この手法は $v_i = h_{i+1} - h_i$ に対してルーティングを行います。これはサブレイヤーの特定の寄与を表すものです。これは加法的ルーティングの定式化を通じて実装されます：
$$\hat{h}_l = \tilde{h}_l + \sum_i \alpha_{i \to l} \cdot v_i$$
ここで：

• $\tilde{h}_l$ は現在のリジデュアルストリームです（デフォルトで保持されます）。
• $v_i$ はデルタソース（サブレイヤーごとの出力）です。
• $\alpha_{i \to l}$ は正規化されたデルタに対するソフトマックスを介して計算された学習されたアテンション重みです。

粒度のバリエーション

この原則は 2 つの粒度で適用されます：

1. デルタアテンションリジデュアル（Delta AttnRes）：アテンションと MLP のすべての個別のサブレイヤー出力に対してルーティングを行い、$L$ レイヤーに対して $2L$ 個のソースを提供します。
2. デルタブロック（Delta Block）：ブロック内の連続するサブレイヤー出力を単一のブロックデルタ（$\Delta_b$）に集約し、効率化のためにソースの数を $\approx L/B$ に削減します。

主要な設計上の利点

1. 構造的な多様性：線形関係に収束する累積状態とは異なり、デルタは構造的に多様です。なぜなら、アテンション出力と MLP 出力は異なる部分空間を占有し、異なる抽象化レベルを捉えるからです。これにより高いルーティング対比（最大重み $\approx 0.6$）が維持されます。
2. リジデュアルの保持：加法的定式化はリジデュアルストリームを保持し、ブロック境界において情報が失われることを防ぎます（ストリームを破棄する置換ルーティングとは異なり）。
3. 安全な初期化：ゼロ初期化されたクエリ重みを用いると、ルーティング重みは一様になり、ルーティング出力は有界な摂動となります。これにより、初期状態においてこのメカニズムは恒等写像に還元され、学習済みリジデュアルストリームを乱すことなく事前学習モデルの微調整が可能になります。

主要な貢献

1. ルーティング崩壊の特定：本論文は、累積状態型アテンションリジデュアルにおけるソースの冗長性が、深層においてルーティングの鋭さを $\sim 0.2$ まで劣化させ、ほぼ一様なアテンション分布をもたらすことを実証しています。
2. デルタアテンションリジデュアル：累積状態ではなくデルタに対してルーティングを行う新しいアーキテクチャです。これは鋭いルーティング（$\sim 0.6$）を維持し、2 億 2000 万パラメータから 76 億パラメータまでのスケールにわたって、標準的なリジデュアルおよびアテンションリジデュアルを常に上回ります。
3. 微調整との互換性：加法的定式化により、既存の事前学習済みトランスフォーマーを、クロスレイヤー重みの利用が微調整中に失敗する「損失ランドスケープの谷」の問題を克服し、標準的な微調整を通じてデルタアテンションリジデュアルに変換することが可能になります。

実験結果

著者は、FineWeb-Edu でゼロから訓練され、下流タスクで微調整された Qwen3 アーキテクチャモデルに対して本手法を評価しました。

• ゼロからの訓練：

  • 性能：デルタ手法はベースラインを常に上回りました。10 億 4400 万パラメータのスケールにおいて、デルタアテンションリジデュアルは検証パープレキシティ 29.13 を達成しました（ベースラインの 29.70 に対し、-1.9% の改善）。76 億パラメータのスケールにおいて、デルタブロックは 16.00 の PPL を達成しました（ベースラインの 17.43 に対し、-8.2% の改善）。
  • 代替手法の失敗：標準的なアテンションリジデュアル（AttnRes）は、置換ルーティングと定期的なリセットによる情報の累積的損失により、大規模スケールで著しく劣化しました（例：10 億 4400 万パラメータにおいてベースラインより 6.9% 悪化）。
  • 効率性：サブレイヤーごとのデルタアテンションリジデュアルは最良のパープレキシティを提供しますが、高いメモリオーバーヘッドを伴います。デルタブロック（ブロックレベルのグループ化）は、デルタアテンションリジデュアルの品質と同等の性能を提供しつつ、メモリとスループットコストを大幅に削減する実用的なデフォルト選択肢です（例：10 億 4400 万パラメータにおいて、フルデルタアテンションリジデュアルの 3.5 倍に対し、26% のメモリオーバーヘッド）。

• 微調整：

  • 事前学習済み Qwen3-0.6B モデルを微調整する際、デルタブロックは 8 つの下流ベンチマークで平均 55.6% の精度を達成し、標準的なベースライン（55.0%）およびアテンションリジデュアル（54.1%）を上回りました。
  • 重要なのは、デルタブロックが初期化時にアテンションリジデュアルで観察された大きな損失のスパイクを回避し、その安全な初期化特性により滑らかに収束したことです。

• ルーティング分析：

  • 可視化は、デルタブロックが深度全体を通じて鋭いルーティング（最大重み $\sim 0.6$–$1.0$）を維持することを確認させ、一方アテンションリジデュアルは深層で$\sim 0.2$ まで崩壊することを示しています。
  • デルタモデルの深層は、トークン埋め込みを含む特定の初期出力に重みを集中的に選択するのに対し、アテンションリジデュアルはアテンションを拡散的に分布させます。

意義と主張

本論文は、デルタアテンションリジデュアルが、クロスレイヤールーティングにおけるソースの冗長性という根本的な問題を解決すると主張しています。「蓄積されたもの（累積状態）」ではなく「変化したもの（デルタ）」に対してルーティングを行うことで、この手法は深層ネットワークに効果的にスケーリングする、選択的で高対比のルーティングを可能にします。

著者は、このアプローチが他のアーキテクチャの改善と直交であることを強調しています。その主な意義は以下の点にあります：

1. スケーラビリティ：以前のアテンションベースのリジデュアル手法で見られた劣化なしに、より深く効果的なクロスレイヤー接続を可能にします。
2. 実用性：加法的定式化と安全な初期化により、クロスレイヤールーティングを微調整を通じて既存の事前学習済みチェックポイントにシームレスに統合することが可能となり、以前は初期化の不安定性によって阻害されていた能力を実現します。
3. 効率性：デルタブロックバリアントは、大規模な訓練に適した高性能かつ低オーバーヘッドのソリューションを提供し、ルーティングの表現力と計算制約のバランスを取ります。