技術要約：Taylor-Calibrate

問題提起

ハイブリッド線形アテンションモデルは、固定サイズの再帰的または状態空間メモリ（例：Gated DeltaNet, GDN）によって二次関数的なソフトマックス・アテンションを置き換えることで、効率的な長文脈推論への有望な道筋を提供します。しかし、このようなモデルを得るための実用的なアプローチは、ゼロから学習するのではなく学習済みTransformerを変換することですが、現在の変換手法は脆弱です。

既存のパイプラインは通常、教師モデルのクエリ、キー、バリュー、および出力投影（$W_Q, W_K, W_V, W_O$）をコピーしますが、新たに導入された再帰的ダイナミクス（減衰タイムスケール、ライトゲート、アウトプットゲート）については、ランダムな初期化や標準的なヒューリスティックに委ねられています。これにより、「ダイナミカル・レジーム（動的領域）」の不一致が生じます。変換された生徒モデルは、再帰的状態が履歴を過度に消去するか、あるいは構造化されていないノイズを注入してしまうため、ゼロショット品質が低い状態でスタートすることになります。その結果、ダウンストリームの蒸留プロセスにおいて、本来の教師の振る舞いを学習するためではなく、この初期化を修正するためだけに、かなりのトークン予算を費やすことになります。

手法：Taylor-Calibrate

著者らは、GDNベースのハイブリッド蒸留のための軽量な2段階初期化手法としてTaylor-Calibrateを提案しています。核心となる洞察は、ハイブリッド転送は単なる投影のコピー問題ではなく、再帰的ダイナミクスの初期化問題であるということです。この手法は、ソフトマックス・アテンションの低次テイラー展開の視点を利用して、教師モデルから得られるキャリブレーション統計量を導出し、それらをGDNのパラメータにマッピングします。

フェーズ1：テイラー由来の解析的キャリブレーション

このステージでは、学習を行う前に、教師の注意統計を使用して、値の投影、減衰バイアス、ライトゲート、およびアウトプットゲートのスケールを設定します。

1. 値のスケール ($W_V$): 教師の出力振幅を、ヘッドごとの最小二乗法（OLS）による再スケーリング係数（$\sigma^*_h$）を用いて、生徒のバリューパスに一致させます。
2. 減衰バイアス ($dt_{bias}$): 教師の平均的なアテンション距離（$d_h$）を使用して、再帰的な減衰タイムスケールを設定します。この手法は、再帰的メモリがおよそ $d_h$ トークン後に半分に減衰すべきであると仮定し、以下の閉形式の初期化を用います：$dt_{bias,h} = \text{softplus}^{-1}(\ln 2 / d_h)$。
3. ライトゲート ($b_{proj}$): 教師のアテンション分布のエントロピーを濃度スコア（$c_h$）に正規化します。これは目標とするライトゲート確率（$\beta^*_h = 0.3 + 0.4c_h$）にマッピングされます。対応するライト投影行列の行は、平均的なプリシグモイド・ロジットが $\text{logit}(\beta^*_h)$ と一致するように再スケールされます。
4. アウトプットゲート ($g_{proj}$): アウトプットゲートが初期段階で再帰的状態を圧倒することを防ぐため、教師の出力スケールに対する小さなRMS一致摂動（$\alpha^*_\ell$）として初期化されます。

フェーズ2：レイヤーごとの勾配アライメント

解析的キャリブレーションは正しい「スケール」を設定しますが、教師の非線形出力を一致させるために必要な正確な「方向」を決定することはできません。第2ステージでは、小さなキャリブレーション・コーパスを用いて、レイヤー局所的なアライメントステップを実行します。

• 目的は、同じ入力に対して、生徒のGDN出力と教師の出力の間の二乗誤差を最小化することです。
• このステップでは、転送された投影と、新たに初期化された再帰的パラメータの両方を更新します。
• 決定的なのは、このアライメントが、ゲートパラメータを、大きさを劇的に増大させることなく教師のような出力を生成する方向へと回転させ、モデルを解析的な事前分布から特定の教師のダイナミクスへと効果的に移行させる点です。

主な貢献

1. 変換の再定義: 本論文は、ハイブリッド線形アテンションの変換を、投影のコピーだけでは不十分であり、新しいメモリとゲーティング機構をキャリブレーションする必要があるという、再帰的ダイナミクスの初期化問題として定式化しました。
2. Taylor-Calibrateアルゴリズム: テイラー由来の解析的キャリブレーション（教師のアテンション統計を使用して減衰、ライト、アウトプットゲートを設定）と、短いレイヤー局所アライメントステップを組み合わせた2段階の手法。
3. 実証的検証: 4つの教師モデル（Qwen2.5-1.5B/3B, Llama-3.2-3B, Qwen3-8B）と3つのレイヤー選択ポリシーにわたる評価により、Taylor-Calibrateがナイーブな変換ベースラインを大幅に上回ることを示しました。

結果

本論文は、ゼロショット性能と学習効率の両面における大幅な改善を報告しています。

• ゼロショット品質: Taylor-Calibrateは、実質的に強力なゼロショット生徒モデルを生成します。代表的なアブレーション（Qwen2.5-3B）において、本手法は投影のみをコピーするベースラインと比較して、初期パープレキシティを88倍改善しました。
• 学習効率: 本手法により、変換されたモデルは、ナイーブな変換よりも4.9倍から9.2倍少ない学習トークンで、一致したリカバリ目標に到達できます。これは、標準的な手法におけるリカバリ予算の大部分が、不適切な初期化を修正するために費やされていることを示しています。
• リカバリのダイナミクス: 学習曲線は、Taylor-Calibrateがより低い損失から開始し、より良好な最適化軌道を維持することを示しています。短文脈性能（Avg）は迅速に回復しますが、長文脈の検索能力（RULER）は依然として緩やかなプロセスですが、改善された初期化がこの回復に対してもより良い出発点を提供しています。
• アブレーションの洞察: 本研究は、フェーズ1（解析的キャリブレーション）が制御されたメモリ・タイムスケールを設定し、フェーズ2（アライメント）が教師の出力に一致するようにゲートを活性化および配向させるために不可欠であることを確認しています。どちらのステージも、最適な性能を得るためには単独では不十分です。

意義と主張

本論文は、層の選択や蒸留と並んで、初期化がアーキテクチャ転送において極めて重要であり、しばれ見落とされがちな要素であることを主張しています。テイラー誘導の統計量を通じて教師の「ダイナミカル・レジーム」を生徒に明示的に転送することで、Taylor-Calibrateは、失敗したゼロショット・ハイブリッドを、利用可能な生徒モデルへと変貌させます。

著者らは、本研究を、大規模言語モデルのより効率的かつ原理的な変換への一歩として位置付けています。彼らは、本手法が現在はGated DeltaNetに特化しているものの、「線形アテンションの転送には、投影の重みだけでなく、ダイナミカルなパラメータを初期化する必要がある」というより広いメッセージは、他の効率的なシーケンスミキサーにも適用されると述べています。結論として、このキャリブレーションの視点を他のアーキテクチャへ拡張し、ヘッドごとの変換戦略を洗練させることが、自然な今後の研究方向であるとしています。