技術的概要：HORST：スパースなトランスフォーマー訓練のためのオプティマイザ幾何学の構成

問題提起

トランスフォーマーモデルのスパース化は、依然として根本的な課題です。ネットワークのスパース化（冗長な重みの除去）は、モデルの圧縮と効率的な推論への有望な道筋を提供しますが、トランスフォーマーでは一貫して顕著な性能低下を招きます。特に、圧縮が最も価値を持つ高スパースリティレベルにおいてその傾向が顕著です。これに対し、畳み込みネットワークはより効果的にスパース化できます。

著者らは、この格差が訓練中に使用されるオプティマイザの暗黙的バイアスに起因すると主張します。標準的なトランスフォーマーは AdamW のような適応型オプティマイザに依存しており、これらは$L_\infty$ 暗黙的バイアスを示します。このバイアスは、パラメータ全体にわたって重みの大きさを均等化することで安定性を優先しますが、これはスパースリティに必要な$L_1$ バイアスと根本的に矛盾します。スパースリティには、少数のパラメータに重み質量を集中させ、残りをゼロに駆動することが必要だからです。一方、標準的な勾配降下法（CNN で使用される）は $L_2$ バイアスを誘発し、座標降下法（$L_1$ ベースの最急降下法）は理論的にはスパースリティに理想的ですが、大規模な深層ネットワークでは計算的に実行不可能です。

鏡像降下法（双曲エントロピーの使用など）を通じてスパースリティを誘発しようとする既存の試みは、トランスフォーマーの文脈では失敗することが多く、これは勾配を直接置き換えることで、適応型手法が提供する安定性を失うためです。核心的な問題は幾何学的な緊張関係にあります。すなわち、適応型オプティマイザの安定性（$L_\infty$）と、スパースリティの要件（$L_1$）との間の衝突です。

手法

本論文は、最適化ステップを非可換な関数作用素として構成することでこの緊張関係を解決するモジュール型オプティマイザ**HORST（Robust Sparse Training のための双曲作用素）**を提案します。

1. 作用素構成フレームワーク

著者らは、最適化更新をパラメータベクトルと勾配に作用する作用素として扱います。そして、2 つの異なるクラスの作用素を特定します。

• 最急降下作用素: 有界かつスケール不変（Adam を近似する符号降下など）。これらは安定性を提供しますが、$L_\infty$ バイアスを誘発します。
• 鏡像降下作用素: 線形ですが、一般的には無界です。特定の鏡像写像、例えば双曲エントロピー鏡像写像は、スパースリティを促進する $L_1$ バイアスを誘発します。

2. 非可換性と操作順序

重要な理論的洞察は、これらの作用素クラスが非可換であることです。

• 鏡像ステップの後に最急降下ステップを適用する（$S \circ M$）と、最急降下作用素が支配的になり、実質的にスパースリティバイアスを無効化します。
• 最急降下ステップの後に鏡像ステップを適用する（$M \circ S$）と、鏡像写像が符号ベースの更新に作用し、最急降下の安定性を継承しつつ、$L_1$ スパースリティバイアスを誘発することに成功します。

3. HORST アルゴリズム

HORST は、離散的かつ実用的な設定で構成 $M_R \circ S$ を実装します。

1. 安定した更新: まず、必要な安定性と $L_\infty$ 型の正則化を提供する標準的な適応型更新（AdamW）を実行します。
2. スパースリティ誘発: 次に、双曲エントロピー鏡像写像から導出された指数関数的更新を適用します。このステップは、重みをスパース性を好むように再パラメータ化します。
3. 分離された正則化: アルゴリズムは、スパースリティバイアスをさらに制御するために、分離された重み減衰と追加の正則化項（$\beta$）を組み込みます。

更新則は以下のように定義されます。
$$\theta_{k+1/2} = \theta_k - \text{Adam}(g(\theta_k), \eta) - \eta \lambda \theta_k$$
$$\theta_{k+1} = \theta_{k+1/2} \exp\left( -\alpha \cdot \text{sign}(\theta_{k+1/2}) \cdot \text{Adam}(g(\theta_k), \eta) - \eta \beta \right)$$
ここで、$\alpha$ はスパースリティバイアスの相対的な強さを制御します。$\alpha=0$ と設定すると、標準的な AdamW が回復します。

主要な貢献

1. 幾何学的二項性: 本論文は、最急降下法（有界、安定、$L_\infty$ バイアス）と鏡像降下法（線形、無界、$L_1$ バイアス）の間の構造的な二項性を形式化し、なぜいずれか単独では堅牢なスパースなトランスフォーマー訓練に十分でないかを示しています。
2. 作用素構成: オプティマイザ作用素の構成を設計原理として導入し、構成の順序が決定的に重要であることを証明しています。特定の順序（$M \circ S$）により、システムは適応型手法から安定性を継承しつつ、それらの暗黙的バイアスをスパースリティを促進する $L_1$ バイアスで上書きすることができます。
3. 理論的保証: 著者らは（定理 4.7）、$L_p$ ノルム（$p \ge 2$）に関する最急降下法を双曲エントロピー鏡像写像と構成することが、反復を $L_1$ 最小化問題の解の方向に収束させ、ベースオプティマイザの $L_\infty$ バイアスを実質的に上書きすることを証明しています。
4. HORST オプティマイザ: 標準的な適応型手法（AdamW など）とシームレスに統合され、追加の勾配評価を必要とせず、パラメータごとの指数関数的更新のみを必要とするモジュール型オプティマイザ HORST を提案しています。

実験結果

著者らは、AC/DC（交互圧縮/解凍）スパース化パイプラインを使用して、ビジョンおよび言語タスクにおいて HORST を評価しました。

• ビジョントランスフォーマー（DeiT）: ImageNet において、HORST-AdamW はすべてのスパースリティレベル（70%、80%、90%）で AdamW ベースラインを一貫して上回ります。得られる利益は、AdamW の性能が急激に低下する高スパースリティ（80–90%）で最も顕著です。例えば、DeiT-base における 90% スパースリティでは、HORST は 76.83% の精度を達成し、AdamW の 68.86% を上回りました。
• 言語モデル（GPT-2 Small）: SlimPajama-6B におけるワンショット層別非構造化大きさプルーニングにおいて、HORST-AdamW で訓練されたモデルは、プルーニング後の検証パープレキシティが AdamW や HAM オプティマイザと比較して著しく低くなりました。この差は、高スパースリティレベルで広がります。
• HAM との比較: HORST は、90% スパースリティにおける DeiT-small において HAM（以前の交互オプティマイザ）を大幅に上回ります（70.5% 対 60.06%）。著者らは、これを HORST が勾配ベースの指数ステップを適用する HAM とは異なり、指数関数的更新を AdamW 更新そのものと構成していることに起因すると説明しています。
• 重み分布: 可視化により、HORST がゼロの周りに鋭く集中した重み分布（$L_1$ バイアスを示す）を誘発し、一方 AdamW はより広範でほぼガウス分布のプロファイルを維持することが確認されました。

意義と主張

本論文は、オプティマイザの暗黙的バイアスがスパースなトランスフォーマー訓練の主要なボトルネックであると主張しています。最適化ステップを構成可能な作用素として扱うことで、著者らは適応型手法の安定性をその幾何学的バイアスから分離することが可能であることを示しました。

HORST の意義は、以下の点にあります。

• 通常、そのような圧縮に伴う深刻な性能低下なしに、トランスフォーマーの高スパースリティ訓練を可能にする。
• 競合する幾何学的要件（安定性対スパースリティ）を同時に満たすオプティマイザを設計するための原理的かつモジュール型のフレームワークを提供する。
• 最小限の計算オーバーヘッド（追加の勾配評価なし）を必要とし、既存のスパース訓練パイプラインと統合する実用的な解決策を提供する。

著者らは、最急降下法の $L_\infty$ 極限と鏡像更新との相互作用は依然として未解決の理論的問題である一方、提案されたフレームワークは適応型訓練の安定性とスパース解の幾何学の間のギャップを成功裏に埋めたと結論付けています。