🤖 machine learning

LionVote: Per-Layer Learning Rate Adaptation for Lion

本論文は、Transformerアーキテクチャにおける固有の層間学習率の格差に対処するために、勾配の安定性とモーメンタムの診断を利用して学習率を動的に調整する層ごとの学習率適応メカニズムであるLionVoteを導入し、ViT-Tiny/CIFAR-100において標準的なLionおよびAdamWに対して統計的に有意な精度の向上を実現するものである。

原著者： Kris Atallah (New York University, New York, USA)

公開日 2026-07-13

📖 1 分で読めます☕ さくっと読める

CC0 1.0

原著者： Kris Atallah (New York University, New York, USA)

原論文は CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) のもとパブリックドメインに提供されています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、猫、犬、車を認識するように巨大なデジタル脳を訓練していると想像してください。この脳は、多くの異なる層で構成されており、まるで多層ビルのようです。通常、この脳を教えるとき、私たちはすべての層に全く同じ量の「学習時間」（学習率）と、同じスピードを与えます。それは、先生が数学のクラス、美術のクラス、体育のクラスに対して、それぞれの活動内容に関わらず、全員に全く同じペースで走るように指示するようなものです。

しかし、もし数学の生徒は全力疾走する必要があり、美術の生徒はゆったりと歩く必要があるとしたらどうでしょう？

それが、LionVoteが解決する問題です。これは、「Lion」と呼ばれる特定のタイプのデジタル脳を訓練するための新しい方法です。研究者たちは、脳のすべての部分を同じように扱うと、一部のパーツが圧倒され、他のパーツが退屈してしまうことを発見しました。

大きな発見：脳の「実効スケール」が狂っている

著者たちは、Lion脳がどのように学習するかを測定し、驚くべき事実を発見しました。特定のテスト（ViT-TinyモデルとCIFAR-100データセットを使用）において、注意（アテンション）や複雑な思考を司る部分（MLPパラメータ）の脳の「実効スケール」は、2.6倍から2.8倍も高すぎました。一方で、すべてを整理・維持する部分（正規化層）については、約2倍高すぎました。

このように考えてみてください。脳のアテンション部分は消防ホースから水を飲もうとしている一方で、組織化の部分は庭用のホースから水を飲んでいます。アテンションおよびMLPの部分は、実際には正規化部分よりも32%高い実効スケールを受け取っています。たとえ先生（グローバル学習率）が蛇口の設定を同じにしていたとしても、このようなミスマッチが生じているのです。この不一致により、脳は効率的に学習することが困難になります。

解決策：すべての層のための投票システム

これを修正するために、研究者たちはLionVoteを考案しました。これは、一人の先生が建物全体に向かって指示を叫ぶのではなく、脳のあらゆる層に対して、独自の小さな、持続的な「レベルカウンター」を与えるというものです。

投票の仕組みは以下の通りです：

複合レベル（The Compound Level）： すべての層は、ゼロから始まるスコア（整数）を持っています。このスコアはボリュームノブのように機能し、学習率を上げたり下げたりします。
2つの投票： 数エポック（訓練サイクル）ごとに、各層は2つの特定のテストを用いて自身の健康状態をチェックします。
- 投票1（方向チェック）： その層は一定の方向に動いているか、それとも行ったり来たりと揺れ動いているか？もし勾配（学習の方向）が安定していれば、「親指を立てる（賛成）」となります。もし激しく反転しているなら、「親指を下げる（反対）」となります。
- 投票2（モメンタムの健康状態）： 層のモメンタム（速度と慣性）が、現在の進捗に対して強すぎないか？もし制御不能な回転状態にあるなら、「親指を下げる（反対）」となります。
タイブレーク（決定打）： 2つの投票が意見を分けた場合（一方は「もっと速く」、もう一方は「遅く」と言う場合）、システムは検証損失（バリデーションロス）（練習テストでの成績）を確認します。練習テストのスコアが改善していれば「進め」に投票し、悪化していれば「減速」に投票します。

これらの投票に基づいて、層の「ボリュームノブ」（複合レベル）が上下に調整されます。層が安定していれば、ブーストがかかるかもしれません。混沌としていれば、タイムアウト（一時停止）になります。

結果：小さくも確かな勝利

彼らがこれをViT-Tinyモデルでテストした結果：

LionVoteは**69.71%**の精度を達成しました。
標準的なLionオプティマイザは**68.95%**でした。
普及しているAdamWオプティマイザは**68.75%**でした。

LionVoteと標準的なLionの差は統計的に有意であり（つまり、それが単なる運ではなく、実際の改善であることを意味します）、これが偶然に起こる確率は2%未満です。ViT-Tiny/CIFAR-100のテストにおいて、LionVoteはAdamWをも上回りました。ただし、ViT-Tiny/CIFAR-10のテストでは、LionVoteはAdamWを上回るのではなく、同等の結果となりました。

これが意味しないこと

この手法が「できないこと」を知っておくことも重要です。論文では非常に明確に述べられています：

あらゆるものに対する魔法の杖ではありません。 より単純で均質なネットワーク（WideResNetなど）では、学習率を手動で調整するという従来の方法（コサインアニーリングを用いたSGD）がいまだに勝利します。LionVoteはそこでは助けにならず、むしろいくつかのテストでは状況をわずかに悪化させました。
すべてのタスクに対する恒久的な解決策ではありません。 メリットは、層がいかに異なっているか（ヘテロな構造であるか）に大きく依存します。アーキテクチャが多様（ヘテロ）であればあるほど、LionVoteはより効果を発揮します。均質なWideResNetでは、層があまりにも似通っていたため、投票システムが修正すべき点を見つけることができませんでした。
すべてのオプティマイザに対する「設定して忘れていいもの」ではありません。 「モメンタムの健康状態」に関する具体的なルールは、Lionオプティマイザのために導き出されたものです。もしこれと同じルールをAdamのような別のオプティマイザに使おうとしても、モメンタムの背後にある数学的原理が異なるため、うまく機能しない可能性があります。

まとめ

この論文は、層ごとの適応（per-layer adaptation）が強力なツールであることを示唆していますが、それは脳のアーキテクチャが異なるニーズを持つほど複雑である場合に限られます。LionVoteは、各層が自身の学習速度について投票できるようにすることで、最適な設定を手動で推測することなく、わずかなパフォーマンス向上（この特定のテストでは約0.7パーセントポイント）を引き出せることを証明しています。

それは、忙しい学校において、数学の先生、美術の先生、体育の先生が全員同じ音量で指示を出すべきではないと気づくようなものです。時には、数学のクラスにはささやきが必要であり、体育のクラスにはメガホンが必要なのです。LionVoteは、各クラスが自分自身で判断できるシステムなのです。

技術要約: LionVote: Lionのための層別学習率適応

問題提起

深層ニューラルネットワークはモノリス（単一の構造体）ではありません。異なる層のタイプ（例：アテンション、MLP、正規化）は、それぞれ異なる最適化特性を示します。Lionのような標準的なオプティマイザは、すべてのパラメータに対して単一のグローバルな学習率（LR）を適用するため、キャリブレーションの不一致（ミスキャリブレーション）を招く可能性があります。具体的には、Lionの符号ベースの更新ルールは勾配の大きさを破棄するため、方向的に不安定な層がより大きな更新によって補償することができません。このことは、Adamのような二次のモーメントを用いる手法と比較して、Lionが層ごとの学習率のミスキャリブレーションに対して特に敏感であることを意味しています。

先行研究では、層ごとの適応的なプレコンディショニングが適応型手法の利点を回復できることが示されていますが、既存のアプローチは、ステートレスに動作するか（例：LARS, LAMB）、層レベルの履歴を持たずに座標ごとに適応を行うか、あるいはハードコードされた層の割り当てに依存しています（例：Muon）。「ステートレスな層レベルの適応」と、「発散の大きさを手動でチューニングする必要のないデータ駆動型のレート調整」を組み合わせる手法には、依然として空白が存在します。

手法: LionVote

Lionオプティマイザのために設計された、層ごとの学習率メカニズムがLionVoteです。これは、各パラメータテンソルに対して永続的な整数である「複合レベル（compound level）」( $s_i$ ) を導入し、基本学習率を指数関数的に調整します。このシステムは、Lionのコアとなる更新ルールを変更することなく、 $c$ エポックごとに実行される投票メカニズムを追加する形で動作します。

コア構成要素

複合レベル ( $s_i$ ):
各パラメータ $i$ は、レベル $s_i \in \{-L, \dots, +L\}$ （デフォルト $L=4$ ）を保持します。実効学習率は以下の通りです：
$\alpha_i = \text{lr} \cdot \exp(s_i \cdot \beta_1/2)$
ここで $\text{lr}$ はグローバルな基本レート、 $\beta_1$ はLionのモーメント補間係数です。 $\beta_1=0.9$ のとき、 $s_i$ の1ステップの変化は $\times 1.57$ の乗数に対応します。
投票診断 (Voting Diagnostics):
$c$ エポックごとに、2つの診断が各層のレートを増加させるか、減少させるか、あるいは維持するかについて投票を行います：
- 投票1 (勾配方向の安定性): 現在のエポックの平均勾配と、前のエポックの平均勾配との間のコサイン類似度を計算します。
  - しきい値：整列度が $+1$ ならば（安定）、 $+1$ （アライメント $> 0.5$ ）、$-1 $ならば（反転）、$ < 0 $、それ以外は$ 0$ とします。
  - 導出：$0.5$ というしきい値は、座標の等方性（isotropy）の下で座標の符号ペアが一致する $2/3$ の超多数決（Sheppardの公式）に対応しています。
- 投票2 (モーメントの健全性): モーメントのEMAノルムと勾配ノルムの比率 ( $r = \|m\| / \|\bar{g}\|$ $r = ∥ m ∥/∥ \overset{g}{ˉ} ∥$ ) を計算します。
  - しきい値： $r > e$ ならば $-1 $、$ r < 1/e $ならば$ +1 $、それ以外は$ 0$ とします。
  - 導出： $\beta_2$ -EMA の固有時定数（ $\beta_2^\tau = e^{-1}$ ）から導出されています。
タイブレイカー (検証損失):
2つの投票が競合する場合、または両方が棄権した場合、検証損失の相対的な変化 ( $\delta$ ) に基づいてグローバルなタイブレイカーが決定を下します。
- しきい値：典型的な検証セットのサイズにおけるクロスエントロピー損失推定のノイズフロアに合わせ、 $\pm 1\%$ と設定されています。
- 注記：ViT-Tiny/CIFAR-100 において、このタイブレイカーは主要な信号経路であり、決定の約 $59\%$ で機能します。
更新ルール:
複合レベル $s_i$ は非対称なルールに従って更新されます： $+1$ の投票は負のレベルを 0 にリセットし、正のレベルをインクリメントします。$-1 $の投票は正のレベルを 0 にリセットし、負のレベルをデクリメントします。$ 0$ の投票は、レベルをゼロに向かって減衰させます。

主な貢献

Lionのためのステートフルな層別メカニズム: 本論文は、チューニングされたハイパーパラメータではなく、幾何学的恒等式やEMA時定数から投票のしきい値を導出した投票システムを提案しています。これらのしきい値（例： $2/3$ の超多数決の慣習や $e$ ファクター）を導出するための手法は、他のオプティマイザにも再利用可能であることが示されています。
Lionにおけるミスキャリブレーションの定量化: 複合レベルの軌跡を通じて、著者らは ViT-Tiny/CIFAR-100 において、Lionの実効スケールが系統的に高すぎることを証明しました：
- アテンションおよびMLPパラメータに対して $2.6\times$ ～ $2.6\times$ 高すぎる。
- 正規化層に対しては約 $2\times$ 高すぎる。
- 正規化層は、アテンション層よりも $32\%$ 高い実効スケールを受け取ります。この格差は、単一のグローバルなレート削減では再現できません。
アーキテクチャとタスクへの依存性: 層別適応の価値は、アーキテクチャの不均一性と特定のタスクに依存することが示されています。
- ViT-Tiny: 層のタイプの広がりが大きいため、CIFAR-100 において顕著な利点（Lionの $69.0\%$ に対し $69.7\%$ ）を示します。
- WideResNet: 均一なCNNアーキテクチャでは、コサインアニーリングを用いたチューニング済みSGDが優位であり、LionVote は一貫した優位性を示しません。
- タスクの感度: ViT-Tiny において、LionVote は CIFAR-100 では性能を向上させますが、CIFAR-10 では性能を大幅に低下させます（$-0.88$ pp）。これは、アーキテクチャの不均一性だけでは不十分であり、タスクレベルの要因も適応の有用性を左右することを示しています。

実験結果

実験は、WideResNet と ViT-Tiny を用いて、8 つのランダムシードで CIFAR-10 および CIFAR-100 に対して行われました。

ViT-Tiny / CIFAR-100: LionVote (ケイデンス 8) は 69.71% のトップ1精度を達成し、Lion (68.95%, $p < 0.02$ ) および AdamW (68.75%) を上回りました。これは Lion よりも約 80 エポック早く 68% の精度閾値に到達します。
ViT-Tiny / CIFAR-10: LionVote (ケイデンス 8) は 91.52% を達成しましたが、これは標準的な Lion (92.40%, $p < 0.001$ ) よりも統計的に有意に低くなっています。
WideResNet: チューニングされたコサインアニーリング付き SGD がすべての構成で優位です（例：WRN-28-10/CIFAR-10 で 96.08%）。LionVote は、これらの均一な CNN において Lion や SGD を一貫して上回ることはありませんでした。
アブレーション解析:
- タイブレイカーは重要であり、これを除去すると性能が Lion を下回ります。
- 投票1（勾配の安定性）が、層別の差異化の主要な推進力です。
- 投票2（モーメントの健全性）は、このワークロードではほとんど発生せず、休眠状態の診断として機能しています。
- 対称的な更新ルールのバリアントは、本研究で最高の単一精度（ViT/CIFAR-100 で 70.54%）を達成しましたが、分散も高くなりました。

意義と主張

本論文は、LionVote が、符号ベースのオプティマイザに対して、チューニングを必要としない原理的な層別適応メカニズムを提供することを主張しています。その意義は以下の3点にあります：

手法の再利用性: 投票のしきら値を数学的構造（幾何学的恒等式、EMA時定数）から導出することは、メタ学習や広範なハイパーパラメータチューニングに頼ることなく、他のオプティマイザのための層別メカニズムを設計するためのブループリントを提供します。
Lionの診断: 本手法は、Lionの実効スケールにおける層タイプ間の特定のミスキャリブレーションを定量化しており、将来の Lion に関する研究において、完全な投票メカニズムを用いずとも、層タイプを考慮したスケーリングを検討すべきであることを示唆しています。
文脈的価値: 層別適応が普遍的な万能薬ではないことを確立しました。その価値は、アーキテクチャの不均一性（例：ViT vs 均一な CNN）およびタスクの難易度に依存します。論文は、複雑なタスク（CIFAR-100）における不均一なアーキテクチャ（ViTなど）においてはうまく機能するものの、Lionがすでに性能の限界に近い、より単純なタスクや均一なCNNにおいては、一貫した優位性を提供しないと控えめに結論付けています。

著者らは、タイブレイカーにおける検証損失への依存（理想的にはホールドアウト分割で行われるべきであること）、標準的な Lion と比較した際のクロスシードの分散の高さ、および調査範囲が CIFAR データセットと特定のモデルサイズに限定されていることなどの限界についても言及しています。また、他のオプティマイザへの汎用性や、適応的なケイデンス（更新頻度）に関する疑問も残されています。