🤖 machine learning

M+Adam: Low-Precision Training via Additive-Multiplicative Optimization

本論文は、低精度訓練における相補的な失敗モードを克服するために加算更新と乗算更新を組み合わせた新しいオプティマイザであるM+Adamを提案しており、これにより、BF16、FP8、およびFP4のマスターウェイトのみを用いたLLaMAスタイルのモデルの安定かつ正確な訓練を可能にする。

原著者： Xiaoyuan Liang, Sebastian Loeschcke, Mads Toftrup, Anima Anandkumar

公開日 2026-07-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xiaoyuan Liang, Sebastian Loeschcke, Mads Toftrup, Anima Anandkumar

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、巨大で超知能を持つロボット（大規模言語モデル）に、人間のように書く方法を教えようとしていると想像してください。これを行うには、ロボットの脳にある何百万もの微細なダイヤルを調整しなければなりません。通常、これらのダイヤルは、顕微鏡を使ってネジを回すかのように、極めて精密に調整されます。しかし、顕微鏡は重くて遅く、高価です。

この論文はこう問いかけています：もし、安価で軽量なレンチを使えたらどうだろうか？

これが**低精度トレーニング（low-precision training）**の世界です。高精度な「マスター・ウェイト（ロボットのダイヤルの記憶）」を使う代わりに、研究者たちは、BF16、FP8、あるいはFP4のような、より小さく粗い形式でそれらを保存しようと試みています。それは、10フィート刻みの目盛りしかない定規を使って山の高さを測ろうとするようなものです。

問題点：「丸め」の罠

著者たちは、このような粗い定規を使用する場合、標準的なトレーニング手法（Adamと呼ばれるもの）が壁に突き当たることを発見しました。その理由は以下の通りです。

巨大な山の問題： ダイヤルが非常に大きな値に設定されているとき、「定規」の目盛りは非常に間隔が広くなります。もしロボットがダイヤルをわずかに動かす必要があったとしても、定規はその動きを捉えることができません。その微小な動きはゼロに丸められてしまい、ロボットは「何も動かなかった！」と判断してしまいます。ロボットは、山を登ることができず、立ち往生してしまうのです。
ゼロの谷の問題： 他の手法は、乗法的更新（multiplicative updates）（Madamのような手法）を用いてこれを解決しようとしました。これは、値を加算するのではなく、ダイヤルに特定の係数を掛け合わせる方法です。これは大きな山に対しては非常に効果的です。なぜなら、ダイヤルの大きさに応じてステップサイズが大きくなるからです。しかし、もしダイヤルがちょうどゼロで止まっていた場合、何を掛けても動かすことができません。それは、車輪のない車を押そうとするようなものです。ゼロに何を掛けてもゼロのままです。また、ダイヤルがプラスからマイナスへ切り替わる（ゼロをまたぐ）必要がある場合、これらの手法は混乱し、切り替えを行うことができません。

解決策：M+Adam（二つの道具セット）

この論文では、巧妙なメカニックが二種類の異なる道具を同時に持ち歩いているような新しいオプティマイザ、M+Adamを紹介しています。これは、両方の良いところを組み合わせ、「補完的な失敗モード」を修正するものです。

道具1：加法的レンチ（Adamスタイル）。 この道具は、小さく精密な調整に適しています。ゼロからのダイヤルの微調整、プラスからマイナスへの符号の反転、そして谷の底付近での微小な動きを扱うことができます。
道具2：乗法的レバー（Madamスタイル）。 この道具は、大きく重い作業に適しています。加法的レンチが「丸め」によって機能しなくなるほどダイヤルが巨大になったとき、乗法的レバーが作動します。これはダイヤルを拡大または縮小させ、ロボットが最も高い山にいるときでも進み続けられるようにします。

M+Adamは、これら両方の道具を同時に使用します。もし加法的ツールが丸めによって動けなくなれば、乗法的ツールがロボットを動かし続けます。もし乗法的ツールがゼロから抜け出せない場合は、加法的ツールが押し出します。

証明：効果はあったのか？

著者たちは単に推測したわけではありません。大規模なスケールでテストを行いました。

テスト： 6,000万から10億のパラメータを持つ「LLaMAスタイル」の言語モデルを訓練しました。
予算： 1倍から8倍の「Chinchilla」予算（モデルが見るデータの標準的な尺度）を使用してテストしました。
精度： マスター・ウェイトとしてBF16、FP8、NVFP4を使用しました。

結果：
あらゆるテストにおいて、M+Adamは標準的なAdamオプティマイザを一貫して上回りました。

最も極端な低精度設定（NVFP4）において、350MモデルのM+Adamは、Adamと比較して「パープレキシティ（モデルがどれほど混乱しているかの指標）」を**16.6%**減少させました。
10億のパラメータを持つ場合でも、M+Adamはすべての精度領域においてAdamよりも明確な改善を示しました。

この論文は、この組み合わせたアプローチが、トレーニング損失が必ず減少すること（「単調減少」）を数学的に証明しており、つまりロボットが常に学習し続け、ループに陥ることがないことを保証しています。

できないこと

この論文が主張していないことも理解しておくことが重要です。

M+Adamは、メモリコストをすべて排除する魔法の弾丸であるとは言っていません。実際、論文ではM+Adamが（乗法的ツールのための追加の「状態」により）わずかなメモリ増分を加えることを認めていますが、これらは後で圧縮できることを示しています。
また、確率的丸め（Stochastic Rounding）（丸め誤差を修正する技術）が役に立たないと主張しているわけでもありません。彼らはAdamに確率的丸めを適用してテストしましたが、それでもM+Adamの方が優れた性能を示しました。
私たちが高精度ハードウェアの使用を止めるべきだと示唆しているわけでもありません。むしろ、低精度のストレージを使用せざるを得ない場合、M+Adamが正しい方法であることを示しています。

まとめ

巨大なAIモデルを訓練するために「粗い」定規（低精度ウェイト）を使用せざるを得ない場合、単一の動きだけに頼ることはできない、とこの論文は示唆しています。ハイブリッドなアプローチが必要です。M+Adamはそのハイブリッドであり、加法的ステップと乗法的ステップの両方を用いることで、ロボットが巨大な山を登っているときも、ゼロの谷から脱出しようとしているときも、決して立ち往生しないように設計されています。これは、私たちが通常依存している重厚で高価な高精度メモリを必要とせずに、大規模なAIモデルを効率的に訓練するための、原理に基づいた一歩なのです。

技術要約: M+Adam – 加法的・乗法的最適化による低精度トレーニング

問題提起

大規模言語モデル（LLM）をフル精度（FP32）でトレーニングすることは、膨大なメモリ、計算、およびエネルギーコストを伴います。現代のアアクセラレータは、BF16、FP8、FP4といった低精度フォーマットをサポートしていますが、標準的なトレーニングパイプラインでは、安定性を確保するために高精度（FP32）の「マスターウェイト」を保持するのが一般的です。低精度のマスターウェイトを用いて直接トレーニングを行うと、精度低下や不安定化を招くことが多くなります。

著者らは、低精度最適化における特定の失敗モードを特定しています。それは、大きな重みの大きさにおける量子化解像度の粗さです。浮動小数点システムでは、表現可能な値の間隔（量子化ビン）は数値の大きさに比例して増大します。その結果、標準的な加法的最適化手法（Adamなど）は、重みの大きさが大きい場合に、計算された更新ステップが局所的な量子化ステップを下回り、ゼロに丸められてしまうため、進展ができなくなることがよくあります。逆に、純粋な乗法的最適化手法（Madamなど）は、重みを現在の大きさに対してスケーリングするため、ゼロ付近や符号の変化が必要な場合に、正確なゼロ初期値から脱出できなかったり、符号を反転させたりすることができず、停滞してしまいます。

手法: M+Adam

本論文は、低精度算術の限界を克服するために、加法的および乗法的更新メカニズムの相補的な強みを組み合わせた新しいオプティマイザであるM+Adamを提案しています。

コアメカニズム

M+Adamは、各ステップで結合される2つの並行した更新ブランチを維持します：

加法的ブランチ (Adamスタイル): 重み空間上で直接動作します。勾配（ $g$ ）の標準的な一次および二次モーメントを計算し、加法的更新 $u^{(a)}$ を生成します。このブッチは、小さな大きさの扱い、ゼロ初期値からの脱出、および符号変更の促進に効果的です。
乗法的ブランチ (Madamスタイル): 指数空間（対数スケール）上で動作します。指数の勾配 $g^{(e)} = (\ln 2) w_t g$ を計算し、適応的モーメントを使用して相対的な乗法的更新 $u^{(m)}$ を生成します。このブランチは、加法的更新が丸められてしまうような大きな大きさにおいても、進展を確実にします。

重みの更新ルールは次のように定義されます：
$w_{t+1} = w_t + w_t u^{(m)}_t + u^{(a)}_t$
この構造により、オプティマイザは、大きさが大きい場合には（乗法的項を通じて）スケールを考慮した相対的な更新を行い、同時に（加法的項を通じて）符号の変更やゼロ近傍の更新を行う柔軟性を保持することができます。

理論的分析

著者らは、標準的な滑らかさの仮定の下で、M+Adamに関する理論的な保証を提供しています。彼らは、更新を局所座標における「スケールしてから加算する（scale-then-add）」操作としてモデル化しています。定理4.1は、学習率と滑らかさの定数が特定の条件を満たす場合、勾配がゼロでない限り、この手法が単調減少（ $L(w_{t+1}) < L(w_t)$ ）を保証することを確立しています。これは、結合された幾何学が有効な最適化戦略であることを証明しています。

実装の詳細

精度サポート: 本手法は、BF16、FP8、および NVFP4 マスターウェイトのストレージ向けに設計されています。
状態管理: M+Adamは、もう一つのオプティマイザ状態（乗法的ブランチのための二次モーメント蓄積器）を導入します。著者らは、この状態を低ランク近似（具体的にはランク4の近似である Apollo-E）を用いて圧縮できることを示しており、これにより、メモリ・フットプリントを標準的な BF16 ステートの AdamW に近いレベルに抑えています。
確率的丸め（Stochastic Rounding）の非依存性: 先行研究の多くとは異なり、M+Adamは確率的丸め（SR）やKahan型の補償累積を必要とせずに安定性を達成していますが、これらとの互換性も備えています。

主な貢献

相補的な失敗モードの特定: 本論文は、加法的最適化（丸めによる大きな大きさでの停滞）と乗法的最適化（ゼロでの停滞および符号反転の不能）の失敗モードを形式的に特徴付け、それらが相補的であることを示しました。
M+Adam アルゴリズム: これら2つの幾何学を統合し、FP32 マスターウェイトを使用せずに低精度トレーニングを行うための原理的なアプローチを提供する新しいオプティマイザです。
理論的な降下保証: 標準的な滑らかさの仮定の下で、結合された加法的・乗法的更新ルールの単調減少の証明を提供しました。
大規模での実証的検証: 1〜8× Chinchilla トレーニング予算にわたる、60Mから1Bパラメータまでの LLaMA スタイルのモデルを用いた広範な実験を行いました。

実験結果

著者らは、様々な精度レジーム（BF16/BF16、BF16/FP8、FP8/FP8、および NVFP4/FP8）にわたって M+Adam を評価しました。

一貫した改善: M+Adam は、あらゆるモデルサイズおよび精度レジームにおいて、チューニングされた AdamW ベースラインを一貫して上回りました。
パープレキシティの低減: 最もアグレッシブな低精度設定（NVFP4/FP8）において、M+Adam は AdamW と比較してパープレキシティを大幅に減少させました（例：350M モデルで 16.6% の改善）。BF16/BF16 トレーニングであっても、モデルのサイズに応じて 2.8% から 13.3% のパープレキシティ低減を実現しました。
堅牢性: 本手法は、確率的丸めなしでも安定していました。また、確率的丸めを組み合わせた AdamW（AdamW+SR）や Kahan 補償をも上回る性能を示しました。
スケーリング: パフォーマンスの向上は、トレーニング予算が増加した場合（最大 8× Chinchilla）や、モデルサイズが 1B パラメータまでスケールした場合でも持続しました。
メモリ効率: Apollo-E 圧縮技術を使用することで、乗法的ブランチに必要な追加のメモリ状態が削減され、パープレキシティの利得の大部分を維持しながら、オプティマイザの状態フットプリントを標準的な BF16 AdamW とほぼ同等に抑えることができました。

意義と主張

本論文は、低精度のマスターウェイトが最適化誤差の主要な要因となる場合に、結合された加法的・乗法的更新が特に有用であると主張しています。

本研究の意義は、低精度トレーニングの数値的不安定性に対する原理的な解決策を提供することにあります。オプティマイザの更新幾何学を浮動小数点の非一様な構造に適合させることで、M+Adam は、大きな大きさにおいて標準的な加法的最適化を悩ませる丸め誤差と、ゼロ付近での乗法的最適化の停滞問題を軽減します。

著者らは、M+Adam が、FP32 マスターウェイトに依存しないエンドツーエンドの低精度トレーニングへの一歩を提示していると結論付けています。この能力は、大規模モデルのトレーニングにおけるメモリ・オーバーヘッドやエネルギーコストを削減するために、FP8 や FP4 に最適化された現代の AI ハードウェア（テンソルコア）を活用する上で極めて重要です。本研究は、将来のオプティマイザは、低精度を単に丸め技術によって解決すべき量子化問題として扱うのではなく、浮動小数点表現の具体的な制約を念頭に置いて設計されるべきであることを示唆しています。