🤖 machine learning

On-Device Fine-Tuning via Backprop-Free Zeroth-Order Optimization

本論文は、メモリ効率型のゼロ次最適化（MeZO）が、活性化値とオプティマイザ状態の保存を不要とすることで、従来の逆伝播法よりもはるかに大規模なモデルのオンデバイス微細調整を可能にし、厳格なメモリ制約下で壁時計時間の増加と引き換えに優れた精度を実現することを示している。

原著者： Prabodh Katti, Houssem Sifaou, Sangwoo Park, Bipin Rajendran, Osvaldo Simeone

公開日 2026-05-06

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Prabodh Katti, Houssem Sifaou, Sangwoo Park, Bipin Rajendran, Osvaldo Simeone

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してください。あなたは大規模言語モデル（LLM）という、膨大で極めて賢い知識の図書館を持っており、それをスマートフォンやスマートウォッチのような、小型でバッテリー駆動のデバイスに持ち運びたいとします。そのデバイスは、クラウド上の巨大なサーバーに依存することなく、その場ですぐにあなたの特定のニーズに合わせて新しい技を学習したいと考えています。このプロセスは「オンデバイス微調整」と呼ばれます。

問題は、デバイスの「脳」（メモリ）が、その図書館に比べてあまりにも小さいことです。

従来の方法：「逆伝播」のバックパック

これらのモデルを教育する従来の方法は、「逆伝播（Backpropagation: BP）」と呼ばれます。これは、学生が新しい科目を学ぶ際、テストを受けてから、問題を解いている間に考えた「すべての思考、下書き、中間計算」を即座に書き留め、後でどこを間違えたかを確認するためにそれらを保存する様子に例えられます。

比喩: 複雑な数学の問題を小さなナプキンの上で解こうとしていると想像してください。従来の方法を使う場合、問題の各レイヤーごとに、あなたが踏んだすべてのステップの写しを別の紙に保存し続けなければなりません。
結果: その「ナプキン」（デバイスのメモリ）は瞬く間に埋まってしまいます。すべての中間メモを保存しなければならないため、デバイスに収められるのは非常に小さく単純な図書館だけになります。巨大な図書館を持っていこうとすれば、学習を始める前にすでに容量不足に陥ってしまいます。

新しい方法：「MeZO」の直感

この論文で紹介されている新しい方法は、「MeZO（メモリ効率ゼロ次最適化）」と呼ばれます。この方法は中間ステップを書き留めるのではなく、「試行錯誤」のアプローチを用います。

比喩: 迷路を抜ける最善のルートを見つけようとしていると想像してください。従来の方法のように、すべての曲がり角の地図を描く（それは大量の紙を消費します）代わりに、一歩進んで壁にぶつかったか確認し、少し違う方向に小さく一歩進んで、それがより良いか確認します。そこまでの思考プロセス全体ではなく、そのステップの「結果」だけを記憶するのです。
結果: 重いメモのバックパックを運ぶ必要はありません。「下書き用紙」にスペースを浪費しないため、デバイスにははるかに、はるかに大きな図書館を収めることができます。

トレードオフ：速度対サイズ

この論文は、このトレードオフについて非常に具体的な主張をしています。

サイズの利点: MeZO はすべての中間メモを保存する必要がないため、従来の方法が許容するものよりも少なくとも 2 倍大きいモデルを収めることができます。長い会話（長い「コンテキスト」）の場合、その利点は劇的に増大し、最大 25 倍の大きさまで可能になります。
- 簡単な計算: 従来の方法で 30 億語の辞書が収まるとすれば、MeZO は同じデバイス上で 130 億語の辞書を収めるかもしれません。
速度のコスト: 欠点は、MeZO が遅いことです。メモを見るのではなく、正しい方向を見つけるために何度も「推測と確認」を繰り返す必要があるため、学習に時間がかかります。
- 論文の発見: 彼らのテストでは、従来の方法は素早く学習しましたが、小さなモデルを使用することを余儀なくされたため「天井」に達しました。新しい方法（MeZO）は学習が遅かったものの、はるかに大きく賢いモデルを使用していたため、数時間後にはより高い精度で結果を出すに至りました。

実際に行われたテスト

研究者たちは単に数学を行ったわけではありません。デバイスをシミュレートするために、高性能なコンピュータチップ（H100 GPU）上で実験を行いました。

彼らは、従来の「重いバックパック」方式で学習させた小さなモデルと、新しい「軽量」方式で学習させたはるかに大きなモデルを比較しました。
結果: 新しい方法は良い結果を得るまで時間がかかりました（約 2 時間）が、それが学習させた大きなモデルは、素早く学習させた小さなモデル（75% 未満の精度）よりも著しく賢く（82% の精度）、優れていました。
また、彼らは「スパース」学習（モデルの「脳」の 1% だけを更新する）もテストしました。このトリックを用いても、中間計算（アクティベーション）という「下書き用紙」が依然として最大の課題であったため、従来の方法は新しい方法よりも多くのメモリを必要としました。

結論

この論文は、限られたメモリを持つデバイスで真に賢い AI を実行したい場合、MeZO の方がより良い選択であると結論付けています。学習の「仕方」を変えることで、単にモデルを小さくするのではなく、「小さなメモリ」という制限を利点に変えることで、より大きな「脳」をエッジ（端末）に持ち運ぶことを可能にします。ただし、そのためには学習に少し長く待つことを許容する必要があります。

技術概要：バックプロパゲーション不要なゼロ次最適化によるオンデバイス微調整

問題定義

オンデバイス微調整は、エッジ AI システムが外部サーバーに依存することなく、特定のエージェントタスクや変化するユーザーニーズに適応するために不可欠です。しかし、重大なボトルネックが存在します。バックプロパゲーション（BP）による従来の微調整は、推論に比べてはるかにメモリを消費します。BP は、すべての層の中間層アクティベーションとオプティマイザ状態を保存する必要があり、単一のフォワードパスに比べて通常、1 桁多いメモリを要求します。その結果、厳格なメモリ制約を持つエッジデバイスは、微調整用に推論時よりもはるかに小さなモデルをデプロイすることを余儀なくされ、オンデバイス AI の能力が著しく制限されています。

手法

本論文は、メモリボトルネックに対する解決策として、**メモリ効率型ゼロ次最適化（MeZO）**を提案し、分析します。BP と異なり、MeZO はフォワード評価（摂動）のみを使用して勾配を推定し、中間アクティベーションの保存やオプティマイザ状態の維持を不要にします。

著者のアプローチは、主に 2 つの構成要素からなります：

理論的メモリ分析：本論文は、デコーダ専用トランスフォーマーモデルにおける BP と MeZO のメモリフットプリントの数学的推定値を導出します。この分析は以下の要素を考慮します：
- パラメータ数：マルチヘッドアテンション（およびグループ化クエリアテンションのバリエーション）とフィードフォワードニューラルネットワーク（FFN）層を含む。
- アクティベーション保存：BP 用のアクティベーションをキャッシュするために必要なメモリを計算する。これはコンテキスト長（ $N$ ）、バッチサイズ（ $B$ ）、隠れ次元（ $D$ ）に比例して増加する。
- オプティマイザ状態：アクティベーション保存の影響を分離するため、状態を持たない SGD オプティマイザを仮定する。
- 実装要因：実装固有のバッファリングにより MeZO が保存するアクティベーションの最大層数を表す因子 $L' \leq L$ を導入し、現実的な比較を可能にする。
実証的検証：理論的な主張は、BoolQ および MultiRC データセットを用いた単一の H100 GPU 上での数値実験によって検証されます。本研究は以下の点を比較します：
- フル微調整：固定メモリ予算（約 17 GB）の下で、BP（GPT2-medium 使用）と MeZO（Llama2-7B および Llama2-13B 使用）を比較する。
- パラメータ効率型微調整（PEFT）：Qwen3 モデルを使用して、BP と MeZO 双方のスパース更新（パラメータの 1% のみを微調整）を評価し、スパース性がメモリと精度に与える影響を測定する。

主要な貢献

本論文は、以下の具体的な貢献を行います：

メモリ分析：固定されたオンチップメモリ予算の下では、MeZO が BP よりも少なくとも2 倍大きいモデルを収容できることを示す理論的比較。この優位性はコンテキスト長に比例して増大し、チェックポインティングなしの長いコンテキスト（例： $N=32768$ ）では最大25 倍、アクティベーションチェックポインティングありでは約5 倍に達します。
スケーリング洞察：分析により、パラメータメモリは層数（ $L$ ）に線形にスケーリングする一方、BP におけるアクティベーションメモリはコンテキスト長（ $N$ ）の2乗に、かつ $L$ に線形にスケーリングすることが明らかになりました。MeZO はこの2乗のコンテキストペナルティを回避するため、コンテキストウィンドウが拡大するにつれてその優位性が増します。
実証的検証：数値結果は、MeZO がウォールクロック時間における収束速度は遅いものの、厳格なメモリ制約下でははるかに大きく能力の高いモデルのデプロイを可能にするため、優れた検証精度を達成することを確認しました。
PEFT 評価：本研究は、スパース更新（パラメータの 1% の微調整）であっても、アクティベーション保存が総消費量を支配しているため、BP のメモリ節約はわずか（約 12〜13%）であることを示しています。一方、MeZO はアクティベーション保存を完全に回避するため、BP がスパース化された場合でも、同じメモリ予算内でより大きなモデル（例：4B 対 0.6B）の微調整を可能にし、より良い性能を発揮します。

結果

精度と時間のトレードオフ：BoolQ データセットでの実験により、MeZO はウォールクロック時間において BP よりも収束が遅いことが示されました。しかし、約 2 時間の微調整後、MeZO（130 億パラメータモデル使用）は約 82% の精度を達成する一方、メモリ制限によりより小さな 0.6B〜1.5B 相当のモデルを使用せざるを得なかった BP は 75% 未満に留まりました。
メモリ効率：メモリ要件の比率（BP/MeZO）はコンテキスト長とともに増加します。コンテキスト長 32,768 の場合、チェックポインティングなしでは MeZO は BP よりも約 25 倍少ないメモリを必要とします。
スパース性の限界：本論文は、PEFT による更新パラメータ数の削減が、アクティベーション保存が支配的な要因であるため、BP のメモリ負担を大幅に軽減しないことを実証しています。MeZO はアクティベーション保存を完全に回避するため、BP がスパース化された場合でもその優位性を維持します。

意義と主張

本論文は、MeZO を、特にエージェント型エッジシステムや継続学習アプリケーションにおけるオンデバイス微調整の有力な候補として位置づけています。主な意義は、制約を「モデルサイズ」から「微調整時間」へとシフトさせる点にあります。より長いウォールクロックトレーニング時間を許容することで、エッジデバイスはバックプロパゲーションで可能だったものよりも桁違いに大きなモデルを微調整でき、それによりデバイス上で直接、より高い性能能力を解き放つことができます。

著者らは、MeZO がトレーニング時のメモリ要求を推論時のメモリレベルまで効果的に低下させ、リソース制約のあるハードウェア上でより大きなモデルとより長いコンテキストウィンドウのデプロイを可能にすると結論付けています。また、現在の分析は標準的なトランスフォーマーアーキテクチャに焦点を当てていますが、結論は現代的な変種（例：スライディングウィンドウアテンション、エキスパート混合モデル）にも一般化可能であり、ニューロモルフィックシステムや動的スパース性に対するこれらの知見を特化させるためのさらなる研究が必要であると指摘しています。