🤖 machine learning

Forward Pass Domain Adaptation (Without Cross-Layer Backpropagation)

本論文は、バックプロパゲーションを用いずに単一の出力層のエラー信号をターゲット層に直接適用することで、標準的なファインチューニングと同等の性能をドメイン内およびドメイン外の両方のベンチマークで維持しつつ、大幅に高いスループットと低いメモリ使用量を実現する、大規模言語モデルのためのドメイン適応手法であるForward-Pass-Only（FPO）学習を導入するものである。

原著者： Rivaan Patil, Simon Dennis, Hao Guo, Kevin Shabahang

公開日 2026-08-18

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Rivaan Patil, Simon Dennis, Hao Guo, Kevin Shabahang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大規模言語モデルは、現在利用可能な最も高度な人工知能ツールの背後にあるエンジンであり、かつては機械には不可能と思われていた流暢さで、執筆、推論、問題解決を行うことができます。これらのモデルを、医療診断や法的文書の分析といった特定のタスクに役立てるために、研究者は通常、それらを「ファインチューニング（微調整）」します。このプロセスは、モデルに膨大な量の新しい専門的なデータを見せ、その新しい世界のパターンを学習するように内部設定を調整する作業を含みます。しかし、この調整には莫大なコストがかかります。モデルを前方に走らせて答えを確認し、次に、より良い結果を得るためにシステムのあらゆる部分をどのように変更すべきかを特定するために後方へと走らせるための、強力なコンピュータが必要となるからです。この後方のステップは、モデルを実行するだけで必要なメモリの3倍もの膨大なメモリ量を要求するため、標準的な消費者用コンピュータや、速度が極めて重要となる状況での実行を不可能にしています。

カリフォルニア大学サンタクルーズ校とメルボルン大学の研究チームは、この高価な後方ステップを完全に回避する方法を発見しました。彼らは、大規模言語モデルにおいて、新しい情報を学習するために必要な最も重要な調整は、主にネットワークの最後の方、つまり処理チェーンの終端に近い最終層で起こることを突き止めました。これらの後半の層だけに焦点を当て、単一のフォワードパス（前方計算）から得られる情報のみを使用して必要な変化を計算することで、彼らは「Forward-Pass-Only MLP training（フォワードパスのみのMLPトレーニング）」と呼ばれる新しい学習手法を作り上げました。このアプローチにより、モデルが自身の構造を後ろ向きに辿ることなく新しいスキルを学習することが可能になり、必要なメモリを約40%削減し、標準的な手法よりも約3倍高速化を実現しました。決定的なのは、このスピードと効率性が、モデルがすでに知っていることを忘れてしまうという通常の代償なしに実現されている点です。従来の手法では、新しい専門分野を学習する際にモデルの一般的な能力が低下することがよくありますが、この新技術はモデルの元の知識を損なうことなく維持します。

この発見の核心は、これらのモデルが情報をどのように処理するかという、単純ながらも深遠な観察に基づいています。標準的なトレーニングセッションでは、コンピュータはモデルの出力の最後でエラー信号を計算し、その信号を層ごとに後ろへと送り、ネットワーク内の重みを調整します。研究者たちは、モデルの層の最後の4分の1については、必要な調整の方向は、後方へ辿る必要はなく、出力と現在のモデルの状態のみを使用して計算できる信号とほぼ同一であることを発見しました。彼らはこのアイデアを、30億から80億のパラメータを持つ6つの異なる公開モデルでテストし、真の調整の方向が、より単純なフォワードのみの信号と密接に一致することを見出しました。この一致は有用なほど強力であり、信号はほぼ半数のケースで同じ方向を指しており、この一貫性は異なるモデルアーキテクチャ間でも維持されていました。

この理論を実践に移すため、チームは単一のコンピュータチップ上で約2分で実行できる迅速な診断ツールを開発しました。このツールは、特定のモデルの各層において、単純なフォワード信号が複雑なバックワード信号とどの程度一致するかを測定します。これは、研究者に対して、どのネットワーク層においてバックワードパスを安全にスキップできるかを正確に示す地図として機能します。これらの「実行可能な」後半の層が特定されると、トレーニングプロセスは根本的に変化します。モデルが行ったすべてのステップを後で逆転させるために巨大で複雑な記録を構築する代わりに、システムは単にモデルを前方に走らせ、末尾でエラーを計算し、ターゲットとなる層に直接的な補正を適用します。バックワードパスが構築されることは一度もなく、計算の履歴を保存するためにメモリが浪費されることもありません。これにより、多くの人々が自身のハードウェアで大規模モデルのファインチューニングを行うことを妨げてきた主要なボトルネックが解消されます。

3つの異なるモデルファミリーを用いたテスト結果は驚くべきものでした。速度の面では、この新手法は標準的なファインチューニングよりも2.7倍から3.2倍速く、研究者は同じ時間でより多くのデータを処理できるようになりました。単一の高機能グラフィックスカードのようなメモリ制約のあるハードウェアにおいては、標準的な手法ではメモリ制限によりクラッシュしてしまう場面でも、この手法を用いることで、より大きなバッチのデータを同時に処理することができました。おそらく最も重要な点は、この手法がモデルの一般的な知能を保持したことです。研究者が、一般的な知識に関する質問への回答や論理パズルの解決といった、関連のない様々なタスクを用いて適応されたモデルをテストしたところ、モデルはトレーニング前とほぼ変わらない性能を示しました。対照的に、標準的な手法でトレーニングされたモデルは、一般タスクにおける性能が著しく低下することが多く、「破滅的忘却」として知られる現象が見られました。新手法はこの罠を回避し、モデルの広範な能力を安定させつつ、新しい専門分野を学習させることができました。

研究者たちはまた、なぜこのような一般知識の保持が起こるのかについても調査しました。彼らは、後半の層のみを更新するものの、標準的で低速なバックワードパスを依然として使用するハイブリッドなアプローチと比較しました。その結果、一般知識の保持は、新しい計算方法自体のトリックではなく、ネットワークの後半の層への変更を制限したことによる直接的な結果であることが分かりました。言語や推論の基礎となる構成要素を扱う初期層は手つかずのまま残され、モデルの核となる理解が上書きされるのを防いでいるのです。しかし、新しい手法は、この「安全な」領域で操作を行うための唯一の実用的な方法です。なぜなら、標準的なバックワードパスは、わずか数個の層に限定する場合であっても、あまりに低速でメモリ集約的であり、実現不可能だからです。新しいアプローチは、学習が効率的で忘却が最小限に抑えられるこの領域での運用を可能にします。

この手法は非常に効果的ですが、限界もあります。この技術でトレーニングされたモデルは、完全で低速な手法でトレーニングされたモデルほど、新しいドメインを深く学習したわけではなく、教えられた特定のタスクに対する改善度はわずかに低くなりました。これがトレードオフです。新手法は、最大級のパフォーマンスをわずかに犠牲にする代わりに、スピード、メモリ効率、および一般知識の保持における劇的な向上を得ています。研究者たちは、個人のユーザーに合わせてモデルをパーソナライズしたり、消費者向けハードウェアで特定の産業向けに適応させたりするといった、多くの現実世界のアプリケーションにおいて、このトレードオフは十分に価値があると考えています。この手法は、かつてはデータセンターを必要としたプロセスを、モデルの元の知能を過度な専門化によるダメージから守りつつ、単一のマシンで実行できるものへと変え、適応の門戸を開くものです。

技術要約：前方パス・ドメイン適応 (Forward Pass Domain Adaptation: FPO)

1. 問題提起

大規模言語モデル（LLM）をドメイン固有のデータでファインチューニングする場合、通常はネットワーク全体を通じたバックワードパス（逆伝播）が必要となる。このプロセスでは、勾配を計算するためにすべてのレイヤーの活性化（activation）を保持する必要があり、その結果、メモリ使用量は推論時の2〜3倍に膨れ上がる。このオーバーヘッドにより、コンシューマー向けGPUやエッジデバイス、あるいは高スループットなパーソナライゼーションのシナリオでのファインチューニングが困難になっている。LoRAのようなパラメータ効率の高い手法であっても、オプティマイザの状態（optimizer state）は削減できるものの、依然としてフルバックワードパスを必要とするため、完全な活性化グラフを実体化させてしまう。さらに、ネットワーク全体をファインチューニングすると、「破滅的忘却（catastrophic forgetting）」を引き起こし、オフドメインのベンチマーク（例：MMLU、ARC-Challenge）における性能が著しく低下することが多い。この挙動は、異なるランダムシード間で一貫して再現できるものではない。

2. コアとなる観察と手法

本論文は、トランスフォーマーの**後半のレイヤー（late layers）**において、MLPの重みに関する真の勾配は、前方パスのみから計算可能な量によって近似できると主張している。

2.1 理論的基礎

レイヤー $\ell$ におけるMLPの重み $W^{(\ell)}$ について、真の勾配 $\nabla W^{(\ell)}L$ は以下のように分解される：
$\nabla W^{(\ell)}L = \tilde{g}W^{(\ell)} + R W^{(\ell)}$
ここで：

$\tilde{g}W^{(\ell)}$ は、**出力投影疑似勾配（output-projected pseudogradient）**である。これは、出力層のエラーをアンエンベディング（unembedding）の転置および最終的な正規化層の閉形式のヤコビアン（Jacobian）を通じて逆伝播させることで計算される。これは、 $\ell$ と出力の間にあるすべての中間レイヤーが恒等関数として機能することを前提としている。
$R W^{(\ell)}$ は残差であり、中間層の非線形性やトークン間のルーティングによる寄与を含む。

6つの公開モデル（3B–8Bパラメータ）の経験的な調査により、最後の25%のレイヤーにおいて、 $\tilde{g}W^{(\ell)}$ と真の勾配との間のコサイン類似度は 0.47から0.59 の範囲にあることが明らかになった。これは、残差が直交方向において十分に小さいため、出力投影成分が支配的な勾配方向を捉えられることを示唆している。

2.2 診断ツール

著者らは、レイヤーごとのコサイン類似度を定量化する**レイヤー生存性診断（layer-viability diagnostic）**を導入している。

プロセス: 単一のGPU上で、小さなキャリブレーション・バッチ（512トークンのシーケンス16個）を実行し、約2分で完了する。
出力: 後半のレイヤーにおいて、適応が実行可能となる強力なアライメントが存在する「高プラトー（high-plateau）」領域を特定する。これにより、実務者は特定のモデルにおいて、どのレイヤーで後半レイヤー適応（late-layer adaptation）が実行可能かを判断できる。

2.3 前方パスのみによるMLP学習 (FPO)

FPOは、モデル本体のオートグラッド（autograd）グラフを構築したり、バックワードパスを実行したりすることなく、言語モデルを適応させるアルゴリズムである。

メカニズム:
1. 標準的なフォワードパスを実行し、ターゲットレイヤーにおけるMLPの中間活性化（ $h_{mid}$ ）をキャッシュする。
2. 出力層のエラー（ $e = \text{softmax}(z) - y$ ）を計算する。
3. 言語モデルヘッドの転置を用いて、 $e$ を残存ストリーム空間へと投影する（ $g = e W_{lm}$ ）。
4. 正規化層（例：RMSNorm）の閉形式のヤコビアンと $g$ を合成し、レイヤー固有の信号 $\tilde{g}^{(\ell)}$ を生成する。
5. 重みの更新:
  - ダウンプロジェクション ( $W_3$ ): $\Delta W_3 \propto -\tilde{g}^{(\ell)T} h_{mid}$ を用いて正確に更新される。
  - ゲート ( $W_1$ ) およびアップ ( $W_2$ ) プロジェクション: これらにはMLP隠れ空間における勾配信号が必要である。FPOは、キャッシュされた初期重み（ $W_3^{init}$ ）を固定のフィードバック行列として使用することで、これを近似する： $\text{error}_h = \tilde{g}^{(\ell)} W_3^{init}$ 。この近似は、適応レジーム下において $W_3$ が緩やかに変化するという仮定に基づいている。
制約: レイヤー間での信号伝播は行われず、オートグラッド・グラフも構築されない。ピークメモリのオーバーヘッドは、ターゲットレイヤーにおけるキャッシュされた活性化と、それらの特定のレイヤーに対するオプティマイザの状態（パラメータの約10%）に限定される。

3. 主な貢献

レイヤー生存性診断: 出力投影疑似勾配と真の勾配の間のコサイン類似度を定量化し、あらゆる自己回帰型トランスフォーマーに対して実行可能なターゲットレイヤーを特定する、高速な（2分間の）ツール。
FPOアルゴリズム: モデル本体のバックワードパスなしでドメイン適応を実現する学習手法。これは、フルネットワークの教師ありファインチューニング（SFT）よりも 2.7〜3.2倍高速 であり、部分レイヤーSFT（SFT-partial）よりも 2.2倍高速 である。また、標準的なSFTと比較して、ピーク訓練メモリを 約40% 削減する。
ベンチマーク安全なレジーム: 後半レイヤーへの適応を制限すること（FPO経由）で、オフドメインのベンチマーク性能をベースラインのシードノイズ範囲内に維持できるという経験的証拠。これに対し、フルネットワークのSFTやLoRAは、これらのベンチマークを著しく低下させることが多い。

4. 実験結果

本手法は、数学、生物医学、科学テキストに適応させた3つのモデルファミリー（OLMo-2-7B、Qwen3-8B、Falcon3-7B）で評価された。

スループットとメモリ:
- FPOはH100 GPU上で 22.0K–22.7K tokens/s を達成した。これは、フルSFTの 7.5K–8.7K tokens/s と比較して大幅に高い。
- FPOは、SFTでは全体が収まらないハードウェアにおいても、大きなバッチサイズ（例：バッチサイズ 8–10）をサポートできる（例：OLMo-7Bにおいて、バッチサイズ1のSFTは約30GBを消費するが、バッチサイズ8のFPOは約40GBで使用可能）。
ベンチマークの保持:
- FPO: オフドメインのベンチマーク（MMLU、ARC-Challenge、HellaSwag、Winogrande）をベースラインから 0.22ポイント以内 に維持した。OLMo-2-7Bにおいては、むしろ +0.91の改善 を示した。
- フルSFT & LoRA: 一貫してベンチマークを低下させた。OLMoに対するフルSFTは分散が高く、一部のシードでは深刻なダメージ（最大 -8.86ポイント）を与えた。LoRAも一貫した低下（-0.68 から -3.96 ポイント）を示した。
ドメイン内性能:
- FPOはドメイン内のパープレキシティ（perplexity）の改善を実現したが、フルSFTやLoRAよりは小さい（例：OLMoにおいて、フルSFTが -11.4% に対し、FPOは -6.3%）。
- 決定的なことに、FPOは保持されたテキストのパープレキシティをベースラインに近い状態に維持するが、LoRAはこれを著しく悪化させることがある（例：Qwen3で +19.4%）。
メカニズムの制御 (SFT-partial):
- 標準的なSFTをFPOのターゲットレイヤーのみに限定して実行（他を凍結）したところ、FPOと同様のベンチマーク保持性能が再現された。これにより、レイヤー選択（後半レイヤーへの適応）がベンチマークの安全性における主要な要因であり、FPOはそのための実用的なメカニズムであることが確認された。

5. 意義と主張

本論文は、後半レイヤーの勾配が主に出力層の信号と冗長であるという観察を、FPOが実用化していると主張している。その意義は以下の通りである：

実現可能性: フルバックプロパゲーションがメモリ制約により不可能なコンシューマー向けGPUやエッジデバイスでのドメイン適応を可能にする。
安定性: モデルが新しいドメインに適応しながら、一般的な能力を忘れない「ベンチマーク安全な」レジームを提供する。これは、フルネットワークのファインチューニングでは信頼性を持って達成できない特性である。
効率性: 標準的なファインチューニングに対して3倍のスループット優位性を提供し、反復的な開発や大規模なパーソナライゼーションを大幅に高速化する。

著者らは制限事項についても述べている。FPOは現在、特定の正規化レイアウトを持つ因果的言語モデル（3B–8B）で検証されている。また、次トークン予測のクロスエントロピーを対象としており、指示チューニング（instruction tuning）やRL（強化学習）の目的関数には再導出が必要である。さらに、本手法は、 $W_3$ が十分に緩やかに変化し、キャッシュされた初期重みが $W_1$ および $W_2$ の更新のための有効なフィードバック行列として機能するという仮定に依存している。