🤖 machine learning

Fora: From Weight-Space to Function-Space Protection in Capability-Preserving Fine-Tuning

本論文は、更新を重みに由来する部分空間ではなく活性化に由来する部分空間へと投影することで、既存のスキルを担う特定の方向をより忠実に分離・保護し、ファインチューニング中のモデルの能力を維持する関数空間保護手法であるFORAを導入する。

原著者： Rui Zhou, Tianci Xie

公開日 2026-07-01

📖 1 分で読めます☕ さくっと読める

原著者： Rui Zhou, Tianci Xie

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

問題点：古いスキルを忘れることなく、新しいスキルを学ぶこと

あなたは、すでに翻訳のエキスパートである優秀な学生（AIモデル）を想像してみてください。あなたは、その学生に新しいスキルである数学の問題を解くことを教えようとしています。

標準的な学習における問題は、数学を学ぼうと強制すると、学生が翻訳の仕方を忘れてしまうことがよくある点です。それは、ピアノで新しい曲を書こうとしているのに、お気に入りの古い曲を弾くときに使う鍵盤から指が滑り落ちてしまうようなものです。

科学者たちは、学生の脳に「ガード（防護策）」を置くことでこれを解決しようとしてきました。これまでの手法の多くは、脳の物理的な構造（重み行列）を守ろうとしてきました。「脳の中で最も大きく、強い接続部分は触るな」と指示するようなものです。

この論文の洞察：
著者らは、「最も大きな接続」を守ることは間違った戦略であると主張しています。

比喩： 学生の脳が巨大な図書館だと想像してください。「最も大きな接続」は、棚にある最も人気のある本です。しかし、学生は翻訳を行うために、図書館の特定の静かな一角（特定の活性化パターン）を使っているかもしれません。もし「人気のある本」だけを守ったとしても、翻訳が行われているその静かな一角を誤ってブロックしてしまうかもしれませんし、さらに悪いことに、数学のレッスンがその静かな一角をめちゃくちゃにする状態のまま放置してしまうかもしれません。

論文はこう主張しています：「家具（重み）」を守るのではなく、「活動（関数）」を守れ。

解決策：「Fora」（関数空間直交残差適応）

著者らはForaと呼ばれる新しい手法を開発しました。その仕組みを3つの簡単なステップに分けて説明します。

1. 「翻訳ゾーン」のマッピング（キャリブレーション）

数学を教える前に、研究者たちは学生に、ラベル付けなしで行う翻訳タスクを実行させます（正解を与える必要はありません）。彼らは、翻訳中に脳のどの部分が光っているかを正確に観察します。

比喩： 彼らは学生にカメラを向け、学生がフランス語を話すときに、床のどこに足を踏み出すかを示す光るマップを描きます。これが**「関数部分空間（Function Subspace）」**です。

2. 「立ち入り禁止区域」の構築（プロジェクター）

重い家具（重み）を守る代わりに、彼らはその床の光るマップの周りにフォースフィールド（力場）を構築します。

比喩： 彼らは数学の教師にこう伝えます。「部屋のどこで数学を教えても構わないが、ただし、その光るフランス語ゾーンには踏み込んではならない。もしその特定の床タイルに数学を書こうとしたら、あなたのペンは跳ね返されるだろう。」
これが右プロジェクター ( $P_Q$ ) です。これは、新しい数学のレッスンが、翻訳のために使用されている特定のパターンを上書きすることを阻止します。

3. 「専用チャンネル」（スペクトル・チャンネル）

研究者たちは、もし翻訳ゾーンを完全に凍結してしまったら、学生が全く向上できなくなることに気づきました。そこで、彼らはそのフォースフィールドの中に、細くて狭いトンネルを追加しました。

比喩： 「立ち入り禁止ゾーン」の中を貫く、補強された小さなガラス管を想像してください。学生はこの管を通じて、翻訳スキルを微調整し、慎重に改善していくことができますが、数学のために壁全体をぶち壊すことはできません。
これが**スペクトル・チャンネル（Spectral Channel）**です。これにより、学生がロボットのようになってしまうのを防ぐための、わずかな「可塑性（柔軟性）」を許容しつつ、主要な構造を安全に保ちます。

なぜこれが従来の手法よりも優れているのか

この論文は、他の手法（「重み空間投影」のように、重い家具を守る手法）と比較してテストを行いました。

従来の手法（重み空間）： 「大きな本には触れるな」
- 結果： 翻訳は「大きな本」のエリアで起きているのではなく、静かなコーナーで起きていたため、学生は依然として翻訳を忘れてしまいました。
新しい手法（Fora）： 「光るフランス語のマップを踏むな」
- 結果： 学生は完璧に数学を学びながら、翻訳スキルをほぼ全く同じ状態に保つことができました。

平易な言葉による結果

研究者らは、Qwen3-1.7Bというモデルを用いて、3つの異なるシナリオでテストを行いました。

翻訳を維持しながら論理（COGS）を学ぶ： 新しい手法は、翻訳スキルをほぼ完璧に維持しましたが、他の手法は翻訳の質を低下させました。
翻訳を維持しながら数学（GSM8K）を学ぶ： 同様に、新手法は翻訳スキルを救いましたが、他の手法はそれらが逸脱するのを許してしまいました。
数学を維持しながら翻訳を学ぶ： 彼らは状況を逆転させました。翻訳を教えつつ、数学のスキルを維持しようとしました。新手法は、従来のメソッドよりも数学のスキルをはるかに良く守りました。

まとめ

この論文は、AIにおけるスキルを保護するためには、どこに重みが大きいか（静的な構造）を見るべきではないと結論付けています。代わりに、そのスキルを行っているときにAIが実際にどこで活性化しているか（動的な関数）を見るべきなのです。

ハードウェアではなく「活動」の周りにシールドを築くことで、すでに知っていることを消去することなく、AIに新しいことを教えることができます。

要約すると： 図書館の棚を守るのではなく、読者がお気に入りの本を見つけるために歩く、その特定の経路を守りなさい。

技術要約：Fora：能力保存型ファインチューニングにおける、重み空間から関数空間への保護への転換

1. 問題提起

大規模言語モデル（LLM）のフルファインチューニングは、新しいタスクへの適応において高い表現力を提供するが、重大なリスクを伴う。それは、制御されていない勾配が、モデルが既に備えている能力の機能的な経路を上書きしてしまう可能性があることである。既存の緩和戦略（EWCやL2-SPなどの正則化から、蒸留、勾配投影に至るまで）は、**プロキシ（代理指標）**を通じて能力を保護している。これらのプロキシには、パラメータ間の距離、重要度ペナルティ、出力のマッチング、あるいは重み行列の支配的な特異方向（SVDによる $V_1$ ）などが含まれる。

本論文は、これらのプロキシが根本的な問いに答えていないと主張する。すなわち、「保持すべき能力が、実際にどの活性化方向（activation directions）に依存しているのか？」という問いである。事前学習済み重み行列（ $W_0$ ）の支配的な特異ベクトルは、重みが大きい場所（学習された全能力の集合体）を要約するものであり、単一の能力（例：翻訳は中程度の特異成分や対角方向の向きに依存している可能性がある）に必要な特定の活性化パターンとは一致しない場合がある。その結果、 $V_1$ を保護することは、能力と整合しない部分空間を制約することになり、不十分な保存につながる。

2. 手法：Fora (Function-space Orthogonal Residual Adaptation)

提案手法であるForaは、能力の保存を**関数空間の保護（function-space protection）**として再定義する。重み行列の幾何学的構造を保護するのではなく、Foraは、その能力によって誘導される活性化部分空間を保護する。

コアメカニズム:

関数空間投影 ( $P_Q$ ):
- 保持すべき能力のラベルフリーなキャリブレーション入力（ $D_{pres}$ ）を用いて、各レイヤーの入力活性化を収集する。
- これらの活性化の共分散を計算し、上位 $k$ 個の固有ベクトル（ $Q$ ）を抽出する。これは、その能力の機能的シグネチャーの主成分方向を表す。
- 右投影行列を形成する： $P_Q = I - QQ^\top$ 。この投影行列は、能力の関数方向を「読み取る（作用する）」ことから更新をブロックする。
重み空間投影 ( $P_U$ ):
- 事前学習済み重み $W_0 = U\Sigma V^\top$ のSVDから導出される左投影行列 $P_U = I - U_1U_1^\top$ を構築し、元の重みの主要な出力方向への書き込みをブロックする。
更新ルール:
フルランクの更新 $\Delta W$ は、2つの補完的なチャネルに分解される：
$\Delta W_{\text{Fora}} = \underbrace{P_U M P_Q}_{\text{高容量・関数保護}} + \underbrace{U_2 D_\delta V_2^\top}_{\text{制御されたスペクトルチャネル}}$
- 高容量ブランチ ( $P_U M P_Q$ ): 密な行列 $M$ であり、能力の入力方向（ $P_Q$ ）および重みの支配的な出力方向（ $P_U$ ）を除くすべての方向に対して完全な表現力を保持する。
- スペクトルチャネル ( $U_2 D_\delta V_2^\top$ ): $W_0$ の残差特異値から導出された、狭い低自由度のチャネル。決定的なことに、これは保護された部分空間（ $\text{span}(Q)$ ）からの入力に応答することを許される唯一のコンポーネントである。これにより、能力を完全に凍結することなく、校正された調整を可能にする「限定された可塑性」を提供する。
低ランク拡張:
本手法は、密な行列 $M$ を低ランク積 $\frac{\alpha}{r} BA$ に置き換えることで、パラメータ効率の良いファインチューニング（PEFT）へと拡張される。これを通じ、Fora-LRが得られる。

3. 主な貢献

保存の再定式化: 本論文は、能力の保存は、重み行列の特異幾何学（ $V_1$ ）よりも、活性化によって誘導される活性化部分空間（ $Q$ ）を保護することによって最も効果的に達成されると提案している。
構造的設計 (Fora): 保護と可塑性を分離した、構造的に制約されたフルランク更新を導入する。高容量ブランチは、能力に敏感な方向を読み取ることが構造的に禁止されている一方で、専用のスペクトルチャネルがそれらの方向に対して制御された適応を提供する。
メカニズム的洞察: 制御されたアブレーションを通じて、性能向上は単なる投影の実行によるものではなく、投影のソース（能力由来か重み由来か）に由来することを実証している。
実証的検証: Qwen3-1.7Bを用い、3つの設定において実験を行い、重み空間投影および標準的な正則化に対する一貫した優位性を示した。

4. 実験結果

実験は Qwen3-1.7B を用い、以下の3つの設定で行われた：

Trans $\to$ COGS: 翻訳能力を保持しながら、構成的意味解析を学習する。
Trans $\to$ GSM8K: 翻訳能力を保持しながら、算数問題を学習する。
Math $\to$ Trans: 数学的推論を保持しながら、翻訳を学習する。

主な知見:

優れた保存性能: Foraは、翻訳能力の保持において、重み空間投影（ $P_V$ $P_{V}$ ）、正則化（EWC, L2-SP）、および蒸留（LwF）を一貫して上回った。
- 例: Trans $\to$ COGSにおいて、Foraは翻訳のパープレキシティ（PPL）を 4.39（ベースラインの4.35に近い）に維持したが、重み空間投影は 4.86 に低下した（保護のないフルファインチューニングよりも悪い結果）。
- 例: Math $\to$ Transにおいて、ForaはGSM8Kの精度をベースラインから 0.86 ポイント以内の範囲に保持したが、フルファインチューニングでは 2.27 ポイントの低下が見られた。
新タスクの性能: Foraは新タスクにおいても競争力のある、あるいは優れた性能を達成している。Trans $\to$ GSM8Kの設定では、Foraは全手法の中で最高のGSM8K Exact Match (46.87%) を記録した。
アブレーションによる洞察:
- 投影のソース: 右投影行列を $P_V$ （重み由来）から $P_Q$ （関数由来）に切り替えたことが、保存性能向上の決定的な要因であった。
- スペクトルチャネル: スペクトルチャネル（ $\delta$ ）の追加は、保存を損なうことなく、新タスクの性能に小さくも一貫した向上（例：+0.21 GSM8K EM）をもたらした。これは「限定された可塑性」のデザインを裏付けている。
低ランクへの汎用性: Fora-LRバリアントは、保護メカニズムがパラメータ効率の高い設定にも転移することを示し、重み空間LoRAバリアント（OPLoRA）よりも優れた保存指標を示した。

5. 意義と主張

本論文は、活性化由来の関数部分空間は、重み由来の特異方向よりも、保護の対象としてより忠実なターゲットであると主張している。保護の対象を重み行列の幾何学から、実際の能力の活性化フットプリントへとシフトさせることで、Foraは既存の重み空間投影手法を悩ませている不整合を回避している。

著者らは、これが構造的な解決策であることを強調している。すなわち、保護は最適化の軌跡や特定の勾配状態に依存するのではなく、パラメータ化（ $P_U M P_Q$ ）によって保証されている。また、本手法はラベルフリーのキャリブレーションデータが必要であるが、学習中にタスクのデータやラベルを保存する必要はなく、リプレイベースのアプローチとは一線を画している。結論として、関数空間の保護は、可塑性と安定性のバランスを取るための原理的な方法を提供し、新タスク学習へのトレードオフを最小限に抑えつつ、強力な保存を実現するものである。