技術要約：非ファインチューニング可能な基盤モデルの構築に向けて

1. 問題提起

基盤モデル（FM）、特に大規模言語モデル（LLM）のオープンソース化は、広範な再利用と科学的イノベーションを促進する一方で、モデルの学習者に経済的および安全上のリスクを露呈させる。重みが公開されると、ユーザーは低コストでダウンストリーム・タスクに対する無許可のファインチューニングを行うことが可能になる。これにより、主に2つの問題が生じる：

• 経済的リスク： 本来であれば元の学習者に帰属すべきダウンストリームへの適応から、ユーザーが価値を奪取できてしまう。
• 安全上のリスク： 学習者はモデルのライフサイクルに対する制御を失う。有害なデータ（暴力、過激主義、差別など）を用いた無許可のファインチューニングにより、元の事前学習済みモデルの評判を維持したまま、有害な出力を生成させることが可能となり、法的および規制上の責任を負う可能性がある。

モデルの免疫化やタスク固有のアンラーニングといった既存の防御策は、制限すべき特定のダウンストリーム・タスクやデータ分布を知っていることを前提としている。これらのアプローチは、学習者がモデルがどのように転用されるかを可視化できないオープンウェイトのリリースにおいては、実用的ではない。本論文は、オープンソースとしてのリリースを可能にしながら、タスクに依存しない無許可のファインチューニングの効果を本質的に制限するメカニズムの必要性に取り組むものである。

2. 手法：プライベート・マスク事前学習 (PMP)

著者らは、非ファインチューニング可能性をモデルの幾何学的特性として組み込むために設計された事前学習パラダイムである**プライベート・マスク事前学習（Private Mask Pre-Training: PMP）**を提案する。核心となるアイデアは、学習の初期段階で特定される疎なサブネットワークに表現学習を集中させ、定義的なバイナリ・マスクを非公開にすることである。

PMPの手順

PMPは以下の3つのステージで動作する：

1. プライベート・アーリーバード・マスクの発見：

   • モデルは、データの小さなサブセットを用いた短い「ウォームアップ」事前学習フェーズを経る。
   • 「アーリーバード・ロッタリーチケット（early-bird lottery ticket）」基準を用い、このフェーズ中の勾配の大きさに基づいて、安定した疎なバイナリ・マスク（$M$）を特定する。
   • マスクは、連続するマスクの重なり（IoU：Intersection over Unionで測定）が安定したときに選択される。
   • このマスク $M$ は非公開かつ固定され、その後のすべての学習において保持される。

2. プライベート・マスク事前学習：

   • モデルはフルセットの事前学習データを用いて学習されるが、最適化は厳密にマスクによって定義されたパラメータ（$\theta_M$）に限定される。
   • 相補的なパラメータ（$\theta_{\bar{M}}$）は、事前学習プロセス全体を通じて凍結されたままとなる。
   • フォワードパスにはフル密なパラメータベクトルが使用されるが、すべての勾配更新は疎なサブネットワーク内に限定される。

3. マスクなしでのリリース：

   • 収束後、学習者は最終的な密な重みのみをリリースする。
   • プライベート・マスク $M$ は公開されない。

防御メカニズム

無許可のユーザーが、マスクなしでリリースされたモデルをファインチューニングしようとすると、フルパラメータベクトルを更新しなければならない。これにより、本質的な最適化のミスマッチが生じる：

• 事前学習： 更新が $\theta_M$ に制限された条件付き目的関数を最適化した。一方、$\theta_{\bar{M}}$ は固定されていた。
• 無許可のファインチューニング： $\theta_M$ と $\theta_{\bar{M}}$ の両方を更新する結合された目的関数を最適化する。
• 結果： ファインチューニングのプロセスは、事前学習中に適応されなかった凍結された相補パラメータ（$\theta_{\bar{M}}$）への更新を強制する。理論的分析によれば、これらの凍結された方向における損失関数（loss landscape）は正の曲率（鋭さ）を示す。これらの方向を更新することは、事前学習された解を不安定化させ、適応による利得を制限するか、あるいは性能を低下させる。

3. 理論的分析

本論文は、なぜPMPが非ファインチューニング可能性を誘発するのかについて、理論的な正当性を提示している：

• 非対称な局所幾何学： 事前学習済みモデルは、学習された部分空間（$\theta_M$）に沿っては平坦な損失関数を持ち、凍結された方向（$\theta_{\bar{M}}$）に沿っては正の曲率を持つ、条件付き最適解に到達する。
• 不安定性： マスクなしでファインチューニングを行う際、確率的勾配降下法は両方の部分空間を更新する。理論的分析（命題1）は、凍結された方向への更新が不安定化させる摂動を導入することを示す。具体的には、適応されていない方向における正の曲率により、期待される事前学習損失が増加する（または減少しない）ため、タスク固有の勾配による利得を打ち消してしまう。
• 結論： 無許可のファインチューニングは数学的に不安定化しやすく、達成可能なファインチューニングの利得を制限する。

4. 実験結果

著者らは、GPT-2およびTinyLlama (1.1B) アーキテクチャを用い、SlimPajama-6Bで事前学習し、GLUEベンチマークでファインチューニングすることでPMPを評価した。

• ベースモデルの性能： PMPはベースモデルのコア能力を維持する。多くのケース（例：CoLAおよびMRPCにおけるTinyLlama）において、PMPモデルはファインチューニング前において、非PMPのベースラインと同等、あるいはわずかに優れた性能を示した。
• 無許可のファインチューニング： プライベート・マスクなしでファインチューニングを行った場合、PMPモデルは多様なダウンストリーム・タスク（SST-2, MRPC, QQP, MNLIなど）において大幅な劣化を示した。この性能低下は、アーキテクチャやタスクを問わず一貫しており、タスク固有の脆弱性ではなく、効果的な適応の一般的な失敗であることを示している。
• 許可されたファインチューニング： 信頼できるユーザーにプライベート・マスクを提供した場合、彼らはマスクされた部分空間のみを更新することでファインチューニングが可能である。このシナリオでは、PMPモデルは無許可のファインチューニングと同等以上の性能を発揮し、本手法が本質的に適応を妨げるのではなく、むしろ権限を持つ当事者に制限していることを示した。
• アブレーション研究：
  • アーリーバード vs ランダムマスク： アーリーバード・ロッタリーチケット・マスクを使用することが極めて重要であった。同程度の疎さを持つランダムなマスクは、同等の非ファインチューニング能を誘発しなかったことから、アーリーバード・サブネットワークの安定性が鍵であることが確認された。
  • マスク比率： マスク比率0.7（70%の疎さ）が、ベース性能と無許可のファインチューニング抑制の間の最適なトレードオフを提供した。
  • ハイパーパラメータ： 学習率やファインチューニングのエポック数を変化させても、無許可のユーザーの性能は回復しなかった。これは、制限がハイパーパラメータ調整の問題ではなく、最適化のミスマッチという根本的な問題であることを示唆している。
  • 損失関数の可視化： 可視化により、損失関数が許可された方向（マスクされた部分空間）では平坦であるが、無許可の方向（フルパラメータ空間）では急峻であることが確認され、理論的な「急峻な壁（steep wall）」仮説が検証された。
  • 堅牢性： 勾配の大きさ自体は、分布の重複によりマスクの位置を明らかにはしないため、攻撃者がマスクを推論することは困難であると論文は主張している。

5. 主な貢献

1. 問題の特定： 本論文は、非ファインチューニング可能性を、タスク固有のアンラーニング問題ではなく、根本的な事前学習レベルの問題として定義し、オープンウェイトのリリースにおいて学習者が無許可の適応を制御できない現状を浮き彫りにした。
2. PMPフレームワーク： ベースの有用性を維持しながら、タスクに依存しないブラックボックス設定において無許可のファインチューニングを制限する、汎用的なパラダイムであるプライベート・マスク事前学習を提案した。
3. 理論的洞察： PMPが事前学習とファインチューニングの目的関数の間に本質的なミスマッチを引き起こし、無許可の更新中に不安定化させる摂動を注入することを分析によって示した。
4. 実証的検証： PMPが、ベースの性能を維持しつつ、多様なベンチマークやアーキテクチャにわたって適応による利得を一貫して抑制することを実証した。

6. 意義と主張

本論文は、非ファインチューニング可能性を、タスク固有のアンラーニング問題としてではなく、事前学習中に誘発される特性として再定義することを主張している。プライベートな疎なサブネットワークに学習を集中させることで、PMPは学習者がダウンストリームへの適応を意味のある形で制御しつつ、基盤モデルをオープンソース化することを可能にする。

著者らは、このアプローチが以下を実現すると強調している：

• ダウンストリームのデータやタスクに関する事前の知識を必要としない。
• 学習者にとっての元のモデルの経済的および安全上の価値を保持する。
• プライベート・マスクを保有する信頼できるユーザーに対して、「許可された」適応を可能にする。
• リリースされたモデルがどのように転用されるかについての仮定に頼ることなく、AIエコシステムの開放性と、安全性および経済的制御の必要性を両立させるための実用的なメカニズムを提供する。