技術要約：モジュール型事前学習によるアクセス制御の実現

問題提起

AI開発者は「デュアルユース（二重用途）のジレンマ」に直面している。有益なアプリケーション（例：疾患の治療、サイバーセキュリティの強化）を可能にする能力は、しばしば有害なアプリケーション（例：生物兵器の合成、サイバー攻撃の実行）を可能にする能力と重複する。現在のアクセス制御メカニズムは不十分である。アクセス制御の「ゴールドスタンダード」は、異なる能力プロファイルを持つ個別のモデル（例：研究者にはウイルス学の知識を持つモデルを、一般市民にはそれを持たないモデルを）を、異なるユーザーに対して提供することであるが、N個の能力プロファイルに対してN個の別個のモデルを訓練・デプロイすることは、フロンティア規模においては極めて高コストである。

既存の代替案は、堅牢性の要件を満たせていない：

• 拒絶訓練、出力フィルタリング、および分類器は出力を制限するが、基礎となる能力自体は残存させるため、敵対的な誘発（adversarial elicitation）に対して脆弱である。
• 事後的なアンラーニング（Unlearning）（例：MaxEnt）は、訓練済みモデルから能力を取り除こうとする試みであるが、脆弱であり、わずかな例を用いたファインチューニングによって能力が急速に回復してしまうことが多い。
• モデルブランチング（ベースモデルを訓練し、個別のバリアントをファインチューニングする手法）は、事前学習のコストを削減するが、依然として複数のデプロイを必要とするため、効率が悪い。

手法：勾配ルーティングによる補助モジュール (GRAM)

本論文は、モジュール型アーキテクチャと勾配ルーティングを通じて専門化を誘導することで、単一のモデルが複数の能力プロファイルをサポートすることを可能にする事前学習手法であるGRAMを提案する。

アーキテクチャ

GRAMは、標準的な高密度Transformerに、メインの「コア」MLPに並んで、各層に小型の補助MLPモジュールを追加することで拡張を行う。

• コアモジュール: すべてのデータで共有される大規模なMLPであり、一般的な知識を捉える。
• 補助モジュール: 特定の補助的な能力（例：ウイルス学、サイバーセキュリティ）に対応する小型のMLP。
• パラメータ数: 総パラメータ数は標準的な高密度モデルと同程度であり、コアモジュールはベースラインのサイズと一致し、補助モジュールはパラメータのわずかな割合を占める。

学習ダイナミクス（勾配ルーティング）

トークンごとのルーティングを行う学習済みルーターを使用するMixture-of-Experts (MoE) とは異なり、GRAMはデータセットのラベルに基づくデータ依存型の勾配ルーティングを使用する：

1. フォワードパス:
   • コアデータ: コアMLPは常にアクティブである。コアの堅牢性をモジュールの存在に対して維持するため、確率 $p_{cr}$ でランダムな補助モジュールもアクティブ化される。
   • 補助データ: コアMLPと、そのデータに対応する特定の補助モジュールの両方がアクティブになる。
2. バックワードパス（勾配更新）:
   • コアパラメータ: 補助データを処理する際、確率 $p_{as}$ で更新される。これにより、能力間の干渉の度合いを制御する。
   • 補助パラメータ: 現在のバッチに対応する特定の補助モジュールは常に更新される。他の補助モジュールは更新を受けない。
   • 個別のオプティマイザ: 各パラメータのサブセット（コアおよび各補助モジュール）は、個別のAdamWオプティマイザを使用して最適化される。

推論とアクセス制御

推論時には、特定の能力プロファイルは、コアMLPと、許可された能力に対応する補助モジュールのサブセットをアクティブにすることで提供される。補助モジュールを**アブレーション（除去/無効化）**することは、ネットワークから関連する能力を取り除くことを意味する。本論文は、これがデータフィルタリングによって訓練されたモデルを近似すると主張している。なぜなら、アブレートされたモジュールは、コアから隔離された状態で特定の能力を学習していないからである。

主な貢献と実験

1. データフィルタリングの近似

著者らは、GRAMで訓練された単一のモデルが、データフィルタリング（各モデルをデータのサブセットで訓練する手法）を用いて訓練された複数のモデルの性能を近似できることを示している。

• 合成評価（単純な物語）: コアと補助的なトピックに分割された子供向けの物語のデータセットにおいて、GRAMは、望ましい能力を保持することと、不要な能力を除去することの両面において、データフィルタリングされたモデルと一致した。
• 現実世界のデュアルユース評価: コアデータ（ウェブテキスト、コード、一般的な論文）と4つの補助ドメイン（ウイルス学、サイバーセキュリティ、核物理学、特殊なLispコード）を用いて800Mパラメータのモデルで訓練した結果、GRAMは以下を実現した：
  • 保持: 保持された能力に関する性能は、全データを用いたベースラインとほぼ一致した。
  • 除去: 除去された能力に関する性能は大幅に低下し、データフィルタリングされたモデルの「忘却（forget）」性能と一致した。
  • 堅牢性: GRAMによる能力の除去は、事後的なアンラーニング手法（MaxEnt）よりも、悪意のあるファインチューニング（誘発された忘却）に対して堅牢であった。

2. スケーラビリティと構成可能性

• スケーリング則: 50Mから5BパラメータまでのChinchilla最適化スケーリング分析により、GRAMがデータフィルタリングの能力プロファイルを密接に追跡していることが示された。モデルサイズが大きくなるにつれ、除去された能力に対するフィルタリングモデルとフルデータモデルの差は拡大したが、GRAMはこの傾向を維持した。
• 構成可能性: GRAMは、単一の訓練実行から任意の能力のサブセットをサポートする。複数のアダプタを合算した際に性能が低下するLoRAベースのブランチング（FT-LoRA）とは異なり、GRAMは複数の補助モジュールが同時にアクティブな場合でも性能を維持し、$2^{N-1}$ の能力プロファイルを一つのモデルから可能にした。
• 部分的ラベル付け: データのうち50%のみがラベル付けされている設定において、GRAMは能力の除去においてデータフィルタリングおよびFT-LoRAの両方を大幅に上回った。著者らはこれを「吸収効果（absorption effect）」によるものとしており、ラベルのないデータの更新が共有コアではなく、特化したモジュールに集中するためであるとしている。

3. コスト効率

• 訓練コスト: GRAMは単一の訓練実行のみを必要とするため、5つの別個のデータフィルタリングモデルを訓練する場合と比較して、訓練計算コストを5分の1に削減できる。
• デプロイコスト: モデルブランチングやフルファインチューニングとは異なり、GRAMは複数のモデルコピーをデプロイする必要はなく、動的なモジュール活性化によって単一のモデルをサーブする。

意義と主張

本論文は、GRAMが、プロフェッショナルな規模での複数のモデル訓練という過度なコストをかけることなく、デュアルユースAI能力に対する堅牢なアクセス制御への実用的な経路を提供すると主張している。

• セキュリティ: 出力を抑制するだけでなく、能力を司るパラメータを物理的に除去（アブレーション）することで、GRAMは行動的なステアリングや事後的なアンラーニングと比較して、誤用やジェイルブレイクに対するより強い保証を提供する。
• 経済的実行可能性: この手法は、訓練コストをサポートされる能力プロファイルの数から切り離すものであり、差別化されたアクセス制御をフロンティア規模で実現可能にする。
• データフィルタリングとの整合性: 実験結果は、データフィルタリング自体が好適にスケールすること（より大きなモデルは、一般的な知識を保持しながら特定のデータを忘れることに長けていること）を示しており、GRAMがこの挙動を正常に追跡していることを確立している。

著者らは以下の限界についても言及し、謙虚な姿勢を保っている：

1. 絡まり合い（Entanglement）: 能力が高度に絡み合っている場合、クリーンな分離は手法に関わらず不可能である可能性がある。
2. フロンティア規模: トレンドは5Bパラメータまでは成立しているが、フロンティア規模（数兆パラメータ）における性能は未検証である。
3. 実装: GRAMをプロダクションパイプラインに統合することは、開発者が避けたいと考える複雑さを導入する可能性がある。
4. ポストトレーニング: GRAMの事前学習における分離と、その後の指示チューニングやRLHFとの相互作用は不明である。

結論として、本論文はGRAMを完璧な解決策としてではなく、効率的に訓練された単一のモデルから許可された能力プロファイルを提供できるようにすることで、高度な能力を持つAIシステムの安全かつ柔軟なデプロイを可能にするための重要な一歩として位置づけている。