技術概要：深層低ランク残差蒸留による事前学習済み重みのロック

問題定式化

オープンウェイトの大規模言語モデル（LLM）の普及は、強力な AI システムへのアクセスを民主化したが、同時にモデル提供者がこれらの重みの利用方法に対して持つ統制を侵食した。法的なライセンスは不正な適応を制限しようとするが、技術的な執行手段を欠いている。モデルの重みとアーキテクチャに完全なアクセス権を持つ適応的な攻撃者は、しばしば単純な構造的防御を逆転させたり、最適化を用いてそれらを回避したりすることができる。

対処される核心的な科学的課題はモデルロックである。これは、事前学習済みモデルを修正して、その適応（例えばファインチューニングなど）を、元のモデルを適応させることよりも本質的に高コストにするが、推論時の性能と一般的能力を厳密に維持する能力を指す。著者らは、防御が攻撃者がロック機構の設計を知っていても有効であり続けるというケルケホフスの原理に基づいた適応的脅威モデルの下でこれを形式化した。目標は「ロック係数」$\kappa > 1$ を達成することであり、これにより下流タスクにおける目標性能レベルに到達するためのコスト（時間、FLOPs、または GPU 時間）が、元のモデルと比較してロックされたモデルでは少なくとも$\kappa$倍増幅される。

既存のアプローチの限界

本論文は、以前の防御戦略における根本的な欠陥を特定している：

1. 対称性に基づく防御：重みの対称性（例えばスケーリングや可逆行列の挿入）を悪用して最適化を撹乱する手法は、自明に逆転可能である。攻撃者は重みのノルムを検査したり、特異値分解（SVD）を計算したりして重みを再均衡化し、元の最適化の地形を復元できる。
2. 最適化に基づく防御：条件の悪い損失地形（例えばヘッシアン行列の跡の最大化やバリアモジュールの挿入）を最適化することで防御を埋め込もうとするアプローチは、「自滅的」なパラドックスに直面する。防御者は最適化に抵抗する解を見つけるために最適化を使用しなければならないが、防御者が利用可能な勾配情報は攻撃者にも同様に利用可能である。単純な MLP における実験は、勾配降下法が事前学習済み初期値からこれらの「ロックされた」高コスト領域に到達することにしばしば失敗することを示している。

手法：DLR-Lock

著者らは、自動微分の推論とトレーニングの非対称性を利用する防御DLR-Lockを提案する。推論は前方伝播のみを必要とし中間活性化を破棄するのに対し、トレーニングは逆伝播のためにすべての中間活性化を保存する必要がある。DLR-Lock は、トランスフォーマー内の標準的な SwiGLU MLP モジュールをそれぞれ**深層低ランク残差ネットワーク（DLR-Net）**に置き換える。

アーキテクチャ

標準的な MLP 残差ブロック $x' = z + \text{FFN}(\text{RMSNorm}(z))$ は、深度 $L$ の低ランク残差ネットワークに置き換えられる：
$$h_0 = z, \quad h_{i+1} = h_i + \alpha_i U_i \sigma(V_i \text{RMSNorm}(h_i)), \quad x' = h_L$$
ここで：

• $V_i \in \mathbb{R}^{r \times d}$ および $U_i \in \mathbb{R}^{d \times r}$ は、ボトルネックランク $r \ll d$ を持つ低ランク射影行列である。
• $\alpha_i$ は学習可能な ReZero スカラーである。
• 深度 $L$ は、パラメータの総数が元の MLP と一致するか（あるいはわずかに超える）ように選択され、パラメータを少数の深い層ではなく多数の浅い層に分散させる。

3 つのロック機構

このアーキテクチャの置換は、適応に対する 3 つの具体的な障壁を導入する：

1. 活性化メモリの増大：逆伝播中、活性化を保存するために必要なメモリは深度 $L$ に比例して増加する。素朴なファインチューニングを使用する攻撃者にとって、活性化メモリのオーバーヘッドは元のモデルと比較して $\Theta(d/r)$ としてスケーリングし、より小さなバッチサイズまたはより高価なハードウェアを強いる可能性がある。
2. 最適化の不安定性：深層残差構造は、元のモデルのトレーニングレシピとのアーキテクチャ的なミスマッチを生み出す。元の浅い MLP 向けに調整された標準的なファインチューニングのハイパーパラメータとオプティマイザは、深層 DLR-Net に適用されると不安定になるか、非効率になる。
3. 不均衡な逆伝播オーバーヘッド：複雑なメモリアクセスパターンと活性化の再計算の必要性（勾配チェックポイントを使用しても）により、逆伝播は前方伝播よりも著しく多くのオーバーヘッドを伴う。重要なのは、前方伝播を加速するコンパイラ最適化（CUDA グラフのリプレイなど）は逆伝播には転用されないことであり、勾配を計算しなければならない攻撃者にとってコストの格差が広がる点である。

蒸留手順

ロックされたモデルが元の能力を保持すること（有用性の維持）を確保するために、著者らは 2 段階の蒸留パイプラインを採用する：

1. モジュールごとの蒸留：各 DLR-Net は、対応する事前学習済み MLP 層の入力 - 出力マップを再現するように独立してトレーニングされ、相対的な平均二乗誤差（MSE）を最小化する。
2. ログイット蒸留：すべての層が置換された後、累積された誤差は、元のモデルを教師として使用して DLR-Net のパラメータ（アテンションと埋め込みは固定）をファインチューニングすることで修正される。目的は、教師と生徒の出力分布間のトップ-$k$ KL 発散を最小化することである。

実験結果

この手法は、Nemotron-CC データセットを使用してQwen3-0.6BおよびQwen3-8Bモデルで検証された。

• 品質の維持：ロックされたモデルは元のモデルの能力を正常に維持した。2 段階の蒸留後、自然言語コーパス（Nemotron-CC、WikiText-103）におけるパープレキシティおよび下流ベンチマーク（MMLU、ARC、HellaSwag など）での性能は、事前学習済みベースラインの数ポイント以内に回復した。
• 推論オーバーヘッド：理論上の FLOPs は同等のままだが、DLR-Net の逐次的な性質によりウォールクロックオーバーヘッドが生じる。しかし、これはコンパイラ最適化（例えば reduce-overhead を伴う torch.compile）によって軽減される。大規模モデルおよび大規模バッチサイズの場合、オーバーヘッド比率は著しく低下する（例えば、8B モデルではイージアモードの $144\times$ からコンパイルにより $11\times$ に低下）、正当な利用者にとっては管理可能な範囲にとどまる。
• ファインチューニングへの耐性：
  • 収束：WikiText-103 でファインチューニングした場合、ロックされたモデルはベースラインよりも著しく遅く収束し、勾配チェックポイントを有効にしてもより高い損失でプラトーに達した。
  • 不安定性：学習率が高い場合（$10^{-4}$）、ロックされたモデルは完全に発散したが、ベースラインは正常にトレーニングした。これは防御が実効的な学習率の範囲を狭めていることを示している。
  • コスト増幅：逆伝播はロックされたモデルの総トレーニング時間の 89% を占めた（ベースラインは 83%）、目標損失に到達するためのウォールクロック時間は著しく高かった。著者らは、逆伝播のオーバーヘッドが前方伝播よりも不均衡に高いことを指摘し、防御がトレーニング固有のコストに依存していることを確認している。

意義と主張

本論文は、モデルロックのための新しい防御軸を確立すると主張しており、これはオプティマイザ非依存であり、防御機構の秘密ではなく構造的な性質に依存する。主な貢献は以下の通りである：

• 形式化：適応的脅威モデル下での適応コスト増幅としてモデルロックを定義すること。
• 新規機構：自動微分の推論 - トレーニング非対称性を悪用して、評価は安価だが微分は高価な防御を創出できることを実証すること。
• 堅牢性：勾配チェックポイント、部分的な重み更新、または LoRA を使用する完全な戦略知識を持つ適応的攻撃者に対しても手法が耐えることを示すこと。
• 実用性：ロック機構がモデルの有用性を犠牲にせず、正当な利用者がほぼ元の性能で推論できる一方、不正な適応に対して測定可能なコスト障壁を課すことを検証すること。

著者らは、前方伝播のオーバーヘッドはカスタムカーネルやコンパイルによって軽減可能であるが、逆伝播コストにおける根本的な非対称性はファインチューニングに対する堅牢な障壁であり続ける、と結論づけている。