🤖 AI

Making Models Unmergeable via Scaling-Sensitive Loss Landscape

本論文は、ファインチューニング中にスケーリングに敏感な損失ランドスケープを埋め込むことで、単体での有用性を維持しつつ、不正なモデルマージが性能を低下させることを保証する、アーキテクチャに依存しないフレームワークである\textsc{Trap} $^{2}$ を提案する。

原著者： Minwoo Jang, Hoyoung Kim, Jabin Koo, Jungseul Ok

公開日 2026-01-30

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Minwoo Jang, Hoyoung Kim, Jabin Koo, Jungseul Ok

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

AIモデルの世界を、人々が基本となるシェフ（ベースモデル）に新しい技を教えるための「レシピカード」（アップデート）を共有する、巨大でオープンな図書館だと想像してみてください。時には、2つのレシピカードを組み合わせて、両方の技ができるスーパーシェフを作りたいこともあります。これは「モデル・マージング（モデルの結合）」と呼ばれます。

しかし、問題があります。もし誰かが、単独で使用されることを想定してリリースしたレシピカードを、他のカードと混ぜてしまい、その結果、安全規則を破ったりライセンスを無視したりするようなモンスターが生まれてしまったらどうなるでしょうか？論文では、これを「ガバナンス・ギャップ」と呼んでいます。

この論文の著者であるMinwoo Jang氏らは、このレシピカードを保護するための新しい方法を提案しています。それは、他のものと混ぜようとすると壊れるように設計された方法です。彼らはこの手法をTRAP2と呼んでいます。

その仕組みを、簡単な比喩を使って説明します。

問題点：「壊れやすいケーキ」

標準的なAIアップデート（LoRAアダプターのようなもの）を、完璧に焼かれたケーキだと考えてください。

単独使用: そのケーキを単体で食べれば、素晴らしい味がします（高い精度）。
マージング（結合）: もしこのケーキを別のケーキと混ぜようとすると、結果としてそこそこのデザートにはなります。

この論文の目的は、単体では素晴らしい味でありながら、他のケーキと混ぜた瞬間にドロドロの塊になってしまうようなケーキを作ることです。

旧来の手法（事後防御）

これまでの試みは、焼き上がった後のケーキに対して、特別な「グレーズ（艶出し）」を塗ったり、材料を並べ替えたりするものでした。

欠陥: これは特定の種類のケーキ（Transformerモデルなど）にしか機能しません。もし異なる種類のケーキ（ResNetやConvNeXtなど）に使おうとすると、グレーズが貼り付かなかったり、ケーキの味を台無しにしてしまったりします。また、もし「トッピング（アダプター）」だけを共有し、ケーキ全体を共有していない場合、この手法は失敗します。なぜなら、この手法は機能するためにケーキ全体を見る必要があるからです。

新しい手法：TRAP2（学習時保護）

ケーキを焼いた後にグレーズを塗るのではなく、TRспоTRAP2は、ケーキの焼き方そのものを変えます。

ケーキを焼いている場面を想像してください。そこには一つの秘密のルールがあります。**「このケーキは常温では完璧でなければならないが、温度を少しでも上げたり下げたりすると、崩れ落ちなければならない」**というルールです。

AIの世界では、「温度」とは**スケーリング係数（Scaling factor）**のことです。

モデルが単独で使用されるとき、「温度」は1.0（完璧）に設定されています。
人々がモデルをマージしようとする際、計算を成立させるために、しばしば「温度」を調整（重みを増減させるスケーリング）する必要があります。

TRAP2は、これらの調整に対して脆くなるように、モデルを特別に訓練します。

学習: AIは、スケーリングが正確に1.0のときに完璧に機能することを学びます。
罠: 学習中、AIはスケーリングが0.5や2.0になった場合に何が起こるかも学習します。そして、それらのシナリオでうまく機能した場合、AIは厳しく罰せられます。つまり、スケールの変更は危険であるということを学ぶのです。
結果: モデルがリリースされると、単独では素晴らしく機能します。しかし、ユーザーがマージを試みて（これによりスケールの変更が強制される）、モデルの性能が急落します。

なぜこれが特別なのか？

汎用性がある: 特定の「ケーキの種類」（Transformer）に限定されない旧来の手法とは異なり、TRAP2はあらゆるアーキテクチャで動作します。モデルがどのような形をしているかは関係ありません。重要なのは、数値がどのようにスケールされるかだけです。
「トッピング」にも有効: 全体のモデルを共有せず、小さなアダプター（LoRAなど）のみをリリースする場合でも機能します。
「連鎖的な被害」: 論文では、TRAP2で保護されたモデルを通常のモデルと混ぜると、その通常のモデルも台無しになってしまうことが指摘されています。それはまるで、壊れやすいガラスの壺を木製のボウルと混ぜ合わせるようなものです。ガラスは砕け、ボウルには傷がつきます。これにより、許可されていないマージを行うことが、関係者全員にとって悪い選択であることを保証します。

結果

著者らは、さまざまな画像認識タスク（自動車、航空機、あるいは手書き数字の識別など）でテストを行いました。

単独使用: 保護されたモデルは、保護されていないモデルと同等の性能を発揮しました。
マージング時: これらの保護されたモデルを他のモデルとマージしようとすると、精度が劇的に低下し、多くの場合、一度も訓練されていないモデルのレベルを下回りました。

まとめ

TRAP2は、仕掛けられた罠のあるレシピカードを焼くようなものです。指示通りに作れば完璧に機能しますが（単独使用）、もし誰かが他のレシピと混ぜようとすれば（マージング）、すべてが崩壊します。これにより、モデルの内部構造の詳細を知ることなく、作成者の著作物が許可されていない組み合わせによって悪用されるのを防ぐことができます。

技術要約：スケーリングに敏感な損失関数によるモデルの非マージ化（Unmergeable）化

1. 問題提起

公開モデルハブ（Hugging Face、GitHubなど）の普及により、フルチェックポイントから軽量なアダプターであるLoRA（Low-Rank Adaptation）に至るまで、タスク特化型の更新（fine-tuned updates）の広範な共有が容易になった。このモジュール性は、追加の学習なしに複数のタスク特化型更新を単一のモデルに組み合わせる「モデル・マージ」を可能にする一方で、重大なガバナンス上の欠陥を生み出している。一度リリースされると、これらの重みは、安全性のアライメント、ライセンス条項、またはタスク固有の制約を回避するように、許可されていない混合物へと再結合される可能性がある。

不正なマージに対する既存の防御策は、主に事後的（post-hoc）であり、かつアーキテクチャ依存的である。PaRaMSやMergeLockといった手法は、Transformerに固有の構造的対称性（例：アテンション投影の結合された再パラメータ化）を利用して、スタンドアロンとしての有用性を維持しつつ、直接的な重み空間でのマージを妨げるものである。しかし、これらの手法には以下の2つの決定的な限界がある：

アダプターのみのリリースに対する不適合性： これらはペアとなる変換を適用するためにフルモデルの重みへのアクセスを必要とするため、更新量 $\Delta W$ のみが共有され、ベースウェイト $W_0$ が凍結または利用不可であるLoRAアダプターに対しては効果がない。
アーキテクチャの汎用性の欠如： Transformer特有の対称性に依存しているため、非Transformerバックボーン（ResNet、ConvNeXtなど）への適用ができない。

核心となる課題は、**非マージ性（unmergeability）**をリリースされる更新の中に直接埋め込み、モデルがスタンドアロンの設定（ $s=1$ ）では完全な有用性を保持する一方で、ダウンストリームのマージ・パイプラインで典型的な再スケーリングおよび集計操作（ $s \neq 1$ ）を受けた際に著しく劣化するようにすることである。

2. 手法：TRAP2

著者らは、TRAP2（Training-time Protection via Task-Robust Adversarial Perturbation：タスク堅牢な敵対的摂動による訓練時の保護）を提案する。これは、非マージ性をファインチューニングのプロセス自体に統合する、アーキテクチャに依存しない保護フレームワークである。

コアとなる直感

マージ・パイプニグは、構成要素となる更新の再スケーリング（例： $N$ 個のアダプターをそれぞれ $1/N$ 倍して平均化する）を伴うことが多い。TRAP2は、損失関数を「非定常なスケーリング（off-nominal scaling）」に対して敏感になるよう成形することで、この性質を利用する。本手法は、定常なスケールでは性能を維持しつつ、非定常なスケール下では壊滅的な劣化を引き起こすような敵対的目的関数を最適化する。

目的関数

ベースモデル $W_0$ と学習可能な更新 $\Delta W$ が与えられたとき、スケーリング係数 $s$ における損失を以下のように定義する：
$L_{scaled}(\Delta W; s) = \mathbb{E}_{\xi \sim D}[\ell(W_0 + s \cdot \Delta W; \xi)]$

訓練の目的関数 $J(\Delta W)$ は、定常な損失を最小化しつつ、非定常なスケーリング下での損失を最大化する：
$J(\Delta W) = L_{nominal}(\Delta W) - \lambda \cdot L_{off}(\Delta W)$

ここで：

$L_{nominal}(\Delta W) = L_{scaled}(\Delta W; 1)$ である。
$L_{off}(\Delta W) = \mathbb{E}_{s \sim S}[w(s) \cdot L_{scaled}(\Delta W; s)]$ である。
$S$ は、非定常なスケールの分布（ $s=1$ の周囲のマージン $\delta$ を除く）である。
$w(s)$ は、ダウンスケールされた更新に対する勾配を安定させるための重み関数（デフォルトは $1/s$ ）である。
$\lambda$ は、スタンドアロンの有用性と再スケーリングへの敏感さとのトレードオフを制御する。

最適化

本手法は、確率的一次近似最適化（例：SGD）を採用する。各イテレーションにおいて、期待値を近似するために非定常分布 $S$ から単一のサンプル $s$ が抽出され、偏りのない勾配推定値が得られる。この手順は以下の両方に適用される：

アダプターのみのリリース： LoRA行列 $A$ および $B$ の最適化。
フルファインチューニング： 各訓練ステップにおける全パラメータの差分 $\Delta W_t = W_t - W_0$ の最適化。

3. 主な貢献

問題の定式化： 著者らは、多様なアーキテクチャとリリース形式（アダプターおよびフルチェックポイント）に対応する事後的な保護設定を定式化し、スタンドアロンの有用性とマージによる劣化に関する統一された評価プロトコルを確立した。
アーキテクチャに依存しない保護： 従来の先行研究とは異なり、TRAP2はアーキテクチャの対称性やフルウェイトへのアクセスを必要としない。更新の中に保護を直接埋め込むことで、LoRA、フルチェックポイント、および非Transformerバックボーンへの適用を可能にしている。
理論的および経験的分析： 本論文は、確率的最適化下での収束に関する理論的保証を提供し、ダウンスケーリング下での劣化を特徴付けている。経験的には、TRAP2がゼロショットのベースラインを下回るほどの信頼できる性能崩壊を誘発しつつ、スタンドアロンの精度を維持することを実証している。

4. 実験結果

著者らは、CLIPモデル（ViT-B/32, ViT-L/14, ConvNeXtバックボーンを使用）を用い、8つのビジョン分類ベンチマーク（Cars, DTD, EuroSAT, GTSRB, MNIST, RESISC, Aircraft, SVHN）にわたってTRAP2を評価した。

スタンドアロンの有用性

性能の維持： TRAP2は、すべてのアーキテクチャとデータセットにおいて、保護されていないファインチューニングと同等のスタンドアロン精度を維持する。
ベースラインとの比較： 事後的な防御策であるMergeLockは、アダプターのみの設定においてスタンドアロンの有用性を維持できず（しばしばチャンスレベルまで崩壊）、PaRaMSは有用性を維持したがマージを防ぐことはできなかった。TRAP2はこの両方に成功した。

非マージ性（マージによる劣化）

線形マージ： 標準的なオペレータ（Task Arithmetic, TIES, DARE, TSV, CART）を用いてFull, KnOTS, またはCore空間で他のアダプターとマージした場合、TRAP2で保護されたモデルは大幅な精度の低下を招き、多くの場合ゼロショットのベースラインを下回った。
マージ戦略への堅牢性： マージャーが最高の性能を見つけるためにグリッドサーチを用いてマージ係数を最適化したとしても、劣化は持続した。
データ依存型マージ： TRAP2は、追加のデータ信号を利用して有用性を回復しようとするデータ依存型のマージオペレータ（RegMeanやChain-of-Merges [CoM]）に対しても有効であった。
ペアワイズおよびN-wayマージ： 本手法は、ペアワーズ・マージにおける「自己崩壊（self-collapse）」と、N-wayの一様平均（ $N \ge 2$ ）における一貫した劣化を引き起こした。
副作用（Collateral Damage）： TRAP2アダプターを保護されていないアダプターとマージすると、保護されていないタスクの性能も低下することがあり、これは保護の破壊的な性質を示している。

汎用性

アーキテクチャ： TRAP2は、Transformer特有の防御が適用できないConvNeXtにおいても効果的に機能した。
スケール： 結果はViT-B/32およびViT-L/14の両方のバックボーンにおいて一貫していた。
フルファインチューニング： 本手法は、アダプターのマージだけでなく、フルモデルのマージにも成功裏に拡張された。

5. 意義と主張

本論文は、TRAP2が「事後的」から「訓練時」へと保護のパラダイムをシフトさせることで、オープンなモデルエコシステムにおけるガバナンスの空白に対する実用的な解決策を提供すると主張している。

防御戦略の転換： 更新自体に非マージ性を埋め込むことで、TRAP2はフルモデルへのアクセスや特定のアーキテクチャの対称性を必要とする事後的な手法の限界を回避する。
信頼性： 本手法は、不正な再構成を信頼できないものにし、安全性やライセンスの制約を回避する目的で作られた不正な混合物の作成を事実上抑制する。
限界に関する謙虚な姿勢： 著者らは、自らの評価がプラグアンドプレイの再利用で一般的な係数ベースのマージに焦点を当てていることを認めている。マージされたモデルの有用性を回復するために追加のタスク関連データを用いて再学習またはファインチューニングを行う「データ駆動型の回復」に対する保護の拡張は、今後の課題として残されている。

著者らは、本手法は訓練中に敵対的摂動を使用しているものの、それはアップローダーの権利とモデルの完全性を保護するための防御ツールであり、攻撃を可能にするためのものではないことを強調している。また、保護されたモデルはマージにおいて信頼できない挙動を示す可能性があることを、ダウンストリームのユーザーに知らせるための明確なラベル付けなどの責任あるリリース慣行を推奨している。