On the Vulnerability of Parameter-Level Defenses to Model Merging

技術要約：モデル・マージングに対するパラメータレベルの防御の脆弱性について

問題提起
本論文は、「モデル・マージング」というパラダイムに内在するセキュリティリスクを取り上げている。モデル・マージングとは、共通の事前学習済みバックボーンから派生した複数のファインチューニング済みエキスパートモデルを、再学習なしで融合させ、マルチタスクモデルを作成する手法である。この効率的な手法の一方で、その開放性は、独自の知的財産（IP）を侵害するような、許可されていない「フリーライダー（ただ乗り者）」によるプロプライエタリなモデルの結合を許してしまう。最近の積極的な防御策（例：Params、MergeLock、MergeBarrier）は、秘密の線形パラメータ変換（置換行列、対角行列、または直交行列）を適用することで、マージに必要な算術処理を妨害し、これを軽減しようと試みている。しかし、これらの防御策は、多くの場合、モデル単体の性能を低下させるか、あるいは巧妙なマージの試みを阻止することに失敗する。著者らは、既存の防御策がパラメータの相対的な大きさの構造を維持する線形変換に依存しており、それが解析的な反転に対して脆弱である可能性があるという決定的なギャップを特定している。

手法
本論文は、これらの防御策に対する体系的な分析を行い、それに基づいた攻撃フレームワークと対応するカウンターメジャー（対抗策）の開発を提案している。

1. アンカー誘導型攻撃 (Anchor-Guided Attack: AGA):
   AGAを駆動する核心的な洞察は、保護されたファインチューニング済みモデルにおいて、保護されたタスクベクトル（$\tau^P$）の大きさは、保護された事前学習済み重み（$W^P_{pre}$）の大きさに比べて数桁小さい（通常 $10^{-2}$ から $10^{-3}$）という観察に基づいている。その結果、保護されたモデルのパラメータ空間は、圧倒的に事前学習済みのアンカーによって支配されている。

• メカニズム: AGAは、公開されている事前学習済みモデルを静的な参照アンカーとして扱う。AGAは、保護されたモデルとこのアンカーとの間の不一致を最小化するアライメント目的関数を定式化する。
• デュアルソルバー・フレームワーク:
  • 連続的変換（アテンション・モジュール）: 可逆的、直交的、または対角的な行列を使用する防御策（例：アテンション・ヘッドにおけるもの）に対し、AGAは最小二乗回帰を用いて過決定線形システムを解き、閉形式の解析的リカバリー行列を導出する。
  • 離散的変換（MLPモジュール）: ニューロンをシャッフルするために置換行列を使用する防御策に対し、AGAはリカバリーを線形割当問題として定式化する。コストが負のコサイン類似度として定義されたハンガリー法を利用して、グローバルに最適な離散二部マッチングを見つけ出し、効果的に置換を逆転させる。
• 理論的保証: 著者らは、リカバリー誤差がタスクベクトルの大きさに厳密に制限されることを証明する定理を提供している。タスクベクトルは事前学習済み重みに比べて無視できるほど小さいため、攻撃はほぼ完璧なリカバリーを実現する。

2. アンカー反発型ファインチューニング (Anchor-Repulsive Fine-tuning: ARF):
   AGAに対抗するため、著者らは、この幾何学的な脆弱性を利用する仕組みを根本的に変える防御策であるARFを提案する。

• メカニズム: ARFは、ファインチューニング段階において、特にアテンション投影行列（$W_Q, W_K, W_V, W_O$）に対して距離ベースの反発項を導入する。
• 目的: この項は、ファインチューニングされたアテンションの重みを、事前学習済みのアンカーからあらかじめ定義された安全マージン（$\rho$）に達するまで能動的に押し離す。これにより、特定のモジュールにおけるタスクベクトルの大きさを人工的に拡大することで、事前学習済みアンカーがパラメータ空間を支配しているという仮定を打破し、AGAが依拠する幾何学的脆弱性を無効化する。

主な貢献

• 体系的な脆弱性分析: 保護されたタスクベクトルは、事前学習済み重みに対して本質的に大きさが小さいため、線形変換が行われてもパラメータ空間が事前学習済みバックボーンによって支配され続けることを明らかにした。
• ユニバーサル攻撃フレームワーク (AGA): 著者らは、事前学習済みアンカーに整合させることで保護された重みを解析的に復元できる初のフレームワークであるAGAを提案した。AGAは、コンピュータビジョンおよび自然言語処理の分野において、個別の、あるいは複合的な最先端の防御策（Params、Params-D、MergeLock、MergeBarrier）を正常に回避することに成功した。
• 適応型防御 (ARF): 著者らは、アテンション・モジュール内のタスクベクトルの大きさを積極的に拡大する防御戦略であるARFを導入した。このアプローチは、モデル本来の有用性を維持しながら、不正なマージを効果的に防止する。

実験結果
著者らは、コンピュータビジョン（ViT-B/32, ViT-L/14）および自然言語処理／生成（GPT-2, Qwen2-7B）のタスクにわたって、提案手法を評価した。

• 攻撃の有効性: AGAは一貫して防御を回避した。例えば、MergeLockによる保護下でのLOTマージング戦略において、保護されたタスクの性能は4.85%に低下したが、AGAはこれを78.36%まで回復させた（未保護のベースラインとの差は1%未満）。様々なマージング・パラダイム（Task Arithmetic, CAT, LOT）およびモダリティにおいて、同様の高精度な復元（未保護時の性能の最大97%）が観察された。
• 防御の有効性: ARFは脅威を効果的に抑制した。ARFを適用した場合、AGA攻撃下での不正なマージ済みモデルの性能は、ランダムに近いレベル（例：ViT-B/32で0.28%）まで抑制され、MergeGuardのような既存の防御策を大幅に上回る成果を示した。
• スタンドアロンの有用性: 決定的なことに、ARFはモデル単体の性能を維持した。ViT-B/32において、ARFは平均88.11%の精度を達成し、これは未保護のベースライン（88.81%）とほぼ同等であり、MergeGuard（86.31%）よりも優れた結果であった。これは、防御が元のタスク能力を損なわないことを示している。

意義
本論文は、線形な重み変換は、モデル・マージングに対して「単なるセキュリティの錯覚」を提供していると主張している。事前学習済みアンカーがパラメータ空間を支配するという幾何学的な脆弱性を露呈させることで、本研究は、現在のパラメータレベルの防御策が根本的に欠陥があることを示している。AGAの成功は、小さなタスクベクトルが線形変換によって安全に隠蔽できるという仮定に依存しない、より根本的に堅牢で、トレーニングを考慮したパラダイムが必要であることを強調している。提案されたARFは、ファインチューニングのプロセスを活用してパラメータの景観を構造的に変化させることで、モデルの有用性を犠牲にすることなく、不正なマージを効果的に防ぐ実用的な道筋を提示している。