To See is Not to Learn: Protecting Multimodal Data from Unauthorized Fine-Tuning of Large Vision-Language Model

技術サマリー：見ることは学ぶことではない：大規模視覚言語モデルの不正なファインチューニングからマルチモーダルデータを保護する

問題定式化
大規模視覚言語モデル（LVLM）の急速な進展は、マルチモーダルなウェブデータを無差別にスクレイピングすることに大きく依存しており、データ所有者にとって著作権やプライバシーの深刻なリスクを創出している。機械的忘却や透かしなどの既存の対策は本質的に事後対応（post-hoc）であり、侵害が発生した後にのみ機能するか、モデル提供者の協力を必要とする。本論文は、事前防御（proactive defense）のギャップに取り組む：データ所有者は、画像・テキストデータを公開する前にどのように保護し、不正なファインチューニングを防止できるか？

著者らはこれを二階層最適化問題として形式化した。防御者は、画像に知覚不能な摂動（$\delta$）を適用し、テキストに離散的なトリガー（$\gamma$）を挿入することによって、保護されたデータセット $\tilde{D}$ を構築することを目指す。その条件は以下の通りである：

1. 隠密性： 摂動は厳格な知覚的および意味的予算（$\epsilon_x, \epsilon_t$）の範囲内に留まること。
2. 有効性： 攻撃者が $\tilde{D}$ で LVLM をファインチューニングした場合、トレーニング損失は低くなるが、クリーンな下流評価データにおける性能は著しく低下すること。

課題は、マルチモーダルな監督の冗長性（一方のモダリティを保護しても他方は学習可能である）、LVLM トレーニングの自己回帰的性質（意味的事前知識を通じてノイズを回避しうる）、および攻撃者のアーキテクチャとファインチューニングレシピのブラックボックス性に存在する。

手法：MMGUARD
本論文は、画像とテキストの摂動を新しいメカニズム「クロスモーダルバインディング破壊（Cross-Modal Binding Disruption）」と結合させることで「学習不能な例（unlearnable examples）」を生成する、データ中心のフレームワーク MMGUARD を提案する。

1. 学習不能な画像保護：

   • 著者らは、標準的な LVLM パイプラインの微分不可能な操作（リサイズ、量子化など）を近似する微分可能なサロゲート画像プロセッサを構築する。
   • 射影勾配降下法（PGD）を用いて、サロゲート LVLM 上のトレーニング損失を最小化するよう画像摂動（$\delta$）を最適化し、モデルがノイズに過剰適合する最適化ショートカットを作成する。

2. 学習不能なテキスト保護：

   • 離散的なトリガー（$\gamma$）をテキスト入力に挿入する。
   • 許容語彙全体に対して勾配誘導探索（HotFlip 風）を行い、トークン化の境界シフト（BPE のマージ/スプリットなど）を考慮するために厳密な検証を行うことで最適化を実行する。

3. クロスモーダルバインディング破壊（中核的革新）：

   • 標準的な学習不能な例は、モデルが未摂動のモダリティの意味的関連性や事前学習済み知識に依存できるため、LVLM に対してしばしば失敗する。
   • MMGUARD は、保護信号（摂動とトリガー）とターゲット応答との間に偽の相関を学習させるメカニズムを導入する。
   • ブリッジパスハイジャック（BPH）： この変種は、回答トークンからトリガーへ、そしてトリガーから画像摂動へと注意の質量を明示的に誘導する。理論的には、これによりモデルはクリーンな推論時に消滅する経路（トリガーと摂動が存在しないため）に依存することを強制され、注意パターンの分布シフトを引き起こす。
   • コントラスト的ルーティングシフト（CRS）： アーキテクチャに依存しない変種であり、保護されたデータ上の注意パターンがクリーンなデータと著しく異なることを要求する。これにより、未知のアーキテクチャへの転移性が向上する。

4. アンサンブル最適化：

   • 攻撃者のモデルが不明なブラックボックスシナリオに対処するため、保護はサロゲート LVLM のアンサンブル上で最適化され、生成された摂動が異なるアーキテクチャ全体で堅牢であることを保証する。

5. 最適化戦略：

   • このフレームワークは、交互近似アルゴリズムを用いて制約付き多目的二階層最適化問題を解く。これは、データをショートカットを通じて容易に適合させる「min-min」目的と、そのショートカットが転移しないことを保証するバインディング破壊目的とのバランスを取る。

主要な貢献

• 最初の事前防御フレームワーク： MMGUARD は、不正な LVLM ファインチューニングに対してマルチモーダルデータを能動的に防御するために設計された、初のデータ中心フレームワークとして提示される。
• 結合されたマルチモーダル保護： 以前の単一モダリティ手法とは異なり、画像摂動とテキストトリガーを結合し、一方のモダリティが他方を補完しうるという冗長性の問題に対処する。
• クロスモーダルバインディング破壊： 本論文は、LVLM の学習ダイナミクスを保護固有のショートカットへとシフトさせるメカニズムを導入し、これがクリーンなタスクでの汎化を低下させる理由についての理論的保証（全変動境界による）を提供する。
• 包括的な評価： このフレームワークは、6 つの多様なデータセット（RealWorldQA、ScienceQA、医療/ドキュメントベンチマークを含む）および 9 つのオープンソース LVLM に対して、ホワイトボックス、グレーボックス、ブラックボックスの脅威モデル下で評価された。

実験結果

• 有効性： MMGUARD は、保護されたデータでファインチューニングされた LVLM の下流性能を一貫して低下させる。ホワイトボックス設定では、保護されたモデルはしばしばゼロショットベースラインに近い、あるいはそれ以下の性能を示し、ファインチューニングによる有用性の向上を実質的に排除する。
• 転移性： 保護は、見知らぬアーキテクチャ（ブラックボックス）および多様なファインチューニング戦略（LoRA、QLoRA、フルファインチューニング）に対して堅牢に転移する。クロスモーダルバインディング成分が、単一モダリティのベースラインがブラックボックス設定で失敗したり、攻撃者の性能を向上させたりすることが多い中で、この転移を可能にする主要因として特定された。
• 堅牢性： この防御は、データ変換（JPEG 圧縮、ぼかし、テキスト正規化）およびデータ混合（保護されたデータをクリーンなデータで希釈すること）を含む適応的攻撃に対しても有効である。
• 隠密性： 保護された画像は高い知覚的品質を維持する（PSNR > 34 dB、SSIM ~0.88）。主な知覚的コストはテキストトリガーの挿入に由来し、これはペレプレクシティを増加させるが、人間の回答可能性および画像・テキストの一貫性スコアを高く維持する。
• メカニズム分析： 可視化により、トレーニング中に真の視覚的証拠から摂動/トリガー領域へと注意が正常にリダイレクトされ、そのパターンがクリーンな推論時に崩壊することが確認された。

意義と主張
本論文は、MMGUARD を能動的なマルチモーダルデータ所有権のための構造的プリミティブとして位置づける。それは、LVLM の学習ダイナミクス（特に注意ルーティングと自己回帰的生成への依存）を悪用することで、データ所有者が人間には見えないが不正なトレーニングに対して壊滅的な「毒」を注入できることを主張する。

著者らは、MMGUARD が銀の弾丸ではなく、透かしや法的救済などの反応的措置を補完する「多層防御（defense-in-depth）」戦略の層であることを強調する。彼らは明示的に、このフレームワークは公開前に防御者が制御するデータのみで動作し、すでにスクレイピングされたデータを保護したり、ゼロから事前学習を防止したりするものではないと述べている（彼らはこれを、ほとんどのロングテールデータにとって経済的に魅力的でないとみなしている）。この研究は、モデル提供者の協力を必要とせずに不正なファインチューニングを経済的・技術的に実行不可能にすることで、データ所有者に主体性を取り戻すことを目指している。