技術的概要：CoVUBench – LVLM におけるマルチモーダル著作権忘却のベンチマーク評価

問題提起

ウェブ規模のコーパスで訓練された大規模視覚言語モデル（LVLM）は、キャラクターやロゴなどの著作権で保護された視覚コンテンツを、そのテキスト記述とともに記憶し、再生成する内在的なリスクを有しています。機械的忘却（Machine Unlearning）は、訓練後に特定のデータを除去する道筋を提供しますが、マルチモーダル設定におけるその有効性を評価することは、依然として未解決の問題です。既存の評価フレームワークは主にテキスト中心（例：TOFU、MUSE）であり、視覚空間と言語空間に共同で埋め込まれた概念の消去という複雑さに対処できていません。現在の手法は、視覚的認識と関連する事実的知識との間のクロスモーダルなリンクが真に切断されたかどうかを評価する頑健性を欠いており、表面的な拒否戦略と真の概念消去を区別できないことが多くあります。さらに、著作権者（堅牢な除去を要求）とモデル展開者（汎用性の維持を要求）の競合するニーズを同時に満たす標準化されたベンチマークの決定的な欠如があります。

手法

これらのギャップに対処するため、著者らは LVLM における著作権忘却の安全かつ現実的な評価のために設計されたフレームワーク、CoVUBench（Copyright Vision-Language Unlearning Benchmark）を導入します。

1. データセット構築

法的および倫理的リスクを伴う現実世界の知的財産（IP）を使用する代わりに、CoVUBench は合成で法的に安全な著作権コンテンツを作成するための手続き的生成パイプラインを利用します。

• ペルソナ設計図（Persona Blueprints）: このパイプラインは、特定の意味属性（例：性格、能力）と視覚的記述を持つユニークな架空のキャラクターやロゴを定義する構造化された JSON「ペルソナ設計図」を生成します。
• 合成コンテンツ生成: これらの設計図を用いて、システムは多様な画像コーパスを生成します。これには、特定の訓練インスタンスを超えた忘却の一般化をテストするための構成的バリエーション（異なる背景、シーン、視点）と、ドメインの現れ（例：キャラクターが 3D アクションフィギュアや T シャツのプリントとして現れること）が含まれます。
• 視覚的質問応答（VQA）: データセットには、20 のユニークな概念に関連する 2,420 の VQA ペアが含まれています。これらのペアは以下のように分類されます。
  • 単一モーダル質問: 事実の想起をテストするテキストのみのクエリ（例：「[キャラクター] の主な能力は何ですか？」）。
  • マルチモーダル質問: 事実的知識と結びついた視覚的認識を必要とする画像ベースのクエリ（例：「この画像のキャラクターの能力は何ですか？」）。
• 検証: 厳格なフィルタリングプロセスが、生成された属性を商標データベース（WIPO）と照合し、既存の保護作品との重複がないことを確認するために逆画像検索を使用します。

2. 評価プロトコル

このベンチマークは、2 段階のパイプラインを採用します。

1. ファインチューニング（記憶）: 合成著作権概念を含む訓練セット（$D_{train}$）でベース LVLM をファインチューニングします。
2. 忘却: サブセット（$D_{forget}$）を除去対象として指定し、残りを（$D_{retain}$）保持します。ファインチューニングされたモデルにさまざまな忘却アルゴリズムを適用します。

3. 利害関係者中心の指標

評価は、2 つの異なる視点に対処する 6 つの指標を通じてパフォーマンスを定量化します。

• 著作権者の視点（忘却の有効性）:
  • 有効性（Efficacy）: 忘却セットのキーワードに対する完全一致（EM）スコアの減少を測定します（$1 - EM(D_{forget})$）。
  • 一般性（Generality）: 新しい視覚的/テキスト的バリエーションを持つホールドアウトテストセット（$D_{test}$）における EM スコアの減少を測定します（$1 - EM(D_{test})$）。
  • 発散（Divergence）: 真の答えと予測された答えの間の意味的類似性（埋め込みのコサイン類似度）を測定し、ニアダブルを検出します。
• モデル展開者の視点（有用性の維持）:
  • 流暢さ（Fluency）: 保持セット（$D_{retain}'$）における ROUGE-L リコール。
  • 特異性（Specificity）: ブロックリストされていないコンテンツに対する保持セットの完全一致スコア。
  • 能力（Capability）: 核心的なマルチモーダル推論が維持されていることを確認するための外部汎用ベンチマーク（POPE、MMBench）の精度。

4. ベースライン

本研究は、5 つの代表的な忘却アルゴリズムを評価します。

• 勾配上昇（Gradient Ascent: GA）: 忘却セットでの損失を最大化します。
• 勾配差（Gradient Difference: GD）: 忘却セットでの損失最大化と保持セットでの損失最小化のバランスを取ります。
• KL 発散正則化（KL Divergence Regularization: KL）: 保持セットにおいて、忘却済みモデルと元のモデルの間の KL 発散を最小化します。
• 直接選好最適化（Direct Preference Optimization: DPO）: 元の答えよりも拒否応答を好むようにモデルを訓練します。
• 負の選好最適化（Negative Preference Optimization: NPO）: 忘却セットを負の選好データとして扱い、元の答えの尤度を低下させます。

主要な結果

実験は LLaVA-Phi-3B および LLaVA-1.5-7B モデルで行われました。結果は、忘却の有効性と有用性の維持の間に明確なトレードオフが存在することを明らかにしました。

• 手法の二極化:
  • 勾配ベースの手法（GA、KL）: 高い忘却有効性（概念の堅牢な消去）を達成しましたが、モデルの有用性に壊滅的な低下を引き起こしました（流暢さと特異性が急落し、特に 7B モデルで顕著でした）。
  • 選好ベースの手法（DPO、NPO）および GD: モデルの有用性を成功裏に維持しました（高い流暢さと特異性）が、概念を効果的に消去できず、有効性と一般性においてほぼゼロのスコアでした。高い発散スコアは、真の忘却ではなく表面的な拒否戦略を学習したことを示唆しています。
• モーダルのギャップ: 単一モーダル（テキストのみ）とマルチモーダル（視覚を含む）クエリの間に顕著な性能差が観察されました。テキストのみのクエリでは効果的に見えた手法も、画像でテストされた際には視覚 - 知識のリンクを切断できず、現在の手法が真のクロスモーダル概念消去に苦労していることを示しています。
• 忘却比率の影響: 忘却比率の増加（5% から 20%）は、トレードオフを悪化させました。勾配ベースの手法はドメイン内能力を破壊する「壊滅的な過剰忘却」を示し、有用性を維持する手法は比率に関係なく消去において非効率的なままでした。
• ドメイン感受性: NPO はロゴよりもキャラクターで高い有効性を示しました。これはおそらくキャラクターに関連する複雑なテキスト的「伝説（lore）」によるものですが、これは流暢さへのより高いコストを伴いました。

意義と主張

本論文は、CoVUBench が LVLM における著作権忘却を評価する最初の専用ベンチマークであると主張しています。その主な意義は以下の点にあります。

1. 標準化: 多様な視覚的現れとクロスモーダルな関連性全体にわたる忘却の一般化を評価するための、厳格で法的に安全なフレームワークの提供。
2. 利害関係者のバランス: 著作権者の除去ニーズと展開者の有用性ニーズの間の緊張関係を明示的に定量化する、二重視点の評価プロトコルの導入。
3. 実証的洞察: 現在の忘却アルゴリズムがマルチモーダル著作権ドメインにおいて根本的に不十分であることを示しています。本研究は、既存の手法が消去を達成するためにモデルの有用性を破壊するか、あるいは有用性を維持するために概念の消去に失敗するか、そして重要なのは、テキスト的関連性が除去された場合でも、基盤となる視覚 - 知識のリンクを切断することに苦労していることを浮き彫りにしています。

著者らは、現在のテキスト中心のアプローチは LVLM における著作権の複雑なクロスモーダルな課題へは効果的に転用されないため、マルチモーダル忘却のために明示的に設計された新しい専門アルゴリズムの緊急の必要性があると結論付けています。データセットとベンチマークは、この分野のさらなる研究を促進するために公開されています。