技術概要：OmniVL-Guard

問題定義

生成 AI の急速な進化は、説得力のある偽情報の作成における障壁を低下させ、マルチメディア情報セキュリティに深刻なリスクをもたらしている。既存の偽造検出手法は、主に単一モーダル（例えば、画像のみ、またはテキストのみ）または二モーダル（例えば、画像とテキスト）の設定に限定されている。この断片化は、現代のソーシャルメディアにおける偽情報がしばしばテキスト、画像、動画を同時に交錯して存在するという現実に対応できていない。

さらに、「オムニバス」型のビジョン・ランゲージ偽造検出とグラウンディング（操作された領域の局所化）のための統一フレームワークを開発することは、重大な「難易度バイアス」問題をもたらす。マルチタスク最適化において、単純な真偽分類タスクが勾配を支配する傾向があり、微細なグラウンディングタスク（例えば、改ざんされたテキストインデックス、画像のバウンディングボックス、または動画の時間セグメントの局所化）の性能が最適化されない。標準的な教師あり微調整（SFT）は、推論能力が不十分なため、これらの多様なモーダルにわたって一貫した性能向上をもたらせず、既存の強化学習（RL）アプローチは、しばしば容易なサブタスクに支配された学習ダイナミクスに悩まされる。

手法

著者らは、テキスト、画像、動画を単一のパラダイム内で処理するように設計された統一フレームワーク「OmniVL-Guard」を提案する。このフレームワークは、2 つの中核コンポーネントを統合している。

1. 自己進化型 CoT 生成

法廷推理のための高品質な思考の連鎖（CoT）データを生成する際の「コールドスタート」課題に対処するため、著者らは 4 段階のパイプラインを導入する。

• ソースデータ収集: テキスト、画像、動画、および画像・テキストの各モーダルを網羅する公開データセットを集約する。
• 法廷推理シードのプライミング: 最先端のマルチモーダル大規模言語モデル（MLLM）を用いて初期の推理パスを生成し、一貫性と正しさを厳格にフィルタリングしてシードデータセット（$D^0_s$）を作成する。
• シードブートストラッピング: 残りのデータに対してモデルが CoT を生成し、それを検証してマージすることでデータセットを拡張（$D^k_s$）する反復的な自己進化ループ。このプロセスは局所最適解を回避するために 3 回実行される。
• 協調的ハード CoT 合成: 長尾の困難なサンプルを処理するためのマルチエージェントワークフロー。1 つのエージェントがグランドトゥルース（GT）を条件として CoT を生成し、2 つ目の「リファイナ」が後知恵バイアスを除去して自然な推論をシミュレートするように書き換え、3 つ目のエージェントが論理を検証する。
• 結果: SFT のコールドスタート用および RL 最適化用のデータを含む高品質な CoT アノテーションから構成される**フルスペクトル法廷推理（FSFR）**データセットの構築。

2. 適応的報酬スケーリング方策最適化（ARSPO）

マルチタスク RL における難易度の不均衡を解決するため、著者らは ARSPO を提案する。理論的解析により、局所化のような高難易度タスクでは、勾配感度（$H'_k$）が小さく、モデルがプラトーに陥ることが示された。ARSPO は以下の手法でこれに対処する。

• タスクベースの報酬マッピング: 線形マッピングの代わりに、フレームワークは微細な局所化タスクに対して指数関数的報酬関数（$g_k(x) = e^{ax}$）を使用する。この凸マッピングは、高品質な応答の勾配寄与を増幅し、タスクの難易度によって引き起こされる勾配消失を補償する。
• 動的係数調整: 学習トレンドを定期的に監視し、タスク重み（$l_{k,s}$）を調整するメカニズム。「遅れをとるタスク」（進捗が最も遅いもの）を特定し、その係数を動的に増幅するとともに、習得済みのタスクの係数を減衰させることで、バランスの取れた共同最適化を確保する。

主要な貢献

1. 統一フレームワーク: 交錯するテキスト、画像、動画を処理し、偽造検出と微細なグラウンディングの両方を行うことができる統一されたビジョン・ランゲージモデル（VLM）フレームワークを提案する最初の研究であり、法廷推理への RL の統合を先駆けた。
2. FSFR データセット: 完全な SFT-RL-テストパイプライン用に設計された包括的なマルチモーダルコーパス。高品質な推理パスを合成するために、自己進化型 CoT 生成パイプラインを通じて構築された。
3. ARSPO アルゴリズム: マルチタスク RL における探索の不均衡を効果的に解決する動的バランスアルゴリズムであり、容易なタスクの性能を犠牲にすることなく、高難易度タスクの性能を大幅に向上させる。

実験結果

インドメインテストセットおよびアウトオブドメイン（OOD）ベンチマーク（ISOT、CASIA2.0、MMDFakeBench、FakeSV を含む）で広範な実験が行われた。

• インドメイン性能: OmniVL-Guard はすべてのモーダルにおいて最先端の性能を達成した。特に、微細な局所化において既存の最良の手法を大幅に上回った。
  • 動画時間的局所化: 37.79% の改善。
  • テキスト局所化: 22.92% の改善。
  • 画像局所化: 5.73% の改善。
  • また、非常に競争力のある二値分類精度（96.20%）を維持した。
• ゼロショット汎化: モデルは OOD シナリオにおいて堅牢なゼロショット汎化を示し、過学習に悩まされるドメイン固有モデルを大幅に凌駕した。例えば、テキスト・画像タスクで 79.38%、テキスト・動画タスクで 63.55% の精度を達成した。
• アブレーション研究:
  • 協調的ハード CoT 合成を除去すると、特に局所化タスクにおいて一貫した性能低下が生じた（例えば、テキスト局所化で 7.47% の低下）。
  • 自己進化プロセスを迂回した直接 GT 注入は、大幅な性能差をもたらした。これは、推理パスにおける「後知恵バイアス」を回避することが重要であることを確認した。
  • 指数関数的報酬マッピング（$a=3$）が最適であることが判明した。線形マッピングは困難なタスクの勾配を増幅できず、過度に急峻なマッピングはノイズを誘発した。

意義と主張

本論文は、OmniVL-Guard がマルチモーダル法廷におけるタスク不均衡への対処の重要性を浮き彫りにしていると主張する。共同最適化における「難易度バイアス」を特定することで、著者らは、自己進化型推理と適応的報酬シェイピングに駆動されたバランスの取れた強化学習が、堅牢な法廷能力を達成するために不可欠であることを実証している。

この研究は、断片的な単一モーダル防御から、現代のディープフェイクの複雑でハイブリッドな性質を処理できる統一アプローチへと移行する、コンテンツ完全性の将来の研究のためのスケーラブルな基盤を提供する。著者らは、自らのフレームワークが未知の偽造に対する従来のモデルの汎化脆弱性を効果的に克服し、より信頼性の高いデジタル情報セキュリティへの道筋を提供していると強調している。

注：著者らは、高度な推論能力の潜在的な二重使用リスクを認識しており、データセットは厳格な申請・審査プロセスを通じて学術目的でのみ共有されると述べている。