技術サマリー：OmniVL-Guard Pro

問題定義

既存の視覚言語偽造検出およびグラウンディング手法は、主にクローズドワールドパラダイムの下で動作している。これらの自己完結型マルチモーダル大規模言語モデル（MLLM）は、パラメトリックな記憶と静的な訓練コーパスのみに依存している。このアプローチは、以下の 3 つの主要な制約により、動的でオープンワールドなフォレンジックシナリオにおいて実用的な天井に直面している。

1. 有限のパラメトリック知識: モデルは訓練のカットオフ後に発生したリアルタイムな出来事を検証できず、外部の事実確認を必要とする。
2. 静的な知覚: ピクセルレベルの偽造セグメンテーションに必要な、局所的な境界、テクスチャの不連続性、または微妙なアーティファクトに対する微細な精査を行う能力が欠如している。
3. 解像度の限界: 外部のズームや切り取りツールなしで微小な操作を検出するには、ネイティブの知覚解像度が不十分である。

その結果、現在の手法は（外部の手がかりを必要とする）リアルタイム事象検証と（微細な局所検査を必要とする）偽造セグメンテーションにおいて困難に直面している。さらに、既存のアプローチは、最終的な回答が正しいにもかかわらず、推論プロセスが歪んでいるか、検証可能な証拠連鎖を欠いているという「疑似成功」パターンにしばしば陥っている。

手法

著者は、統合されたフォレンジックをクローズドワールド予測から、オープンワールドで証拠に基づく推論へと移行させるために設計された、ツール拡張エージェントOmniVL-Guard Proを提案する。このフレームワークは、専門的なツール環境と新しい訓練パイプラインを統合している。

1. ツール強化環境

エージェントは、外部知識と微細な視覚データを取得するための 7 つの特定のツールを備えた環境内で動作する。

• リアルタイム事象検索: 時間依存性の事実をウェブから検索する。
• 局所切り取りとズーム: 詳細な検査のために特定の領域を抽出・拡大する。
• エッジ異常スクリーニング: 局所的なエッジ密度、ラプラシアンエネルギー、近傍の不一致をスキャンし、疑わしい領域を特定する。
• 顔検出: 肖像画の検査のために顔のバウンディングボックスを特定する。
• 動画フレーム抽出: 画像レベルの分析のために特定の時間セグメントからフレームを抽出する。
• SAM3 セグメンテーション: プロンプト（ボックス、点）に基づいてピクセルレベルのマスクを生成する。

2. データ構築：木構造自己進化型ツール軌道生成

エージェントを訓練するために、著者は**フルスペクトルツール推論（FSTR）**データセットを構築する。彼らは、「自由な探索は低品質なデータを生み出し、正解の注入は事後バイアスを引き起こす」という「効率とバイアスのジレンマ」を、以下の 4 段階のプロセスを通じて解決する。

• シードガイダンス: MLLM 専門家プール（Explorer と Guider）を使用して木構造探索を行う。Guider は正解に対してステップを検証し、無効な枝を剪定する。
• ガイダーフリー自己進化拡張: 方針（ポリシー）は、回答を認識するガイダンスなしにツール環境を自律的に探索し、反復的なロールアウトを通じてデータセットを拡張する。
• 弱ヒント付きハード軌道合成: 自己進化に失敗するロングテールの困難なサンプルに対して、Guider は回答を明かすことなく、Explorer を導くために弱ヒント（粗い領域やキーワードなど）を提供する。その後、Refinerが推論を書き換え、明示的なヒントの痕跡を排除し、最終的な軌道が自律的であるようにする。
• データセット構成: 生成された FSTR データセットには、コールドスタート用教師あり微調整（SFT）用の $FSTR_{sft}$（69,323 サンプル）と、強化学習（RL）用の $FSTR_{rl}$（81,087 サンプル）が含まれる。

3. 訓練戦略：チェッカーガイド型エージェント強化学習（CGARL）

訓練は、回答の正しさと推論の一貫性の両方を保証するために、3 段階のプロセスに従う。

• ステージ I（結果駆動型 RL）: モデルは $FSTR_{sft}$ 上で SFT を経て訓練され、その後、ARSPO を用いて $FSTR_{rl}$ のサブセット上で結果レベルの RL が行われる。これにより、ツールを呼び出し正解を生成できる方策（$\pi_{ans}$）が得られる。
• ステージ II（チェッカー構築）: チェッカーモデルが蒸留を通じて訓練される。これは $\pi_{ans}$ によって生成されたツール軌道を評価し、内部的一貫性、ツールの使用の妥当性、証拠の十分性に基づいて離散スコア（$s \in \{0, 0.5, 1\}$）を割り当てる。これにより、「疑似成功」パターンが明示的に罰せられる。
• ステージ III（プロセス監督型 RL）: メインの方策は、残りの $FSTR_{rl}$ 上でチェッカーガイド型の RL を受ける。報酬関数は、回答の正しさとチェッカーのプロセススコア（$s_{proc}$）およびツール使用効率報酬を組み合わせる。これにより、モデルは整合性があり、証拠と一貫した推論軌道を生成することが促される。

主要な貢献

1. OmniVL-Guard Pro: テキスト、画像、動画のモダリティにわたる偽造検出、グラウンディング、セグメンテーションを統合し、リアルタイム事象検証と微細なセグメンテーションをサポートする、オープンワールドでツール拡張されたエージェント。
2. FSTR データセット: 事後バイアスを軽減する新しい自己進化型フレームワークを通じて構築された、高忠実度のツール検索軌道（$FSTR_{sft}$）と RL 訓練データ（$FSTR_{rl}$）からなる包括的なデータセット。
3. チェッカーガイド型エージェント RL（CGARL）: 推論プロセスが最終判断と整合していることを保証するためにプロセスレベルの監督を導入する訓練パラダイム。「回答は正しいがプロセスは歪んでいる」という失敗モードを効果的に解決する。
4. RealFact ベンチマーク: 2025 年 1 月から 2026 年 3 月までの出来事を網羅するリアルタイム事象検証用の新しいベンチマーク。パラメトリックな記憶を超えた能力をテストするように設計されている。

実験結果

モデルは、ISOT、CASIA2.0、MMFakeBench、FakeTT、IMD などのドメイン内およびドメイン外（OOD）ベンチマークで評価された。

• ドメイン内性能: OmniVL-Guard Pro はすべてのタスクで最先端（SOTA）の性能を達成した。以前の最高性能（OmniVL-Guard）との顕著な改善点は以下の通り。
  • RealFact 検証: 精度が +30.71% 向上。
  • セグメンテーション（Dice）: +25.77% 向上。
  • テキスト - 画像局所化: +30.71% 向上。
• ゼロショット汎化: モデルは強力な OOD 性能を示し、未見のデータセットにおいて一般 MLLM（例：Qwen3VL-235B）やドメイン固有のベースラインを上回った。例えば、微調整なしでテキスト - 画像タスクで 81.74% の精度、セグメンテーションタスクで 42.93% の Dice を達成した。
• アブレーション研究:
  • チェッカーまたは RL ステージを除去すると、性能が大幅に低下し、プロセス監督の必要性が確認された。
  • 特定のツール（例：検索、動画フレーム抽出）を除去すると、対応するタスクで著しい劣化が発生した（例：検索なしでは RealFact 精度が 86.5% から 62.3% に低下）。
  • 弱ヒント付きハード軌道合成は決定的であり、これを除去するとテキスト局所化で最大 9.63% の性能低下を招いた。

意義と主張

本論文は、OmniVL-Guard Pro が、クローズドワールド予測からオープンワールドの証拠に基づく推論へと移行する、視覚言語フォレンジックにおけるパラダイムシフトを表していると主張している。外部ツールを統合し、CGARL を通じてプロセスレベルの一貫性を強制することで、このモデルはパラメトリックな知識と静的な知覚の内在的な限界を超えている。著者は、このアプローチが単に最先端の性能を達成するだけでなく、動的な世界におけるリアルタイム事象の検証と微細な操作の局所化のための堅牢なフレームワークを確立すると述べている。この研究は、単にモデルサイズをスケーリングするだけでは不十分であり、モデルに外部証拠を積極的に探し出し、精査し、推論する能力を備えさせることが、フォレンジック能力を進展させる鍵であると強調している。