💻 computer science

PROVE: A Perceptual RemOVal cohErence Benchmark for Visual Media

本論文は、既存の評価手法の限界を克服し、人間の判断とより整合性の取れた視覚メディアにおける物体除去の整合性をより正確に評価するための、知覚整合型 RC-S および RC-T 指標と PROVE-Bench データセットからなる PROVE フレームワークを提案する。

原著者： Fuhao Li, Shaofeng You, Jiagao Hu, Yu Liu, Yuxuan Chen, Zepeng Wang, Fei Wang, Daiguo Zhou, Jian Luan

公開日 2026-05-15

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Fuhao Li, Shaofeng You, Jiagao Hu, Yu Liu, Yuxuan Chen, Zepeng Wang, Fei Wang, Daiguo Zhou, Jian Luan

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたがグループ写真から写真に写り込んだ邪魔な人物を削除するために雇われた写真編集者だと想像してください。あなたは素晴らしい仕事をしました。人物は消え、背景は自然に見えます。しかし、あなたの編集が実際に「優れている」かどうかをどうやって知るのでしょうか？

これが論文PROVEが取り組む問題です。著者らは、これらの編集を評価するために現在使われているツールは、スープの味を定規で測るようなものであり、間違ったものを見ていると主張しています。

以下に、彼らの解決策を簡単なアナロジーを用いて解説します。

1. 問題：「コピペ」と「ぼかし」の罠

論文は、既存の評価ツール（メトリクス）が2つの重大な過ちを犯していると説明しています。

「コピペ」の罠（フルリファレンスメトリクス）： 教師が生徒の論文を、模範解答と一字一句比較して採点すると想像してください。もし生徒が模範解答を完璧にコピーすれば、たとえその論文が退屈なものでもA評価になります。
- 画像編集において、古いツールは、実際に対象物を「消去」して新しい現実的な背景を「創造する」のではなく、元の写真から背景を単に「コピペ」するモデルに報酬を与えます。彼らは、創造的で現実的なものよりも、安全で退屈な答えを好みます。
「ぼやけは綺麗」の罠（ノーリファレンスメトリクス）： ぼやけた写真の方が鮮明な写真よりも優れていると考える審査員を想像してください。なぜなら、ぼかしは間違いを隠すからです。
- 現在のツールは、ぼかしが物を「滑らか」で均一に見せるため、ぼやけた結果に高いスコアを与えることが多いです。それらは、画像が実際には低品質であること、あるいは対象物の削除が奇妙なアーティファクト（不自然な痕跡）を生み出したことに気づきません。

動画の問題： 動画を編集する際、既存のツールは画面「全体」を見ます。背景は安定しているが、対象物を削除した場所が激しく点滅している場合、ツールの残りの部分は問題ないため、高いスコアを与えるかもしれません。これは、10ページの論文を採点する教師が、最初の1ページだけを読んで残りを無視しているようなものです。

2. 解決策：「スポットライト」アプローチ（RC メトリクス）

著者らは、編集を評価する新しい方法として**RC（Removal Coherence：削除の整合性）**を提案しています。画像全体を見たり、完璧な参照と比較したりする代わりに、彼らは「スライドするスポットライト」を使用して、対象物が削除された特定の領域にズームインします。

彼らには2つの主要なツールがあります。

RC-S（空間的整合性）： これはテクスチャ探偵のようなものです。対象物がいた穴にズームインし、「ここにある新しい背景は、周囲の地域と似ていますか？」と問います。
- 拡大鏡のようなスライドウィンドウを使用して、編集された周囲の領域のテクスチャ、照明、パターンが一致しているかを確認します。新しい背景が異なるテクスチャのように見えるか、またはぼやけすぎている場合、スコアは低下します。
RC-T（時間的整合性）： これは動画の安定性検査員です。連続する2つのフレームで同じ場所を見ます。
- 「動画が再生されるにつれて、この場所は跳ね回ったり点滅したりしますか？」と問います。削除された領域の背景がフレームごとに揺れたり奇妙に変化したりする場合、このメトリクスはそれを検知します。動画の残りの部分が滑らかであってもです。

秘密の調味料： 彼らは、人間の目が微妙な視覚的な不自然さに敏感であるのと同様に、微細な詳細や周波数の変化に非常に敏感な特別な「脳」（DINOv2 という特徴量抽出器）を使用します。

3. 新しいプレイグラウンド：PROVE-Bench

彼らの新しい評価システムが機能することを証明するために、彼らはPROVE-Benchと呼ばれる新しいテスト環境を構築しました。彼らは、古いテストセットが以下のいずれかであることに気づきました。

あまりにも非現実的： 現実生活のように見えないコンピュータ生成の動画。
評価が難しすぎる： 「完璧な」背景がどのように見えるべきか分からない現実の動画。

彼らの新しいベンチマークには2つの部分があります。

PROVE-M（制御された実験室）： 彼らは実際のシーンを撮影し、対象物を削除し、対象物なしでシーンを再度撮影しました。これにより、比較対象となる「完璧な」正解（グラウンドトゥルース）が得られますが、実際の手持ち撮影のような感覚を与えるために、シミュレートされたカメラの揺れを追加しました。
PROVE-H（ストレステスト）： 完璧な参照を持っていない100の困難な現実世界の動画（群衆、高速運動、反射）のコレクションです。これは、モデルが混沌とした状況に対処できるかをテストします。

4. 結果

彼らが新しい「スポットライト」評価システムを古いツールと比較してテストしたとき：

古いツールは、しばしばぼやけたコピペの結果に高いスコアを与えたり、動画の点滅を見逃したりしました。
**PROVE（RC-S および RC-T）**は、実際の人間が何が良いと考えるかと非常に良く一致しました。人間が「あれは不自然だ」と言った場合、新しいメトリクスも同意しました。人間が「あれは素晴らしい」と言った場合、新しいメトリクスも同意しました。

まとめ

この論文は、対象物の削除を評価するには、画像全体を見たり、完璧な参照と比較したりするのをやめる必要があると主張しています。その代わりに、編集された領域にズームインして、それが周囲の隣人（空間的）と調和しているか、時間的（時間的）に安定しているかを確認する必要があります。彼らは、この「ズームイン」アプローチが人間の知覚に一致する評価を得る唯一の方法であることを証明するために、新しいツールのセットと新しいテスト環境を構築しました。

技術的サマリー：PROVE：視覚メディアのための知覚的除去整合性ベンチマーク

1. 問題定義

画像および動画における物体除去は、本質的に不適切な問題（ill-posed problem）であり、1 つの消去領域に対して複数の知覚的に妥当な復元が存在しうる「1 対多」の問題である。したがって、一意のグランドトラウト（GT）を定義することはしばしば不可能である。この特性は、従来の評価プロトコルを弱体化させる。

フルリファレンス（FR）メトリクス: PSNR、SSIM、LPIPS などのメトリクスは、単一のリファレンスへの厳密な点対点対応を前提としている。これらは、真の知覚的に現実的な消去よりも、「コピー＆ペースト」的な振る舞い（背景を保持する保守的な出力）を過剰に評価する傾向がある。さらに、これらは「回帰平均」バイアスに悩まされており、拡散推論ステップを減らす（視覚品質を低下させる）ことで、ピクセル分散の減少によりスコアが逆説的に向上してしまう。
ノーリファレンス（NR）メトリクス: ReMOVE や CFD のような手法は GT を必要としないが、体系的なバイアスを示す。これらはしばしばぼやけた出力に過大なスコアを割り当てる（「ぼやけは清潔である」というバイアス）一方で、複雑な遮蔽シナリオにおいて構造的に健全な復元を誤って罰する。
時空間メトリクス: 既存の動画メトリクス（例：時空間整合性、時空間フリッカリング）は、グローバルなフレームレベルの特徴に基づいて動作する。除去された領域は通常、フレームのごく一部しか占めないため、これらのグローバル集約は、編集された領域内の局所的な時空間アーティファクトを希釈するか、完全に隠蔽してしまう。

さらに、既存のベンチマークは、現実世界の真正性とペアリングされたリファレンス動画の両方を兼ね備えていない。合成データセット（例：ROSE-Bench）は正確なマスクを提供するが、現実世界の複雑さ欠如しており、一方、現実世界のデータセット（例：DAVIS）は、制御された定量的比較のためのペアリングされたターゲットフリー動画が欠けている。

2. 手法

2.1 RC メトリクス（除去整合性）

著者は、深層意味特徴空間における統合された局所分布マッチングフレームワークであるRCを提案する。これは、2 つの相補的なメトリクスとして具体化される。

RC-S（空間整合性）: 単一フレーム内において、復元されたコンテンツとその周囲の背景との間の局所的な一貫性を測定する。
- プロセス: 対象領域を拡張されたコンテキストとともに切り取る。DINOv2を用いて深層特徴を抽出する。特徴マップ上にスライディングウィンドウを適用する。
- メカニズム: 各ウィンドウ内で、マスクされた（復元された）領域の特徴分布を、マスクされていない（背景）領域と比較するために、二乗**最大平均不一致（MMD）**を使用する。
- 根拠: この局所的な比較は、グローバル集約が見逃す空間的不整合を検出する。分布のシフト（例：ぼやけ）に対する感度が高いため、コサイン類似度ではなく MMD が選択される。
RC-T（時空間整合性）: 隣接フレーム間における復元領域の安定性を測定する。
- プロセス: 隣接するフレームに対して、それらのマスクの和集合を用いて共通の評価領域を定義する。両方のフレームを同期して切り取る。
- メカニズム: このメトリクスは、2 つのフレームにわたる復元領域の共通部分に焦点を当てる。これらの共通領域の特徴分布を MMD を使用して比較する。
- 根拠: 評価を共有された復元領域に制限することで、変化しない背景領域による希釈効果を回避し、局所的な時空間フリッカリングの感度ある検出を可能にする。

2.2 PROVE-Bench

厳密な評価を支援するために、著者はPROVE-Benchを導入する。これは 2 段階のベンチマークスイートである。

PROVE-M（モーション増強ペア）: 現実世界のペアリングされた録画（入力動画、マスク、ターゲットフリーのグランドトラウト）からなる 80 動画データセットである。静的なラボ撮影と実際のユーザー動画の間のギャップを埋めるため、これらのペアは、手持ちカメラの不安定性をシミュレートするために、パン、ズーム、シェイクなどのモーション増強（ケン・バーンズスタイルの幾何学的変換）を受ける。
PROVE-H（ハード無制約）: グランドトラウトを持たない 100 動画データセットであり、モデルの汎化能力をストレステストするために設計されている。これは、群衆、高速運動、複雑な反射、および高度にテクスチャされた背景を含む極端なシナリオを対象としている。マスクは実用的な不完全性を反映するように自動生成される（SAM3）。

3. 主要な貢献

体系的な診断: 本論文は、既存のメトリクスにおける失敗モードの厳密な実証分析を提供し、FR メトリクスにおける「コピー＆ペースト」優先、NR メトリクスにおける「ぼやけ推奨」、およびグローバル時空間メトリクスにおける領域非感応性といった特定のバイアスを特定する。
RC メトリクス: 局所的な空間整合性と時空間整合性を定量化するために、スライディングウィンドウ分布マッチングフレームワーク（DINOv2 + MMD）を利用する RC-S と RC-T の提案。これらのメトリクスは、既存のプロトコルよりも人間の評価と大幅に強い整合性を達成する。
PROVE-Bench: モーション増強を伴う現実世界のペアデータセット（PROVE-M）と、困難なグランドトラウトフリーのサブセット（PROVE-H）を組み合わせたユニークなベンチマークスイートの構築。これは、現在のデータセットにおける「現実性」と「評価可能性」のジレンマに対処する。

4. 実験結果

多様な画像（RORD-Val、OBER-Wild）および動画（DAVIS、ROSE-Bench、PROVE-Bench）ベンチマークにおいて、広範な実験が行われた。

人間との相関: RC-S は、6 つのベンチマーク全体で人間によるランキング（ケンダルの $\tau$ およびスピアマンの $\rho$ ）との最も高い相関を達成し、FR メトリクス（PSNR、SSIM、LPIPS）、NR メトリクス（ReMOVE、CFD）、およびグローバル時空間メトリクスを上回った。特に、RC-S は 6 つのベンチマークのうち 5 つで 1 位を獲得した。
感度分析:
- ぼやけ感度: ぼやけ強度が増加するにつれてスコアが増加する傾向があった ReMOVE や CFD と異なり、RC-S は正しくスコアを単調に減少させ、「ぼやけは清潔である」というバイアスに対する耐性を示した。
- 時空間感度: ランダムなフレームのドロップと置換を含む感度テストにおいて、RC-T は汚染が増加するにつれてスコアが単調に低下することを示した。一方、TC と TF はほとんど感応しなかったか、むしろ向上さえしており、局所的な時空間アーティファクトを検出できないことを確認した。
アブレーション研究: 著者は、DINOv2（知覚的に敏感な特徴用）、スライディングウィンドウ（局所性用）、およびMMD（分布の不一致用）の組み合わせが重要であることを検証した。いずれかのコンポーネントを削除する（例：コサイン類似度やグローバル集約を使用する）ことは、人間の評価との相関を大幅に低下させた。
ベンチマークの難易度: PROVE-M 上での実験により、シミュレートされたカメラモーションの導入が、最先端のすべてのモデルにおいて一貫して有意な性能低下を引き起こすことが明らかになり、モーションを考慮した評価の必要性が浮き彫りになった。

5. 意義と主張

本論文は、PROVE が物体除去手法の有効性と失敗モードを評価するためのより信頼性の高い基盤を提供すると主張している。「単一のリファレンスへの忠実度」から「コンテキストおよび時間との知覚的整合性」へと評価パラダイムを転換することで、このフレームワークは、現在のメトリクスとタスクの 1 対多の性質との間の根本的なミスマッチに対処する。

著者は、自らの仕事が標準化されたベンチマーキングの実用的な基盤として機能し、RC メトリクスと PROVE-Bench が相互に補完し合い、厳密な定量的比較（PROVE-M 経由）と、無制約の現実世界の条件下でのストレステスト（PROVE-H 経由）の両方を支援する統合フレームワークを提供すると述べている。コードとデータセットは、コミュニティでの採用を促進するために公開されている。