Never Seen Before: Benchmarking Genuine Zero-Shot Composed Image Retrieval with Consistent Video-Sourced Datasets

技術要約：ZeroSight および SC4CIR

問題提起
ゼロショット構成画像検索（Zero-Shot Composed Image Retrieval: ZS-CIR）は、タスク固有の学習サンプルに依存することなく、参照画像と相対的なキャプションからなるクエリに基づいてターゲット画像を検索することを目的としています。著者らは、既存の ZS-CIR ベンチマーク（例：CIRR、CIRCO、FashionIQ）における2つの決定的な欠陥を指摘しています。

1. 不整合性（Inconsistency）： 既存のデータセットは、参照画像とターゲット画像の間で視覚的および意味的な不整合が生じていることがよくあります。これらのデータセットは、ノイズの多い、あるいは抽象的な画像コレクション（NLVR2やMS COCOなど）から構築されているため、参照画像とターゲット画像が抽象的な概念（例：「ネクタイ」）のみを共有し、視覚的な内容は大きく異なる場合があります。これにより、真の構成検索ではなく、標準的なテキスト・トゥ・イメージ技術によって解決可能なタスクになってしまいます。
2. 偽のゼロショット・シナリオ（Spurious Zero-Shot Scenarios）： ほとんどの既存データセットは、CLIPのような支配的な視覚言語モデル（VLM）の事前学習データに含まれていた公開画像ソース（例：MS COCO）を利用しています。その結果、モデルは真の「ゼロショット」ではなく、記憶された関連性を利用しており、現在の手法の能力を誇張する形で性能指標を膨らませています。

手法
これらの課題に対処するため、本論文では新しいベンチマークである ZeroSight と、トレーニングフリーの検索手法である SC4CIR を導入します。

• ZeroSight データセットの構築:

  • ソース: 従来の研究とは異なり、ZeroSight は LAION-2B のリリース後（2022年3月31日以降）に公開されたビデオからフレーム画像を抽出しています。これにより、データが CLIP の事前学習に含まれていないことを保証しています。
  • 一貫性: ビデオからフレームを抽出することで、著者らは参照・ターゲットのペアが視覚的および意味的に一貫しており、キャプションによって記述された特定の変更点のみが異なっていることを保証しています。
  • パイプライン: LLM（GPT-4oなどのモデル）を活用した多段階のパイプラインを用いてデータセットを構築しています。これには以下が含まれます：
    1. ビデオのサブセットから冗長性のない参照画像を選択する。
    2. ViT および CLIP を使用して、視覚的および意味的な類似性の閾値に基づいて候補となるターゲット画像をフィルタリングする。
    3. 参照からターゲットへの変化を記述する相対的なキャプションを生成する。
  • 規模と構造: ZeroSight は 12,048 個の多様なビデオで構成され、197,313 枚の画像と 54,740 個のクエリからなる検索プールを有しています。ユニークな点として、各クエリに対して複数の正解（ground-truth positive）ターゲットと、ハードネガティブ（ターゲットには似ているが、キャプションの基準を満たさない画像）ターゲットが含まれています。
  • クエリのカテゴリ: 以下の6つのカテゴリに分類され、特定の検索能力をテストします：追加（Addition）、除去（Subtraction）、背景変更（Background Change）、視点変更（Viewpoint Change）、属性変更（Attribute Change）、および相対的記述（Relative Statement）。

• SC4CIR (Symmetric Consistency for CIR):

  • コンセプト: マルチモーダル大規模言語モデル（MLLM）を用いた、トレーニングフリーかつプラグアンドプレイのメソッドであり、視覚的には正解に似ているが意味的に誤っている「ハードネガティブ」ターゲットを特定し、ペナルティを与えるものです。
  • メカニズム: 3つの対称的な一貫性チェックを採用しています：
    1. 順方向検索 (Forward Retrieval): $I_r + T \rightarrow I_t$ （標準的な検索）。
    2. 逆プロセス 1 (Reverse Process 1): $I_t - T \rightarrow I_r$ （候補を元の参照に戻すための逆の指示 $T'$ を生成する）。
    3. 逆プロセス 2 (Reverse Process 2): $I_t - I_r \rightarrow T$ （候補と参照の差の記述を生成し、元のキャプション $T$ と比較する）。
  • 再ランキング (Re-ranking): 最終的なスコアは、順方向の類似度と2つの逆プロセスの一貫性スコアを組み合わせたものです（$S = S_1 + S_2 + S_3$）。これにより、ハードネガティブを抑制するように結果を再ランク付けします。

主な貢献

1. ZeroSight ベンチマーク: 真のゼロショット条件（CLIP の事前学習との重複がない）を保証し、ビデオ由来のデータを通じて高い視覚的一貫性を実現した、初の ZS-CIR データセットです。また、複数の正解とハードネガティブ・ターゲットを含む最初のデータセットでもあります。
2. SC4CIR メソッド: 対称的な一貫性を検証することで、モデルの再学習を必要とせずにハードネガティブを効果的に排除し、検索性能を向上させる、新しいトレーニングフリーの MLLM 駆動型アプローチです。
3. 新しい評価指標 (PNR-mAP): 正解とハードネガティブの間のランキングを考慮する Positive-Negative Ranking mAP を提案しています。これは、ハードネガティブの存在を無視してしまう標準的な mAP の限界に対処するものです。
4. 包括的な評価: 27 の最先端手法を評価し、現在のベンチマークが結果を膨張させていることを明らかにしました。

実験結果

• ベンチマーク性能: ZeroSight における実験では、現在の ZS-CIR 手法が既存のデータセット（例：CIRCO）よりも大幅に低い性能を示すことが分かり、新しいベンチマークの難易度と妥当性が確認されました。例えば、SEIZE の mAP@5 は、CIRCO の 32.46 から ZeroSight では 16.63 へと低下しました。
• 指標の乖離: ZeroSight における手法の平均 mAP は、PNR-mAP よりも 22.93% 高くなっており、標準的な指標がハードネガティブのランキングを無視することで性能を過大評価していることを示しています。
• SC4CIR の有効性: SC4CIR を統合することで、テストされたすべての手法の性能が大幅に向上しました。トレーニングフリーの手法において、平均 PNR-mAP は 25.66% 向上しました。この手法は特に LLM ベースの ZS-CIR アプローチに対して有効であり、その性能を 9.12% 向上させました。
• 汎用性: SC4CIR は、既存のノイズの多いデータセット（CIRCO、CIRR、FashionIQ）にも適用可能であり、一貫してベースラインを上回り、ゼロショット手法を FashionIQ における学習済み CIR 手法の性能に近づけることに成功しました。

意義
本論文は、既存の ZS-CIR 研究が、真のゼロショット・シナリオを反映しておらず、視覚的一貫性に欠けるデータセットによって妨げられており、それがモデルの能力の過大評価につながっていると主張しています。ZeroSight は、厳格なデータの一貫性と真のゼロショット条件を課すことで、CIR 手法の評価における新しい標準を確立します。SC4CIR の導入は、一貫性チェックのために MLLM の推論を活用することが、追加のトレーニングなしに検索精度を大幅に向上させ得ることを示しています。著者らは、自らのベンチマークと手法が、特に微妙な視覚的差異が重要となる高精度なアプリケーションにおいて、より汎用的で堅牢な構成画像検索システムを開発するための、より信頼できる枠組みを提供すると結論付けています。