FlowCIR: Semantic Transport via Flow Matching for Zero-Shot Composed Image Retrieval

技術要約: FlowCIR

問題提起
Zero-Shot Composed Image Retrieval (ZS-CIR) は、ドメイン固有のアノテーション付きトリプレットに依存することなく、参照画像（reference image）を自然言語の指示に基づいて編集することで、ターゲット画像を検索することを目的としています。既存の ZS-CIR 手法は、主にテキスト反転（textual inversion）に依存しています。これは、参照画像を少数の擬似テキストトークンへと変換し、それらをテキスト埋め込み空間内で指示と結合する手法です。著者らは、このアプローチは、豊かな視覚情報を少数のトークンに圧縮することで必然的に視覚的な手がかりを破棄してしまうため、微細なセマンティクスに対して情報欠落があり、脆弱である（lossy and brittle）と主張しています。さらに、効果的な反転プロジェクターを学習するには、膨大な計算リソース（例：ウェブ規模のデータを用いたマルチGPUでの学習）が必要となることが少なくありません。加えて、CLIP のような Vision-Language Models (VLMs) は否定（negation）（例：「犬はいない（no dog）」や「ストライプを取り除く（remove stripes）」）の処理に苦慮します。これは、肯定的な概念と否定された概念が埋め込み空間内で幾何学的に崩壊（collapse）し、否定の多いクエリにおける検索失敗を引き起こす原因となります。

手法: FlowCIR
本論文では、ZS-CIR を、学習済み VLM の埋め込み空間内における**条件付きセマンティック輸送（conditional semantic transport）**として再定義する新しいパラダイム、FlowCIR を提案しています。

1. Flow Matching による条件付きセマンティック輸送:
   静的なトークン操作の代わりに、FlowCIR は構成（composition）を連続的な輸送問題として扱います。本手法は、参照画像の埋め込み ($x_{Ir}$) に条件付けられた状態で、相対的な指示の埋め込み ($x_{Tr}$) をターゲットに整合したテキスト埋め込み ($x_{Tt}$) へとマッピングする、軽量な条件付き速度場（conditional velocity field）（ニューラル ODE）を学習します。

   • 学習: モデルは、合成されたトリプレットを用いて Conditional Flow Matching (CFM) により学習されます。予測された速度場と、線形経路に沿った真の定数速度 ($x_{Tt} - x_{Tr}$) との間の回帰損失を最小化します。
   • 検索目的関数: 予測されたターゲット・テキスト埋め込みが、真のターゲット画像埋め込みと一致するように、対照的な検索損失（InfoNCE）が追加されます。ここでは、識別能を鋭敏にするために、バッチからマイニングされたトップ-$K$ のハードネガティブが使用されます。
   • 効率性: モデルは、事前抽出された VLM 埋め込み上で動作し、画像やテキストのエンコーダーを更新することなく、小さな輸送モジュール（深い残差 MLP）のみを学習します。これにより、単一の GPU で約 0.5 時間での学習が可能になります。

2. マルチネガティブ・ステアリング（推論時のみ）:
   VLMs における否定の幾何学的曖昧さに対処するため、著者らは推論時のみ適用される戦略を提案しています。

   • メカニズム: 否定を含む指示（例：「X を取り除く」）を受け取ると、軽量なパーサーが指示を「肯定的な意図」と「否定された概念」に分解します。
   • ステアリング: この手法は、肯定的な意図とは整合性を保ちつつ、否定された概念の幾何学的方向（ハイパースフィア・キャップとしてモデル化）から明示的に反発する、ステアリングされた指示埋め込みを構築します。これにより、輸送プロセスが始まる前に、CLIP 空間でよく見られる「否定による崩壊（negated collapse）」から表現を遠ざけます。

主な貢献

1. FlowCIR パラダイム: 静的なテキスト反転に代わる、連続的な参照ガイド付きの構成プロセスとして、ゼロショット CIR のためのメカニズムである、フロー・マッチングを用いた条件付きセマンティック輸送を導入しました。
2. マルチネガティブ・ステアリング: VLM が否定や除去の指示を扱う際の失敗モードを緩和するための、推論時のみの戦略を提案し、否定の多いクエリに対する堅牢性を大幅に向上させました。
3. 学習の効率性: 軽量な輸送モジュールのみを用い、単一 GPU で約 0.5 時間の学習で競争力のある性能を達成できる、計算効率の高い学習プロトコルを実証しました。これは、数日間にわたるマルチ GPU 要件を持つ従来の反転ベースの手法とは対照的です。

実験結果
CLIP ViT-B/32 および ViT-L/14 バックボーンを用い、3 つの標準的なベンチマーク（CIRR、CIRCO、Fashion-IQ）において広範な実験が行われました。

• 性能: FlowCIR は強力かつ競争力のある性能を発揮し、従来のテキスト反転ベースの手法（SEARLE, Pic2Word など）や生成ベースの手法（Compo-Diff など）をしばしば上回ります。
  • CIRR (ViT-L/14) では、従来の公開データによるベスト・ベースラインに対し、Recall@1 を 2.3% 向上させました。
  • CIRCO (ViT-L/14) では、mAP@5 を 14.6% 向上させました（13.0 から 14.9 へ）。
  • Fashion-IQ では、最高の平均 Recall@10 を達成し、最高の Recall@50 と同等の性能を示しました。
• 効率性: 論文内の性能対コストの分析に示されている通り、FlowCIR は、数百の GPU 時間や大規模な TPU クラスターを必要とするベースラインと比較して、極めて短い学習時間（単一の RTX 3090 で 0.5 時間）でトップクラスの性能を達成しています。
• アブレーション研究:
  • Conditional Flow Matching が性能の主要な推進力であることが特定され、構成をセマンティック輸送としてモデル化することが、直接的な回帰やテキストのみのベースラインよりも優れていることが証明されました。
  • Multi-Negative Steering は、特に否定の多いクエリにおいて、一貫した補完的な利点を提供します。
  • ターゲット空間: （画像埋め込みではなく）ターゲット・テキスト埋め込みに向けて輸送を行う方が、よりセマンティクス中心の信号と均質なマッピングが得られるため、より良い結果をもたらします。

意義と主張
本論文は、FlowCIR が、テキスト反転の落とし穴や生成的手法の高いコストを回避する、クロスモーダル構成のための原理的かつ学習効率の高いメカニズムを提供すると主張しています。CIR を条件付きセマンティック輸送として定式化することで、本手法は微細なセマンティクスをより良く保持し、進行的で参照ガイド付きの構成プロセスを可能にします。著者らは、本研究を、静的な構成を超えたクロスモーダル検索のための新しいパラダイムへの一歩として位置づけており、フローベースの手法が最小限の計算オーバーヘッドで高い精度を実現できることを強調しています。Multi-Negative Steering 戦略は、CLIP スタイルのモデルにおける既知の弱点に対する実用的な解決策として提示されており、追加の学習データやモデルの更新を必要とせずに、検索の忠実度を向上させます。