Show, Don't Ask: Generative Visual Disambiguation for Composed Image Retrieval with Turn-Valid Coverage

技術要約：構成画像検索（CIR）のためのCLARA

問題提起
構成画像検索（Composed Image Retrieval: CIR）は、参照画像と修正テキスト（例：「これに似た服装だが、よりフォーマルなもの」）を用いてコーパスを検索することを可能にする。現在のシステムは通常、クエリが単一のターゲット画像にマッピングされることを前提とし、単一のアノテーションに対するRecall@Kによって評価される。しかし、著者らはこの仮定には欠陥があると主張している。構成されたクエリは、単一の画像を特定するのではなく、むしろ「コーパス内の領域」を定義することがほとんどであり、ユーザーが意図する特定のメンバーはクエリだけでは決定できないためである。

この曖昧さを解決しようとする最近の試みは、リトリーバーをコンフォーマル予測層で包み込み、残存する不確実性を解消するためのテキストによる質問を用いて、保証された被覆確率を持つ候補集合を返すものである。著者らは、既存のアプローチにおける2つの決定的な失敗を特定している：

1. 被覆保証の喪失： コンフォーマル被覆の保証は、データの交換可能性に依存している。システムが適応的に質問を行い、その回答に基づいて自身の信念を更新する場合、**フィードバック共変量シフト（feedback covariate shift）**を誘発する。元の較正閾値を更新された信念に再適用すると、被覆保証が無効になり、最初のターンの後、実際の被覆率は公称レベルを大幅に下回る。
2. 非効率かつ循環的な明確化： テキストによる質問は、微細な視覚的差異（視点、質感、スタイルなど）を伝えるための低帯域幅なチャネルである。さらに、現在のテキストベースのポリシーは、質問を選択するためにマルチモーダルモデルを使用してユーザーの回答を予測しており、これはモデルが質問と回答の両方を行うことで、実際のユーザーではなくシミュレータに対して最適化されてしまうという循環的な評価を生み出している。

手法：CLARA
著者らは、テキストベースの質問を生成的な視覚的曖昧さ回避に置き換え、かつインタラクションの各ラウンドにおいて数学的に有効な被覆保証を維持するフレームワークであるCLARA（CLArification by Rendering Alternatives）を提案する。

1. 較正された信念とコンフォーマル集合：
   システムは、クエリとインタラクション履歴に条件付けられた、コーパス上の信念分布 $p(I|q, h_m)$ を保持する。これは適応型コンフォーマル予測を用いて、真のターゲットが集合 $C$ に含まれる確率が少なくとも $1-\alpha$ となるような候補集合を生成する。この集合のサイズは、曖昧さの直接的な尺度として機能する。

2. 生成的な視覚的曖昧さ回避（「聞く」のではなく「見せる」）：
   候補集合が大きすぎる場合（高い曖昧さを示す場合）、CLARAはテキストによる質問を行わない。代わりに以下を行う：

   • モード分割（Mode Partitioning）： 候補集合を、解釈可能な曖昧さの軸（保持された属性、変化した属性、視点、背景）に基づいて $k$ 個のモードにクラスタリングする。
   • カバーのための生成（Generate-to-Cover）： サブモジュラーな被覆多様性目的関数を最大化するようにモードのサブセットを選択し、冗長性を排除しながら、パネルが信念空間全体を代表するようにする。
   • レンダリングとスナップ（Rendering and Snapping）： 条件付き拡散モデルを用いて、各選択されたモードのプロトタイプ画像をレンダリングする。極めて重要な点として、各レンダリングされたプロトタイプは、最も近い実際のコーパスのエグゼンプラー（モードのメドイド）に「スナップ（固定）」される。ユーザーはレンダリングされた画像を見るが、選択するのは実際のコーパスのサブセットである。これにより、生成によるアーティファクトが予測集合を膨張させたり、被覆保証を損なったりすることを防ぐ。
   • ユーザーインタラクション： ユーザーは単に、自身の意図に最も近いプロトタイプを選択する。これは、高帯域幅でモデルフリーな信号を提供する。

3. 選択による重み付けによるターン有効な被覆：
   ユーザーの選択によって引き起こされるフィードバック共変量シフトに対処するため、CLARAは各明確化ラウンドを、クエリ分布における明示的なシフトとして扱う。

   • ユーザーの選択履歴と選択モデル $\pi$ に基づいて、尤度比の重み $w_m$ を計算する。
   • **重み付き分割コンフォーマル予測（weighted split conformal prediction）**を適用し、較正時の非適合度スコアを再重み付けする。
   • 命題1は、この再重み付けを行うことで、最初のターンだけでなく、確定されたすべてのラウンドにおいて被覆保証（$Pr(IT \in C) \geq 1-\alpha$）が保持されることを証明している。

4. 信念の更新：
   ユーザーの選択が行われると、信念は、ソフトなメンバーシップ尤度（誤った選択によって真のターゲットが破棄されるのを防ぐために下限を設定）を前の信念に掛け合わせ、選択されたモードをテキストクエリに追加する論理的な再重み付けを通じて更新される。

主な貢献

• フィードバック共変量シフトの特定： 本論文は、適応的な選択によって標準的なインタラクティブ・コンフォーマル予測が最初のターンの後に失敗することを実証し、選択による再重み付けされたコンフォーマル予測によってこれを修正するための理論的フレームワークを提案している。
• 生成的な視覚的曖昧さ回避： CLARAは、テキストによる質問を、候補モードのレンダリングによる視覚的な提示に置き換える。これにより、「回答モデル」の循環性を排除し、微細な区別のための高帯域幅な視覚信号を活用できる。
• ターン有効な保証： 著者らは、重み付きコンフォーマルアプローチを用いることで、すべてのインタラクションラウンドにおいて公称の被覆保証が維持されることを証明している。
• AmbiCIR-V： オープンドメインとファッションのベンチマークを統合し、被覆率（coverage-through-turns）や曖昧さの軸のアノテーションを含む視覚的明確化の指標を備えた、新しい評価プロトコルおよびデータセット拡張。

結果
実験は、オープンドメイン（CIRR）、マルチポジティブ（CIRCO）、およびファッション（FashionIQ）のベンチマークで行われた。

• シングルターン性能： CLARAは、最先端のシングルターン手法と統計的に同等であり、精密なクエリに対して解決レイヤーがコストフリーであることを確認している。
• 被覆の安定性： 「ナイーブな」インタラクティブ・コンフォーマル手法が、3ラウンド目までに公称被覆率を最大10ポイント下回るまで低下するのに対し、CLARAはすべてのラウンドと曖昧さの軸において、公称被覆率（約90%）を維持している。
• インタラクションの効率性： CLARAは、最強のテキスト質問ポリシー（EIG-TEXT）よりも少ないラウンドでターゲットに到達する。この優位性は、視点や属性の曖昧さにおいて最も顕著であり、視覚的な選択がテキストによる質問を上回ることを示している。
• ヒューマンスタディ： 30人の参加者を対象とした調査により、実際のユーザーはテキストによる質問よりも視覚的なパネルを好み、より少ないターン数で高い成功率を達成することが確認され、シミュレーション結果の妥当性が示された。
• 堅牢性： システムは、ユーザーのミス（ソフトな尤度更新）や敵対的な選択に対しても堅牢であり、被蓋率が壊滅的に崩壊することなく、緩やかに低下する。

意義と主張
本論文は、CIRを「一つのクエリ、一つのターゲット」というタスクから、「較正された意図の解決（calibrated intent resolution）」の問題へと再定義することで、この分野を進展させたと主張している。その意義は以下の点にある：

1. 理論的厳密性： インタラクティブなリトリーバルがフィードバック共変量シフトの問題であることを確立し、インタラクションの各ターンにおいて有効な被覆を保証する最初の手法を提供したこと。
2. 実用的な使いやすさ： 「聞く」（テキスト）よりも「見せる」（視覚的レンダリング）方が、視覚的な曖昧さを解決するための優れたチャネルであることを示し、複雑で偏りの生じやすい回答モデルの必要性を排除したこと。
3. 忠実な合成： 視覚化のために生成モデルを使用しながら、リトリーブシステムの統計的保証を損なわない「スナップ・トゥ・コーパス（実体への固定）」メカニズムを導入したこと。

著者らは、リトリーバルを、曖昧さを測定し、自信があるときはコミットし、そうでないときは代替案を示すという、視覚的にインタラクティブで較正されたプロセスとして扱うことが、現在のシングルターン型の仮定を超えるために必要なステップであると結論付けている。