💻 computer science

CIRCLED: A Multi-turn CIR Dataset with Consistent Dialogues across Domains

本論文は、既存のファッションに限定されたデータセットの限界を、対話の一貫性を確保し将来の研究のための堅牢なベンチマークを提供することで克服する、9 つのドメインにまたがる大規模かつ高品質なマルチターン合成画像検索（MTCIR）データセットである CIRCLED を紹介する。

原著者： Tomohisa Takeda, Yu-Chieh Lin, Yuji Nozawa, Youyang Ng, Osamu Torii, Yusuke Matsui

公開日 2026-05-27

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Tomohisa Takeda, Yu-Chieh Lin, Yuji Nozawa, Youyang Ng, Osamu Torii, Yusuke Matsui

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

巨大で果てしないデパートで特定の服装を見つけようとしていると想像してください。しかし、それを一言で完璧に説明することはできません。「赤いドレス」が欲しいと分かっていますが、結果を見ると、「いや、これは明るすぎる。もっと暗い色で、長袖、そしてたぶんベルト付きがいい」と考えます。

コンピュータサイエンスの世界では、これをマルチターン合成画像検索（CIR）と呼びます。これは、画像とテキストの説明から始め、必要なものが完全に見つかるまで、ターンごとに検索を洗練させていくシステムです。

この論文では、このような検索のためのより良いシステムを研究者が構築できるよう支援する、CIRCLEDという新しいツールを紹介しています。ここでは、彼らが何を行ったかを簡単な比喩を用いて解説します。

問題：「壊れた地図」

この論文以前、研究者たちはMulti-turn FashionIQというデータセット（練習問題の集合）を持っていました。しかし、著者たちはこの古いデータセットが壊れた地図のようだったと言います。

問題点：古いデータセットでは、答えを見つけるまでの手順が常に論理的ではありませんでした。「黒いドレス」を探していると想像してください。
- ターン 1：「赤いドレス」を求めます。
- ターン 2：システムが「カラフルなパーティードレス」を表示します。
- ターン 3：「黒いドレス」を求めます。
- 不具合：古いデータセットには、検索が実際には目標から遠ざかるステップや、意味のない繰り返し指示（例：「赤くして」と 3 回連続で言うなど）が含まれることがありました。まるで目的地に近づくことなく、「北へ進め、次に南へ、そして再び北へ」と指示する GPS のようなものです。
限界：古いデータセットは衣類（ファッション）のみを対象としていました。システムが犬や車、風景を見つけられるかどうかはテストされていませんでした。

解決策：CIRCLED（「完璧なコンパス」）

著者たちは、CIRCLEDという新しいデータセットを構築しました。これは完璧なコンパスとして機能します。

一貫した進展：CIRCLED では、会話のすべてのステップがターゲットに近づきます。「黒いドレス」が目標であれば、各ターンで黒いドレスにわずかに近づき、決して遠ざかることはありません。
新しい情報：話すたびに、何か新しいものが追加されます。自分自身を繰り返すことはありません。まるで探偵が証拠を集めるように、「まず、それは犬です。次に、それはゴールデンレトリバーです。さらに、赤い首輪をしています」というように、各証拠が価値を追加します。
広範な視野：彼らは衣類に留まりませんでした。データセットを CIRR や CIRCO データセットにあるような一般のアイテムにも拡張し、システムがファッションだけでなく、あらゆるものを検索できるようにしました。

構築方法：「ロボットショップアシスタント」

このデータセットを作成するために、彼らは人間にランダムな会話を書かせたわけではありません。スマートで自動化されたパイプラインを使用しました。

出発点：既存のシングルターン検索（1 枚の画像＋1 つのテキスト）を入手しました。
シミュレーション：強力な AI（LLM）を「ショップアシスタント」として機能させました。
- AI は検索結果を確認します。
- 完璧なアイテムが上位に表示されていない場合、AI が見つけた最も近いアイテムを選択します。
- 次に、AI はその「最も近いアイテム」を「完璧なアイテム」に変えるための新しい指示を書き出します。
- 例：「このドレスは赤ですが、黒にする必要があります。また、ベルトも追加してください。」
品質管理（フィルタ）：ここが最も重要な部分です。彼らは会話の品質を確保するために、4 つの厳格なフィルタで会話を実行しました。
- 成功フィルタ：検索は最終的にアイテムを見つけましたか？見つからなかった場合は破棄します。
- マルチターンフィルタ：実際に 1 段階以上を要しましたか？答えが即座に見つかった場合は、それは「マルチターン」会話ではないため、破棄します。
- ランク一貫性フィルタ：検索結果が途中で悪化しましたか？会話の途中で「完璧なアイテム」がトップ 10 リストから消えた場合、その会話は破綻しています。破棄します。
- 非反復フィルタ：AI は同じ言葉を繰り返しましたか？新しい指示が古いものと似すぎている場合は、破棄します。

結果：大規模で高品質なプレイグラウンド

最終結果として、22,608 の会話（セッション）を持つデータセットが完成しました。

以前の最高品質のデータセットの約2 倍の規模です。
20 万枚以上の画像が含まれています。
ファッション（ドレス、シャツ）と一般アイテム（動物、物体）を網羅しています。
会話は 2 ターンから 6 ターンまであり、平均は約 2.5 ターンです。

なぜこれが重要なのか

著者たちは、この新しいデータセットで既存のいくつかの AI 手法をテストしました。その結果、以下が分かりました。

テキストが王者：これらのマルチターン会話では、示す参照画像よりも、与えるテキスト指示の方がはるかに重要です。
漸進的学習：最も優れたシステムは、最後に言ったことだけでなく、会話全体の履歴を記憶できるシステムです。
新しい基準：CIRCLED は一貫性があり高品質であるため、研究者が新しい「検索ロボット」が実際に賢くなっているのか、それとも単に推測しているのかを公平にテストする手段を提供します。

要するに、CIRCLEDは、AI が混乱したり自己を反復したりすることなく、論理的で段階的な会話を展開し、あなたが探しているものを正確に見つけられるように学習するための、新しい高品質な訓練の場です。

技術概要：CIRCLED – 分野横断的な一貫した対話を備えた多ターン CIR データセット

1. 問題提起

既存の多ターン合成画像検索（MTCIR）研究は、以下の 2 つの重要な限界に直面しています：

対話履歴の一貫性の欠如：現在のデータセット（Multi-turn FashionIQ など）は、単一ターンのクエリを単純に連結して構築されています。このアプローチでは、中間ターンが段階的に正解（GT）に近づくことを保証できません。その結果、中間の画像やキャプションがターゲットから逸脱する可能性があり、中間ターンにおける検索性能の評価や、現実的な反復検索行動のモデル化が不可能になります。
分野の制限：先行研究はほぼ例外なくファッション分野（ドレス、シャツなど）に限定されており、一般的な分野における多ターン CIR はほとんど未探索のままです。

これらの限界は、変化するユーザーの意図や多様な視覚的コンテキストを処理できる堅牢な多ターン CIR システムの開発を妨げています。

2. 手法

データセット構築（CIRCLED）

著者は、既存の 3 つの単一ターン CIR データセット（FashionIQ、CIRR、CIRCO）を拡張して構築された新しいデータセット CIRCLED を提案します。構築プロセスには、中間結果に基づいて検索を洗練させるユーザーをシミュレートする多ターンセッションの生成が含まれます。

セッション生成：正解画像 $Z$ $Z$ から開始し、ターン系列 $\{(I_1, T_1), \dots, (I_L, T_L)\}$ ${(I_{1}, T_{1}), \dots, (I_{L}, T_{L})}$ を生成します。
- ターン 1：ソースデータセットからの元の参照画像と相対的キャプションを使用します。
- 後続のターン：GT が十分にランク付けされていない場合、基準検索アルゴリズムがトップ-K 結果から最も近い画像を選択し、新しい参照画像（ $I_l$ ）として使用します。その後、ビジョン・ランゲージモデル（VLM）が、選択された画像と GT の差異を記述する新しい相対的キャプション（ $T_l$ ）を生成しますが、以前のキャプションの繰り返しは明示的に回避されます。
基準検索アルゴリズム：セッション生成を駆動するために、CIReVL（Karthik et al., 2024）の拡張版を採用します。このパイプラインは以下を使用します：
- 画像キャプション生成に BLIP。
- キャプションの統合、差異記述の生成、クエリの更新に GPT-4o-mini。
- 特徴抽出と類似度マッチングに CLIP。
- クエリ更新メカニズムは、選択された画像、非選択画像、および統合されたテキストからの特徴を集約して、検索を GT へと誘導します。

品質管理フィルタ

高品質で一貫した対話を確保するため、生成されたセッションに 4 つのフィルタを適用します：

検索成功フィルタ：6 ターンを通じて GT がトップ 10 候補に一度も現れないセッションを除去します。
多ターンフィルタ：最初のターンで成功するセッションを除外し、真の多ターン相互作用（2 ターン以上）のみを保持します。
ランクマージンフィルタ（ $\epsilon$ -consistency）：各ターンで GT のランクが改善する（または小さなマージン $\epsilon=30$ の範囲内に留まる）ことを強制します（ $r_{l+1} \le r_l + \epsilon$ ）。これにより、ターゲットへの単調な進歩が保証されます。
テキスト冗長性フィルタ（ $\tau$ -diversity）：各ターンの相対的キャプションが新規情報を提供することを確保するため、新しいキャプションと以前のキャプション間のコサイン類似度を制限します（ $\tau=0.8$ ）。

評価プロトコル

本論文では、検索アルゴリズム $S$ を累積的に評価するターン別評価フレームワークを提案します。長さ $L$ のセッションにおいて、アルゴリズムはターン $l$ において履歴 $\{(I_1, T_1), \dots, (I_l, T_l)\}$ を受け取り、GT に対するランク $r_l$ を出力します。

性能の異なる側面を捉える 3 つの指標が導入されました：

Hits@10（ターン別）：ターン $l$ までにトップ 10 に到達するクエリの割合。
Final Recall@10：最終ターンで利用可能なすべての情報を使用した精度。
Hits@10 上の AUC：Hits@10 曲線下の面積であり、収束速度と早期到達可能性を測定します。

3. 主要な貢献

CIRCLED データセット：9 つのサブセット（ファッションおよび一般分野を網羅）にわたる 22,608 セッションを含む大規模な多ターン CIR データセットです。202,845 枚の画像を含み、2〜6 ターンのセッションをサポートしており、Multi-turn FashionIQ の規模と一般性を大幅に上回ります。
一貫した対話構造：先行データセットとは異なり、CIRCLED は $\epsilon$ -consistency と $\tau$ -diversity を強制し、すべてのターンが段階的かつ有益に正解へと向かうことを保証します。これにより、任意の中間ターンにおける検索性能の評価が可能になります。
広範な分野カバレッジ：このデータセットはファッションを超え、CIRR と CIRCO を通じて一般分野を含んでおり、多様な物体タイプやシーン変更に対する多ターン CIR の研究を促進します。
評価フレームワーク：ターン別指標（Hits@10、AUC）の導入により、最終ターンの精度だけでなく、手法が歴史的コンテキストをどの程度効果的に利用しているかを詳細に分析できるようになりました。

4. 実験結果

著者は、CIRCLED 上で Text-only、Image-only、Pic2Word、CIReVL、MagicLens などの複数の基準手法を評価しました。

ターン別性能：結果は、検索精度がターン数の増加とともに一般的に向上することを示していますが、しばしば頭打ちになります。MagicLens は一般分野データ（CIRCO）で強力に機能し、CIReVL はファッション分野で優れています。
モダリティ：Text-only ベースラインは、すべてのサブセットにおいて Image-only ベースラインを常に上回り、多ターン設定では参照画像単独よりも相対的キャプションがより識別性の高い情報を持っていることを示しています。
指標の感度：AUC 指標は、Final Recall@10 が見逃す可能性のある性能差を明らかにします。例えば、CIRR 検証セットでは、CIReVL はターン 2 以降で Text-only を上回りますが、最初のターンの性能が弱いため全体の AUC は低下し、軌道全体を評価することの重要性を浮き彫りにしています。
品質検証：LLM-as-a-Judge 評価（GPT-5-mini 使用）により、CIRCLED セッションは、フィルタリングされていないセッションや単一ターンデータセットの単純な連結と比較して、一貫性、目標の進展、および総合的な品質において最高スコアを獲得することが確認されました。

5. 意義と主張

本論文は、CIRCLED が、先行研究における履歴の一貫性と分野の多様性の欠如に対処する、実用的で高品質なベンチマークを提供すると主張しています。多ターン対話が一貫しており、段階的にターゲットに収束することを保証することで、このデータセットは以前は測定不可能だった反復検索行動の研究を可能にします。

著者は、以下の点を通じて、今後の多ターン CIR 研究を促進すると強調しています：

最終精度と収束速度の両方を捉える標準化された評価プロトコルの提供。
ファッション分野を超えた研究を支援するデータセットの提供。
複数の相互作用ターンにわたって視覚的およびテキスト的手がかりを効果的に集約できるシステムの開発を可能にすること。

データセットとコードは、再現性の確保と分野のさらなる発展を支援するために公開されています。