💻 computer science

CIRCLED: A Multi-turn CIR Dataset with Consistent Dialogues across Domains

L'article présente CIRCLED, un jeu de données de grande envergure et de haute qualité pour la recherche d'images composées en plusieurs tours (MTCIR) couvrant neuf domaines, qui répond aux limites des jeux de données existants restreints à la mode en garantissant la cohérence du dialogue et en fournissant une référence robuste pour les recherches futures.

Auteurs originaux : Tomohisa Takeda, Yu-Chieh Lin, Yuji Nozawa, Youyang Ng, Osamu Torii, Yusuke Matsui

Publié 2026-05-27

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tomohisa Takeda, Yu-Chieh Lin, Yuji Nozawa, Youyang Ng, Osamu Torii, Yusuke Matsui

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de trouver une tenue spécifique dans un grand magasin immense et infini, mais que vous ne pouvez pas la décrire parfaitement en une seule phrase. Vous savez que vous voulez une « robe rouge », mais lorsque vous voyez les résultats, vous pensez : « Non, c'est trop vif. Je la veux plus foncée, avec des manches longues, et peut-être une ceinture. »

Dans le monde de l'informatique, cela s'appelle la Recherche d'Images Composée Multi-Tours (CIR). Il s'agit d'un système où vous commencez par une image et une description textuelle, puis vous affinez votre recherche tour par tour jusqu'à trouver exactement ce que vous voulez.

L'article présente un nouvel outil appelé CIRCLED pour aider les chercheurs à construire de meilleurs systèmes pour ce type de recherche. Voici une analyse de ce qu'ils ont fait, en utilisant des analogies simples.

Le Problème : La « Carte Cassée »

Avant cet article, les chercheurs disposaient d'un ensemble de données (une collection de problèmes d'entraînement) appelé Multi-turn FashionIQ. Mais les auteurs affirment que cet ancien ensemble de données était comme une carte cassée.

Le Problème : Dans l'ancien ensemble de données, les étapes pour trouver la réponse ne faisaient pas toujours sens. Imaginez que vous cherchez une « robe noire ».
- Tour 1 : Vous demandez une « robe rouge ».
- Tour 2 : Le système vous montre une « robe de soirée colorée ».
- Tour 3 : Vous demandez une « robe noire ».
- Le Dysfonctionnement : L'ancien ensemble de données incluait parfois des étapes où la recherche s'éloignait réellement de l'objectif, ou où les instructions étaient un non-sens répétitif (comme dire « rends-la rouge » trois fois de suite). C'était comme un GPS qui vous disait de rouler vers le nord, puis vers le sud, puis vers le nord à nouveau, sans jamais vous rapprocher de votre destination.
La Limitation : L'ancien ensemble de données ne contenait que des vêtements (mode). Il ne testait pas si le système pouvait trouver un chien, une voiture ou un paysage.

La Solution : CIRCLED (La « Boussole Parfaite »)

Les auteurs ont construit CIRCLED, un nouvel ensemble de données qui agit comme une boussole parfaite.

Progression Cohérente : Dans CIRCLED, chaque étape de la conversation vous rapproche de la cible. Si l'objectif est une « robe noire », chaque tour vous rapproche légèrement d'une robe noire, sans jamais s'en éloigner.
Nouvelles Informations : À chaque fois que vous parlez, vous ajoutez quelque chose de nouveau. Vous ne vous répétez pas. C'est comme un détective rassemblant des indices : « D'abord, c'est un chien. Deuxièmement, c'est un golden retriever. Troisièmement, il porte un collier rouge. » Chaque indice apporte de la valeur.
Horizons Plus Vastes : Ils ne se sont pas limités aux vêtements. Ils ont élargi l'ensemble de données pour inclure des objets généraux (comme ceux des ensembles de données CIRR et CIRCO), afin que le système puisse apprendre à rechercher n'importe quoi, pas seulement la mode.

Comment Ils L'Ont Construit : Le « Assistant de Magasin Robot »

Pour créer cet ensemble de données, ils n'ont pas simplement demandé à des humains d'écrire des conversations au hasard. Ils ont utilisé un pipeline automatisé intelligent :

Le Point de Départ : Ils ont pris des recherches à tour unique existantes (une image + un texte).
La Simulation : Ils ont utilisé une IA puissante (un LLM) pour jouer le rôle d'un « assistant de magasin ».
- L'IA examine les résultats de la recherche.
- Si l'article parfait n'est pas en tête, l'IA sélectionne l'article le plus proche qu'elle a trouvé.
- L'IA rédige ensuite une nouvelle instruction expliquant comment transformer cet « article le plus proche » en « article parfait ».
- Exemple : « La robe est rouge, mais j'ai besoin qu'elle soit noire. De plus, ajoutez une ceinture. »
Le Contrôle Qualité (Les Filtres) : C'est la partie la plus importante. Ils ont soumis les conversations à quatre filtres stricts pour garantir la qualité :
- Filtre de Succès : La recherche a-t-elle effectivement trouvé l'article à la fin ? Sinon, jetez-le.
- Filtre Multi-Tours : A-t-il fallu plus d'une étape ? Si la réponse a été trouvée immédiatement, ce n'est pas une conversation « multi-tours », donc jetez-la.
- Filtre de Cohérence du Classement : Les résultats de la recherche se sont-ils dégradés au milieu ? Si l'« article parfait » a disparu du top 10 en cours de conversation, la conversation est brisée. Jetez-la.
- Filtre de Non-Répétition : L'IA a-t-elle simplement répété les mêmes mots ? Si la nouvelle instruction était trop similaire à l'ancienne, jetez-la.

Le Résultat : Un Terrain de Jeu Massif et de Haute Qualité

Le résultat final est un ensemble de données contenant 22 608 conversations (sessions).

Il est environ deux fois plus grand que le meilleur ensemble de données précédent.
Il contient plus de 200 000 images.
Il couvre la mode (robes, chemises) et les objets généraux (animaux, objets).
Les conversations vont de 2 à 6 tours, avec une moyenne d'environ 2,5 tours.

Pourquoi Cela Compte

Les auteurs ont testé plusieurs méthodes d'IA existantes sur ce nouvel ensemble de données. Ils ont constaté que :

Le Texte est Roi : Dans ces conversations multi-tours, les instructions textuelles que vous donnez sont beaucoup plus importantes que les images de référence que vous montrez.
Apprentissage Progressif : Les meilleurs systèmes sont ceux qui peuvent se souvenir de l'historique complet de la conversation, et pas seulement de la dernière chose que vous avez dite.
Une Nouvelle Norme : Parce que CIRCLED est cohérent et de haute qualité, il offre aux chercheurs un moyen équitable de tester si leurs nouveaux « robots de recherche » deviennent réellement plus intelligents ou s'ils devinent simplement.

En bref, CIRCLED est un nouveau terrain d'entraînement de haute qualité qui garantit que l'IA apprend à avoir une conversation logique et étape par étape pour trouver exactement ce que vous cherchez, sans se confondre ni se répéter.

Résumé Technique : CIRCLED – Un Jeu de Données CIR Multi-tours avec Dialogues Cohérents à Travers les Domaines

1. Énoncé du Problème

Les recherches existantes sur la Recherche d'Images Composée Multi-tours (MTCIR) font face à deux limitations critiques :

Historique de Dialogue Incohérent : Les jeux de données actuels, tels que Multi-turn FashionIQ, sont construits en concaténant simplement des requêtes mono-tour. Cette approche ne garantit pas que les tours intermédiaires progressent progressivement vers la vérité terrain (GT). Par conséquent, les images et légendes intermédiaires peuvent diverger de la cible, rendant impossible l'évaluation des performances de recherche aux tours intermédiaires ou la modélisation d'un comportement de recherche itérative réaliste.
Restriction de Domaine : Les travaux antérieurs sont presque exclusivement limités au domaine de la mode (par exemple, robes, chemises), laissant la CIR multi-tours dans des domaines généraux largement inexplorée.

Ces limitations entravent le développement de systèmes MTCIR robustes capables de gérer des intentions utilisateurs évolutives et des contextes visuels diversifiés.

2. Méthodologie

Construction du Jeu de Données (CIRCLED)

Les auteurs introduisent CIRCLED, un nouveau jeu de données construit en étendant trois jeux de données CIR mono-tour existants : FashionIQ, CIRR et CIRCO. Le processus de construction implique la génération de sessions multi-tours simulant un utilisateur affinant sa recherche sur la base de résultats intermédiaires.

Génération de Sessions : En partant d'une image de vérité terrain $Z$ $Z$ , le processus génère une séquence de tours $\{(I_1, T_1), \dots, (I_L, T_L)\}$ ${(I_{1}, T_{1}), \dots, (I_{L}, T_{L})}$ .
- Tour 1 : Utilise l'image de référence originale et la légende relative du jeu de données source.
- Tours Suivants : Si la GT n'est pas suffisamment classée, un algorithme de recherche de base sélectionne l'image la plus proche parmi les $K$ premiers résultats comme nouvelle image de référence ( $I_l$ ). Un Modèle Vision-Langage (VLM) génère ensuite une nouvelle légende relative ( $T_l$ ) décrivant la différence entre l'image sélectionnée et la GT, tout en évitant explicitement la répétition des légendes précédentes.
Algorithme de Recherche de Base : Les auteurs emploient une version étendue de CIReVL (Karthik et al., 2024) pour piloter la génération de sessions. Ce pipeline utilise :
- BLIP pour la légendage d'images.
- GPT-4o-mini pour fusionner les légendes, générer des descriptions de différences et mettre à jour les requêtes.
- CLIP pour l'extraction de caractéristiques et la correspondance de similarité.
- Le mécanisme de mise à jour de requête agrège les caractéristiques de l'image sélectionnée, des images non sélectionnées et du texte fusionné pour orienter la recherche vers la GT.

Filtres de Contrôle de Qualité

Pour garantir des dialogues de haute qualité et cohérents, quatre filtres sont appliqués aux sessions générées :

Filtre de Succès de Recherche : Supprime les sessions où la GT n'apparaît jamais dans les 10 premiers candidats sur 6 tours.
Filtre Multi-tours : Exclut les sessions qui réussissent au premier tour, garantissant que seules les véritables interactions multi-tours (2+ tours) sont conservées.
Filtre de Marge de Classement (cohérence $\epsilon$ ) : Impose que le rang de la GT s'améliore (ou reste dans une petite marge $\epsilon=30$ ) à chaque tour ( $r_{l+1} \le r_l + \epsilon$ ). Cela assure une progression monotone vers la cible.
Filtre de Redondance Textuelle (diversité $\tau$ ) : Garantit que les légendes relatives à chaque tour apportent des informations nouvelles en limitant la similarité cosinus entre les nouvelles légendes et les précédentes ( $\tau=0.8$ ).

Protocole d'Évaluation

L'article propose un cadre d'évaluation tour par tour où un algorithme de recherche $S$ est évalué de manière cumulative. Pour une session de longueur $L$ , l'algorithme reçoit l'historique $\{(I_1, T_1), \dots, (I_l, T_l)\}$ au tour $l$ et produit un rang $r_l$ pour la GT.

Trois métriques sont introduites pour capturer différents aspects des performances :

Hits@10 (Tour par tour) : La fraction de requêtes atteignant le top-10 au tour $l$ .
Rappel Final@10 : Précision utilisant toutes les informations disponibles au dernier tour.
AUC sur Hits@10 : La surface sous la courbe Hits@10, mesurant la vitesse de convergence et l'accessibilité précoce.

3. Contributions Clés

Jeu de Données CIRCLED : Un jeu de données CIR multi-tours à grande échelle contenant 22 608 sessions à travers neuf sous-ensembles (couvrant les domaines Mode et Général). Il inclut 202 845 images et prend en charge des sessions de 2 à 6 tours, dépassant significativement l'échelle et la généralité de Multi-turn FashionIQ.
Structure de Dialogue Cohérente : Contrairement aux jeux de données antérieurs, CIRCLED impose une cohérence $\epsilon$ et une diversité $\tau$ , garantissant que chaque tour progresse de manière progressive et informative vers la vérité terrain. Cela permet l'évaluation des performances de recherche à n'importe quel tour intermédiaire.
Couverture Large des Domaines : Le jeu de données s'étend au-delà de la mode pour inclure des domaines généraux (via CIRR et CIRCO), facilitant la recherche sur la CIR multi-tours pour divers types d'objets et modifications de scènes.
Cadre d'Évaluation : L'introduction de métriques tour par tour (Hits@10, AUC) permet une analyse granulaire de la manière dont les méthodes utilisent le contexte historique, plutôt que de mesurer uniquement la précision du dernier tour.

4. Résultats Expérimentaux

Les auteurs ont évalué plusieurs méthodes de base sur CIRCLED, notamment Text-only, Image-only, Pic2Word, CIReVL et MagicLens.

Performances Tour par Tour : Les résultats montrent que la précision de recherche s'améliore généralement avec plus de tours, bien qu'elle atteigne souvent un plateau. MagicLens performe fortement sur les données de domaine général (CIRCO), tandis que CIReVL excelle dans le domaine de la mode.
Modalités : Les bases Text-only surpassent systématiquement les bases Image-only sur tous les sous-ensembles, indiquant que les légendes relatives portent plus d'information discriminative que les images de référence seules dans les contextes multi-tours.
Sensibilité des Métriques : La métrique AUC révèle des différences de performance que le Rappel Final@10 pourrait manquer. Par exemple, sur le jeu de validation CIRR, CIReVL surpasse Text-only à partir du Tour 2, mais sa performance plus faible au premier tour abaisse son AUC global, soulignant l'importance d'évaluer l'ensemble de la trajectoire.
Validation de la Qualité : Une évaluation LLM-as-a-Judge (utilisant GPT-5-mini) a confirmé que les sessions CIRCLED obtiennent les scores les plus élevés en Cohérence, Progression vers l'Objectif et Qualité Globale par rapport aux sessions non filtrées ou aux simples concaténations de jeux de données mono-tour.

5. Signification et Revendications

L'article revendique que CIRCLED fournit un benchmark pratique et de haute qualité qui répond au manque de cohérence de l'historique et de diversité des domaines dans les travaux antérieurs. En garantissant que les dialogues multi-tours sont cohérents et convergent progressivement vers la cible, le jeu de données permet l'étude de comportements de recherche itérative qui étaient auparavant incalculables.

Les auteurs soulignent que leur travail facilite la recherche future sur la CIR multi-tours en :

Offrant un protocole d'évaluation standardisé qui capture à la fois la précision finale et la vitesse de convergence.
Fournissant un jeu de données qui soutient la recherche au-delà du domaine de la mode.
Permettant le développement de systèmes capables d'agréger efficacement des indices visuels et textuels sur plusieurs tours d'interaction.

Le jeu de données et le code sont disponibles publiquement pour soutenir la reproductibilité et les progrès futurs dans le domaine.