🤖 AI

Never Seen Before: Benchmarking Genuine Zero-Shot Composed Image Retrieval with Consistent Video-Sourced Datasets

Cet article introduit ZeroSight, un nouveau benchmark pour la récupération d'images composée en mode Zero-Shot authentique qui utilise des données vidéo post-entraînement CLIP pour garantir des conditions de zero-shot réelles et des paires référence-cible cohérentes, ainsi qu'une méthode SC4CIR plug-and-play qui révèle une performance gonflée dans les ensembles de données et les modèles existants.

Auteurs originaux : Zhenyu Yang, Zemin Du, Shengsheng Qian, Changsheng Xu

Publié 2026-06-08

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhenyu Yang, Zemin Du, Shengsheng Qian, Changsheng Xu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de trouver une photo spécifique dans une immense bibliothèque numérique. Vous ne cherchez pas simplement avec un mot-clé comme « chien ». Au lieu de cela, vous montrez au bibliothécaire une photo d'un chien marron et vous dites : « Trouvez-moi une photo d'un chien blanc ». C'est ce qu'on appelle la Recherche d'Images Composées (CIR - Composed Image Retrieval).

Pendant des années, des chercheurs ont tenté de construire des programmes informatiques capables de faire cela. Mais, selon cet article, les « examens de contrôle » qu'ils utilisaient pour noter ces programmes sont défaillants. Les auteurs, Zhenyu Yang et son équipe, ont construit un nouveau test, beaucoup plus difficile, appelé ZeroSight, et un nouveau « guide d'étude » appelé SC4CIR pour aider les ordinateurs à réussir l'examen.

Voici la décomposition de leur travail en termes simples :

1. Le Problème : Les anciens tests étaient de la « triche »

Les auteurs soutiennent que les anciens tests destinés à ces programmes de recherche d'images étaient défectueux pour deux raisons majeures :

Le problème des « faux amis » : Dans les anciens ensembles de données, la photo de « référence » (le chien marron) et la photo « cible » (le chien blanc) n'étaient souvent que des images aléatoires de chiens trouvées sur Internet. Elles n'étaient pas réellement liées. C'était comme demander à un élève de trouver la photo d'une « voiture rouge » à partir d'une photo d'une « voiture bleue », mais les deux voitures provenaient de constructeurs complètement différents, de pays différents, sans aucun lien autre que le fait d'être des voitures. L'ordinateur pouvait deviner la réponse simplement en sachant à quoi ressemble un « chien blanc », sans réellement comprendre le changement par rapport à la première image.
Le problème du « révisé pour l'examen » : Les ordinateurs (spécifiquement les modèles comme CLIP) avaient déjà vu les images utilisées dans ces tests lors de leur entraînement initial. C'est comme donner à un élève un examen de mathématiques où les questions sont identiques aux devoirs qu'il a faits la semaine dernière. L'élève obtient un score parfait, mais il n'a pas réellement appris à résoudre de nouveaux problèmes.

2. La Solution : ZeroSight (Le nouvel examen)

Pour corriger cela, l'équipe a construit ZeroSight, un nouveau benchmark qui agit comme un examen juste et rigoureux.

L'astuce de la vidéo : Au lieu de récupérer des photos aléatoires sur Internet, ils ont récupéré des images issues de vidéos. Imaginez une vidéo d'une personne qui marche. Une image montre la personne avec un t-shirt rouge ; l'image suivante (quelques secondes plus tard) la montre avec un t-shirt bleu. Parce que ces images proviennent de la même vidéo, elles sont garanties d'être des « amies » — elles partagent le même arrière-plan, le même éclairage et la même personne. La seule chose qui a changé est ce que la légende demande. Cela garantit que l'ordinateur doit comprendre le changement spécifique, et non simplement deviner grâce à ses connaissances générales.
La règle des « données fraîches » : Ils se sont assurés d'utiliser des vidéos publiées après le 31 mars 2022. Pourquoi ? Parce que le modèle d'IA populaire CLIP a cessé d'apprendre à partir d'Internet vers cette date. En utilisant des données postérieures à cette date, ils garantissent que l'ordinateur n'a jamais vu ces images auparavant. C'est un véritable test « Zero-Shot » : l'ordinateur doit comprendre sur le moment, sans étude préalable.
Le piège des « faux négatifs difficiles » : Dans leur test, ils incluent également des « leurres ». Ce sont des images qui ressemblent presque à la bonne réponse, mais qui ne sont pas tout à fait exactes. C'est comme montrer une photo d'un chien blanc qui est en réalité un loup. L'ordinateur doit être assez intelligent pour faire la différence.

3. Le Nouvel Outil : SC4CIR (Le guide d'étude intelligent)

Même avec un test équitable, les ordinateurs avaient du mal. Les auteurs ont donc créé une nouvelle méthode appelée SC4CIR (Symmetric Consistency for CIR).

Considérez cela comme un système de double vérification :

Recherche directe : L'ordinateur regarde le « chien marron » et l'instruction « rendez-le blanc » et choisit un candidat « chien blanc ».
Vérification inverse 1 : L'ordinateur prend ce candidat « chien blanc » et demande : « Si je reviens en arrière vers l'original, est-ce que j'obtiens le "chien marron" avec lequel j'ai commencé ? »
Vérification inverse 2 : L'ordinateur demande : « Si je regarde le "chien marron" et le candidat "chien blanc", est-ce que la différence entre eux correspond à l'instruction "rendez-le blanc" ? »

Si l'ordinateur ne peut pas expliquer le changement dans les deux sens, il sait qu'il a choisi la mauvaise réponse. Cette méthode est « plug-and-play », ce qui signifie qu'elle peut être attachée à presque n'importe quel programme de recherche d'images existant pour le rendre plus intelligent sans avoir besoin de réentraîner tout le système à partir de zéro.

4. Les Résultats : La vérité éclate

Lorsque les auteurs ont testé 27 programmes informatiques différents sur ce nouveau test ZeroSight :

Les scores ont chuté : Beaucoup de programmes qui semblaient être des génies sur les anciens tests défectueux ont obtenu des scores bien plus bas sur ZeroSight. Cela a prouvé que les anciens tests gonflaient leurs capacités.
Les « faux négatifs difficiles » comptent : La nouvelle métrique (PNR-mAP) a montré que de nombreux programmes étaient confus par les images « leurres ». Ils choisissaient le « loup » au lieu du « chien blanc ».
SC4CIR a aidé : Lorsqu'ils ont ajouté le système de double vérification SC4CIR, les scores ont augmenté de manière significative, en particulier pour les programmes qui ne nécessitaient pas d'entraînement supplémentaire.

Résumé

L'article affirme que le domaine de la « Recherche d'Images Composées » a utilisé des tests erronés qui font paraître l'IA plus performante qu'elle ne l'est réellement. Ils ont construit un nouvel examen honnête (ZeroSight) utilisant des données vidéo récentes pour garantir que l'IA apprend réellement, et ils ont fourni un nouvel outil (SC4CIR) qui aide l'IA à vérifier ses propres réponses pour éviter les erreurs. Leur objectif est d'arrêter la « triche » et de construire des systèmes capables de gérer réellement les changements d'images dans le monde réel.

Résumé technique : ZeroSight et SC4CIR

Énoncé du problème
La recherche d'images composée en zéro-shot (Zero-Shot Composed Image Retrieval ou ZS-CIR) vise à récupérer une image cible à partir d'une requête composée d'une image de référence et d'une légende relative, sans dépendre d'échantillons d'entraînement spécifiques à la tâche. Les auteurs identifient deux failles critiques dans les benchmarks ZS-CIR existants (par exemple, CIRR, CIRCO, FashionIQ) :

Incohérence : Les jeux de données existants souffrent souvent d'incohérences visuelles et sémantiques entre les images de référence et les images cibles. Comme ces jeux de données sont construits à partir de collections d'images bruitées, crowdsourcées ou abstraites (comme NLVR2 ou MS COCO), les images de référence et cibles peuvent ne partager que des concepts abstraits (ex. : « une cravate ») tout en différant considérablement sur le contenu visuel, rendant la tâche de récupération soluble via des techniques standards de texte-vers-image plutôt que par une véritable recherche composée.
Scénarios de zéro-shot fallacieux : La plupart des jeux de données existants utilisent des sources d'images publiques (ex. : MS COCO) qui faisaient partie des données de pré-entraînement des modèles de vision-langage (VLM) dominants comme CLIP. Par conséquent, les modèles ne sont pas réellement en « zéro-shot », mais exploitent des associations mémorisées, ce qui conduit à des mesures de performance gonflées qui exagèrent les capacités des méthodes actuelles.

Méthodologie
Pour répondre à ces défis, le papier introduit ZeroSight, un nouveau benchmark, et SC4CIR, une méthode de recherche sans entraînement.

Construction du jeu de données ZeroSight :
- Source : Contrairement aux travaux précédents, ZeroSight extrait des images de séquences vidéo publiées après le 31 mars 2022 (postdatant la sortie de LAION-2B), garantissant que les données n'étaient pas incluses dans le pré-entraînement de CLIP.
- Cohérence : En extrayant des images de séquences vidéo uniques, les auteurs garantissent que les paires référence-cible sont visuellement et sémantiquement cohérentes, ne différant que par les modifications spécifiques décrites par la légende.
- Pipeline : Un pipeline multi-étapes assisté par LLM (utilisant des modèles comme GPT-4o) construit le jeu de données. Il comprend :
  1. La sélection d'images de référence non redondantes à partir de sous-ensembles vidéo.
  2. Le filtrage des images cibles candidates sur la base de seuils de similitude visuelle et sémantique (via ViT et CLIP).
  3. La génération de légendes relatives décrivant la transformation de la référence vers la cible.
- Échelle et structure : Le jeu de données comprend 12 048 vidéos diverses, résultant en un pool de recherche de 197 313 images et 54 740 requêtes. De manière unique, il inclut plusieurs cibles positives de vérité terrain et des cibles négatives difficiles (images similaires à la cible mais échouant aux critères de la légende) pour chaque requête.
- Catégories de requêtes : Les requêtes sont classées en six catégories pour tester des capacités de recherche spécifiques : Addition, Soustraction, Changement de fond, Changement de point de vue, Changement d'attribut et Énoncé relatif.
SC4CIR (Symmetric Consistency for CIR) :
- Concept : Une méthode sans entraînement, plug-and-play, pilotée par des modèles de langage multimodaux (MLLM) pour identifier et pénaliser les cibles « négatives difficiles » qui sont visuellement similaires à la vérité terrain mais sémantiquement incorrectes.
- Mécanisme : Elle emploie trois vérifications de cohérence symétrique :
  1. Recherche directe (Forward Retrieval) : $I_r + T \rightarrow I_t$ (Recherche standard).
  2. Processus inverse 1 : $I_t - T \rightarrow I_r$ (Génère une instruction inverse $T'$ pour transformer la candidate en référence).
  3. Processus inverse 2 : $I_t - I_r \rightarrow T$ (Génère une description de la différence entre la candidate et la référence pour la comparer à la légende originale $T$ ).
- Re-classement (Re-ranking) : Le score final combine la similitude directe avec les deux scores de cohérence inverse ( $S = S_1 + S_2 + S_3$ ), re-classant les résultats pour supprimer les négatifs difficiles.

Contributions clés

Benchmark ZeroSight : Le premier jeu de données ZS-CIR garantissant de véritables conditions de zéro-shot (aucun chevauchement de pré-entraînement CLIP) et une haute cohérence visuelle/sémantique via des données issues de vidéos. C'est le premier à inclure plusieurs vérités terrains et des cibles négatives difficiles.
Méthode SC4CIR : Une approche novatrice, sans entraînement, pilotée par MLLM, qui améliore la performance de recherche en vérifiant la cohérence symétrique, filtrant efficacement les négatifs difficiles sans nécessole de ré-entraînement du modèle.
Nouvelle métrique d'évaluation (PNR-mAP) : Les auteurs proposent le PNR-mAP (Positive-Negative Ranking mAP), qui prend en compte le classement des cibles négatives par rapport aux positives, répondant à la limitation du mAP standard qui ignore la présence de négatifs difficiles.
Évaluation exhaustive : Le papier évalue 27 méthodes de pointe, révélant que les benchmarks actuels produisent des résultats gonflés.

Résultats expérimentaux

Performance du benchmark : Les expériences sur ZeroSight montrent que les méthodes ZS-CIR actuelles sont nettement moins performantes que sur les jeux de données existants (ex. : CIRCO), confirmant la difficulté et la validité du nouveau benchmark. Par exemple, l'mAP@5 de SEIZE est passé de 32,46 sur CIRCO à 16,63 sur ZeroSight.
Écart de métrique : L'mAP moyen des méthodes sur ZeroSight est 22,93 % plus élevé que le PNR-mAP, démontant que les métriques standards gonflent la performance en ignorant le classement des négatifs difficiles.
Efficacité de SC4CIR : L'intégration de SC4CIR améliore significativement les performances de toutes les méthodes testées. Pour les méthodes sans entraînement, l'mAP-PNR moyen s'est amélioré de 25,66 %. La méthode est particulièrement efficace pour les approches ZS-CIR basées sur les LLM, améliorant leurs performances de 9,12 %.
Généralisabilité : SC4CIR a également démontré sa robustesse lorsqu'appliquée à des jeux de données bruités existants (CIRCO, CIRR, FashionIQ), surpassant systématiquement les bases et aidant même les méthodes zero-shot à approcher les performances des méthodes entraînées sur FashionIQ.

Signification
Le papier soutient que la recherche actuelle en ZS-CIR est entravée par des jeux de données qui ne reflètent pas de véritables scénarios de zéro-shot et manquent de cohérence visuelle, conduisant à une surestimation des capacités des modèles. ZeroSight établit un nouveau standard pour l'évaluation des méthodes CIR en imposant une stricte cohérence des données et de véritables conditions de zéro-shot. L'introduction de SC4CIR démontre que l'exploitation du raisonnement MLLM pour les vérifications de cohérence peut améliorer considérablement la précision de la recherche sans entraînement supplémentaire. Les auteurs concluent que leur benchmark et leur méthode fournissent un cadre plus fiable pour développer des systèmes de recherche d'images composée généralisables et robustes, particulièrement pour les applications exigeant une haute précision où les différences visuelles subtiles sont cruciales.

1. Le Problème : Les anciens tests étaient de la « triche »

2. La Solution : ZeroSight (Le nouvel examen)

3. Le Nouvel Outil : SC4CIR (Le guide d'étude intelligent)

4. Les Résultats : La vérité éclate

Résumé

Articles similaires