ChatSearch: a Dataset and a Generative Retrieval Model for General Conversational Image Retrieval

Cet article présente ChatSearch, un nouveau jeu de données et un modèle de génération nommé ChatSearcher, conçus pour améliorer la recherche d'images par conversation interactive en permettant au système de raisonner sur des contextes multimodaux et d'utiliser des connaissances du monde réel.

L'essentiel

Imaginez que vous cherchez une image précise dans une immense bibliothèque, mais au lieu de taper des mots-clés, vous avez une conversation avec un bibliothécaire très intelligent. C'est exactement ce que propose cette recherche : un nouveau système appelé ChatSearch et un modèle nommé ChatSearcher.

Voici une explication simple, avec quelques images pour rendre les choses plus claires.

1. Le Problème : Chercher avec un seul mot, c'est trop simple

Aujourd'hui, si vous cherchez une photo sur Google, vous tapez "chat noir". Mais la réalité est plus complexe. Peut-être que vous voulez un chat noir, mais assis sur un tapis rouge, avec une oreille manquante, et qui ressemble à celui de votre voisin.

Les systèmes actuels sont comme des robots rigides : ils comprennent ce que vous dites, mais pas vraiment ce que vous voulez dire si vous ne le formulez pas parfaitement. Ils ne comprennent pas le contexte, l'histoire ou les nuances.

2. La Solution : Une conversation naturelle (Le "ChatSearch")

Les auteurs ont créé une nouvelle base de données, un peu comme un manuel d'instruction géant pour apprendre aux ordinateurs à converser.

• L'analogie du détective : Imaginez un détective (l'ordinateur) qui doit retrouver un suspect (l'image) dans une ville immense. Au lieu de lui donner une photo floue, vous lui racontez une histoire : "C'était un mardi, il pleuvait, le suspect portait un manteau bleu et tenait un parapluie rouge."
• Le défi : Le détective doit relier les indices, utiliser sa connaissance du monde (savoir que les parapluies rouges sont rares) et comprendre le contexte pour trouver la bonne photo. C'est ce que fait ChatSearch : il contient des milliers d'exemples de ces conversations complexes où l'image cible est cachée dans le dialogue.

3. Le Héros : ChatSearcher (Le "Cerveau Génératif")

Pour utiliser ce manuel, ils ont créé un modèle appelé ChatSearcher. C'est un peu comme un chef cuisinier magique.

• Comment ça marche ?
  • Les ingrédients : Le chef reçoit un mélange d'ingrédients : des mots (votre conversation) et des photos (ce que vous montrez).
  • La cuisson (L'entraînement) : Au lieu de simplement classer des photos, ce chef apprend à créer la réponse. Si vous lui demandez "Montre-moi le chien qui a perdu sa laisse", il ne se contente pas de chercher dans un tiroir. Il "imagine" la recherche, combine ses connaissances, et génère la liste des meilleurs chiens possibles.
  • Le vocabulaire visuel : Pour lui, une image n'est pas juste un fichier, c'est un mot dans son dictionnaire. Il peut "écrire" une image aussi facilement qu'il écrit un mot.

4. Les Super-pouvoirs du Système

Ce système a trois atouts majeurs, comparables à des super-pouvoirs :

1. L'Intuition (Le contexte) : Si vous dites "Non, pas celui-là, celui qui est plus petit", le système se souvient de la conversation précédente. Il ne perd pas le fil, contrairement à un robot qui oublierait tout après chaque phrase.
2. La Connaissance du Monde : Il sait que si vous cherchez "un château de sable", il ne doit pas chercher un château en pierre. Il utilise sa "culture" pour deviner ce que vous voulez.
3. La Polyvalence : Ce n'est pas juste pour chercher des photos. Il peut aussi discuter de ce qu'il voit (comme un ami qui regarde une photo avec vous) ou trouver des images à partir de descriptions très abstraites.

5. Pourquoi c'est important ?

Jusqu'à présent, chercher une image était comme jouer à un jeu de devinettes avec un robot qui ne comprend que les mots exacts. Avec ChatSearcher, c'est comme avoir un compagnon de voyage qui comprend vos désirs, même si vous les exprimez de manière confuse ou par petites touches.

• Avant : Vous tapez "voiture rouge". Le robot vous donne 1000 voitures rouges.
• Maintenant : Vous dites "La voiture rouge que j'ai vue hier, celle qui avait un autocollant de chat sur le pare-brise". Le robot comprend le contexte, se souvient de l'autocollant, et vous donne exactement cette voiture.

En résumé

Cette recherche nous donne les outils pour transformer la recherche d'images en une vraie conversation. Au lieu de fouiller dans des étagères, vous discutez avec la bibliothèque, et elle vous tend le livre (ou la photo) parfait, tout en comprenant l'histoire que vous lui racontez. C'est un grand pas vers des ordinateurs qui nous comprennent vraiment, pas juste ce que nous écrivons.

Résumé technique

1. Problématique et Contexte

La recherche d'images traditionnelle repose souvent sur des requêtes statiques (une image de référence, un texte descriptif ou des attributs). Cependant, ces méthodes peinent à capturer les intentions complexes et implicites des utilisateurs qui émergent au fil d'une interaction naturelle.

L'article se concentre sur la recherche d'images conversationnelle générale (General Conversational Image Retrieval). L'objectif est de permettre à un système de retrouver des images dans un corpus ouvert en se basant sur des conversations interactives multi-tours entre l'humain et la machine.

• Défi principal : L'intention de recherche n'est pas explicitement énoncée mais est souvent implicite, nécessitant une compréhension du contexte multimodal (texte + image), un raisonnement complexe et l'activation de connaissances du monde réel.
• Limites des approches existantes : Les modèles traditionnels (comme CLIP) sont limités par une interaction mono-modale ou un seul tour de dialogue, et manquent de capacités de raisonnement pour interpréter les nuances d'une conversation multimodale.

2. Méthodologie

Les auteurs proposent une approche complète comprenant la création d'un nouveau jeu de données et le développement d'un modèle de génération.

A. Le Jeu de Données : ChatSearch

Pour pallier l'absence de données existantes, les auteurs ont créé ChatSearch, un dataset dédié à la recherche d'images conversationnelle sur des images de domaine ouvert.

• Construction : Un pipeline automatique assisté par des modèles fondationnels (GPT-4 pour la génération de texte, CLIP-H pour la recherche d'images, BLIP-2 pour la légende d'images) a été utilisé pour générer des dialogues multi-tours.
• Types de contextes : Le dataset est divisé en trois sous-tâches pour évaluer différentes complexités :
  1. tChatSearch : Dialogue purement textuel multi-tours.
  2. iChatSearch : Contexte image-texte en un seul tour (image de référence + instruction textuelle).
  3. mChatSearch : Dialogue multimodal multi-tours complexe (fusionnant texte et images).
• Qualité : Les données ont été validées manuellement par des experts pour garantir la pertinence du contexte et la qualité des images.

B. Le Modèle : ChatSearcher

Les auteurs proposent ChatSearcher, un modèle de recherche générative entraîné de bout en bout (end-to-end).

• Architecture : Basée sur un LLM (Large Language Model) de type décodeur causal (initialisé avec Vicuna-7B v1.5).
  • Encodage Visuel : Utilisation de CLIP-ViT-L pour extraire les caractéristiques visuelles, compressées ensuite par un Q-former (inspiré de BLIP-2) en embeddings denses.
  • Entrées Intercalées : Le modèle accepte des séquences intercalées d'images et de textes. Les images sont représentées par des tokens spéciaux [IMG] et leurs embeddings.
• Objectif d'Entraînement Unifié : Le modèle est entraîné à la fois pour la prédiction de mots (génération de texte) et la recherche d'images (génération de résultats visuels).
  • Pour la recherche d'images, le modèle génère un embedding de requête à partir du token [IMG].
  • Une file d'attente de caractéristiques dynamique (Feature Queue) est utilisée comme dictionnaire de négatifs pour le contraste, permettant de maximiser la probabilité d'appariement avec l'image cible dans la file.
• Stratégie d'Entraînement en Deux Étapes :
  1. Alignement Bidirectionnel Image-Texte : Pré-entraînement sur des données intercalées (CC3M, mmc4) pour apprendre à associer images et textes.
  2. Ajustement par Instruction Conversationnelle (Instruction Tuning) : Entraînement sur un mélange de données incluant ChatSearch, des conversations visuelles (LLaVA-150k) et des données d'édition d'images générées par IA (InstructPix2Pix) pour renforcer le raisonnement et la compréhension du contexte.

3. Contributions Clés

1. Dataset ChatSearch : Première ressource majeure dédiée à la recherche d'images basée sur des conversations multimodales complexes et multi-tours, comblant un vide dans la littérature.
2. Modèle ChatSearcher : Un modèle génératif capable de traiter des entrées/sorties intercalées (texte et image), capable de déduire des intentions implicites et de raisonner sur le contexte multimodal.
3. Généralisation : Démonstration que le modèle excelle non seulement sur la tâche de recherche conversationnelle, mais aussi sur des tâches de recherche d'images "Zero-shot" (CIR, Text-to-Image) et de conversation visuelle, surpassant les modèles de référence.

4. Résultats Expérimentaux

Les expériences ont été menées sur le dataset ChatSearch et d'autres benchmarks standards.

• Performance sur ChatSearch : ChatSearcher surpasse significativement les modèles de base (CLIP-t, CLIP-i, CLIP-ti) et le modèle multimodal FROMAGe.
  • Sur la tâche la plus complexe (mChatSearch), ChatSearcher atteint un R@1 de 37,90 % et un R@5 de 64,22 %, contre environ 12-27 % pour les meilleurs modèles CLIP.
  • Cela confirme la supériorité du raisonnement multimodal et de l'utilisation du contexte historique.
• Recherche d'Images Composée (CIR) Zero-shot : Sur le benchmark CIRR, ChatSearcher atteint des performances State-of-the-Art (SOTA) en mode Zero-shot, surpassant même certaines méthodes finement ajustées (Fine-tuned).
• Recherche Text-to-Image Zero-shot : Sur MSCOCO et Flickr30K, le modèle atteint des performances comparables à CLIP, validant l'efficacité de l'alignement image-texte bidirectionnel.
• Conversation Visuelle : Sur des benchmarks comme VQAv2 et MMBench, ChatSearcher affiche des performances comparables aux modèles SOTA (Qwen-VL, LLaVA-1.5), prouvant qu'il ne sacrifie pas ses capacités de dialogue au profit de la recherche.
• Études d'ablation :
  • La file d'attente de caractéristiques (Feature Queue) est cruciale pour améliorer la précision de la recherche en fournissant plus d'échantillons négatifs.
  • L'ajout de données de conversation visuelle (LLaVA) et de données d'édition d'images (AIGC) améliore significativement la capacité de raisonnement et la diversité des résultats.

5. Signification et Perspectives

Ce travail marque une avancée significative dans l'interaction homme-machine multimodale :

• Paradigme Génératif : Il démontre que la recherche d'images peut être traitée comme un problème de génération, permettant une intégration fluide entre la compréhension du langage, le raisonnement visuel et la récupération d'informations factuelles.
• Interface Naturelle : Il propose une interface où l'utilisateur peut affiner sa recherche de manière naturelle et progressive, similaire à une conversation humaine, plutôt que par des requêtes rigides.
• Crédibilité de l'IA : En fournissant des images réelles basées sur le contexte, le modèle améliore la crédibilité et la clarté des réponses générées par l'IA.

Les auteurs prévoient d'étendre cette approche à d'autres modalités (vidéo, audio) pour créer des systèmes de récupération d'information interactifs et factuels encore plus avancés. Le dataset et le code sont disponibles publiquement pour encourager la recherche future.