🤖 machine learning

FIRE-CIR: Fine-grained Reasoning for Composed Fashion Image Retrieval

Ce papier présente FIRE-CIR, un modèle innovant qui améliore la récupération d'images de mode composées en remplaçant la simple similarité d'embedding par un raisonnement visuel guidé par des questions générées automatiquement, permettant ainsi une réévaluation interprétable des candidats pour mieux distinguer les attributs à conserver de ceux à modifier.

Auteurs originaux : François Gardères, Camille-Sovanneary Gauthier, Jean Ponce, Shizhe Chen

Publié 2026-04-13

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : François Gardères, Camille-Sovanneary Gauthier, Jean Ponce, Shizhe Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes dans une immense boutique de vêtements virtuelle, mais au lieu de chercher juste par mot-clé (comme "robe rouge"), vous voulez être beaucoup plus précis. Vous montrez une photo d'une robe que vous aimez, et vous dites : "Je veux cette robe, mais en version sans bretelles et avec une jupe plus ample." C'est ce qu'on appelle la recherche d'images composées.

Le problème, c'est que les intelligences artificielles actuelles sont un peu comme des clients pressés qui regardent juste la couleur globale. Elles peuvent se tromper et vous proposer une robe rouge avec des bretelles, ou une robe sans bretelles mais avec une jupe trop serrée, simplement parce qu'elles ressemblent un peu à la photo de départ.

Voici comment FIRE-CIR, le nouveau modèle présenté dans cet article, change la donne, expliqué simplement :

1. Le Détective vs. Le Devin

Les anciennes méthodes fonctionnaient un peu comme un devin : elles regardaient la photo et le texte, et devinaient "ça a l'air proche". C'est rapide, mais souvent imprécis.

FIRE-CIR, lui, agit comme un détective méticuleux. Au lieu de deviner, il pose des questions précises.

Quand vous dites "robe sans bretelles", le détective ne se contente pas de regarder l'ensemble. Il sort un petit carnet et se pose des questions : "Est-ce qu'il y a des bretelles ?" (Réponse attendue : Non). "La couleur est-elle bonne ?" (Réponse attendue : Oui). "La jupe est-elle plus large que sur la photo de référence ?"

2. La Grande Base de Données d'Entraînement (Le "Cours de Vêtements")

Pour que ce détective soit aussi bon, il faut le former. Le défi, c'est qu'il n'existe pas assez de manuels d'entraînement pour apprendre à une IA à comparer deux vêtements et à vérifier des détails précis.

Les auteurs ont donc créé leur propre "école" :

Ils ont pris des milliers de photos de vêtements.
Ils ont utilisé une IA très puissante pour générer automatiquement des milliers de questions et de réponses (comme un professeur qui crée des exercices).
Ils ont entraîné leur modèle (FIRE-CIR) sur ce cours intensif pour qu'il devienne un expert en mode et en logique.

3. Le Tri Final (Le "Filtre de Qualité")

Voici le processus complet, étape par étape :

Le Premier Filtre Rapide : D'abord, une méthode classique (rapide mais un peu brouillonne) regarde des milliers d'images et en sélectionne les 250 meilleures candidates.
L'Inspection Détaillée : C'est là que FIRE-CIR intervient. Il prend ces 250 candidates et leur pose ses questions de détective.
- Exemple : Si l'image candidate a des bretelles alors que le texte demandait "sans bretelles", le détective note : "Échec".
Le Re-classement : FIRE-CIR utilise ces notes pour réorganiser la liste. Il fait descendre les robes qui ne respectent pas les règles et fait monter celles qui sont parfaites.

Pourquoi c'est génial ?

Transparence : Contrairement aux boîtes noires qui disent juste "voici le résultat", FIRE-CIR peut vous expliquer pourquoi il a choisi une image. Il peut dire : "J'ai choisi cette robe parce qu'elle est sans bretelles (question 1 : OK) et que sa jupe est ample (question 2 : OK)."
Précision : Il évite les erreurs grossières. Si vous voulez changer la manche d'une chemise, il ne vous proposera pas une robe, même si la couleur est la même.
Adaptabilité : C'est comme un plugin. Vous pouvez l'ajouter à n'importe quel système de recherche existant pour le rendre plus intelligent sans tout réinventer.

En résumé

Imaginez que vous achetez un vêtement en ligne. Au lieu de faire confiance à un algorithme qui a juste "vu" la photo, vous avez un assistant personnel virtuel qui vérifie chaque détail de votre demande contre chaque vêtement proposé. Il ne se contente pas de chercher des ressemblances, il raisonne pour s'assurer que le vêtement correspond exactement à votre vision modifiée.

C'est ce que FIRE-CIR fait : il transforme une recherche aveugle en une conversation logique et précise avec l'image.

1. Problématique

La Recherche d'Images Composées (CIR - Composed Image Retrieval) vise à retrouver une image cible qui représente une image de référence modifiée par une description textuelle (ex: "ce t-shirt, mais avec des manches plus longues").

Bien que les modèles récents de vision-langage (VLM) comme CLIP obtiennent de bons résultats en projetant images et textes dans un espace commun, ils présentent deux limites majeures dans le domaine de la mode, qui est très granulaire :

Couverture incomplète : Ils peinent à détecter et exploiter tous les détails complexes du texte et de l'image.
Fusion sous-optimale : La fusion des requêtes multimodales conserve souvent des informations de l'image de référence incompatibles avec le texte de modification, ce qui élève le rang d'images partiellement pertinentes mais incorrectes.
Manque d'interprétabilité : Les méthodes actuelles fonctionnent souvent comme des "boîtes noires", sans expliquer pourquoi une image est classée haut.

De plus, les approches zero-shot basées sur de grands modèles pré-entraînés souffrent d'un vocabulaire et d'éléments visuels spécifiques à la mode, tandis que le fine-tuning sur les données existantes (comme Fashion IQ) souffre de bruit (faux négatifs) car plusieurs images peuvent être pertinentes pour une même requête.

2. Méthodologie : FIRE-CIR

FIRE-CIR introduit une approche de raisonnement visuel piloté par des questions (question-driven visual reasoning) pour surmonter ces limitations. Au lieu de se fier uniquement à la similarité d'embedding, le modèle décompose le texte de modification en une série de questions visuelles spécifiques.

Le processus se déroule en quatre étapes clés :

A. Génération de Questions Visuelles (Visual Question Generation)

Le texte de modification est analysé par un Grand Modèle de Langage (LLM) pour générer une liste de questions Oui/Non axées sur les attributs.

Ces questions vérifient la présence ou l'absence d'éléments spécifiques.
Le système détermine si la question nécessite une comparaison entre l'image de référence et l'image candidate (ex: "Les manches sont-elles plus longues ?") ou si elle peut être répondue uniquement avec l'image candidate.
Cela permet d'éviter les fuites d'information de l'image de référence et d'accélérer l'inférence.

B. Construction d'un Dataset VQA Spécifique à la Mode

Pour entraîner un modèle capable de répondre à ces questions, les auteurs construisent automatiquement un grand dataset de Visual Question Answering (VQA) spécifique à la mode.

Équilibre des données : Pour éviter un biais linguistique (où le modèle répondrait "Oui" par défaut), le dataset est équilibré en échantillonnant des images non-cibles pour générer des réponses "Non".
Annotation automatique : Un modèle VLM plus grand (InternVL-3-78B) est utilisé pour annoter automatiquement les réponses aux questions sur les images non-cibles.
Résultat : Un dataset de ~413 000 paires question-image, avec un équilibre parfait Oui/Non et environ 32 % de questions nécessitant une analyse d'images doubles.

C. Adaptation du Modèle VQA

Un modèle VLM (InternVL-3-1B) est fine-tuné sur ce nouveau dataset VQA en utilisant l'adaptation à faible rang (LoRA). Ce modèle apprend à raisonner sur les images de mode, à comparer les images de référence et candidates, et à répondre précisément aux questions générées.

D. Inférence et Re-ranking

Lors de la recherche :

Un modèle CIR standard (ex: FashionBLIP-2) génère un classement initial des images candidates.
Pour les $N$ meilleures images, FIRE-CIR génère les questions visuelles et utilise le modèle VQA fine-tuné pour calculer un score VQA. Ce score représente la probabilité que les réponses aux questions correspondent au texte de modification.
Le score final est une fusion pondérée du score CIR initial et du score VQA (normalisé via une fonction sigmoïde-like $\sigma_k$ pour robustesse).
Les images sont re-classées. Les images incompatibles avec le texte voient leur rang baisser, tandis que celles qui appliquent correctement les modifications sont promues.

3. Contributions Clés

Approche de raisonnement pilotée par les questions : Une méthode nouvelle qui améliore l'analyse de pertinence en permettant une comparaison fine-granulaire entre l'image de référence et les candidats via des questions explicites.
Dataset VQA auto-annoté : Création d'un dataset massif et équilibré pour adapter le raisonnement au domaine de la mode, atténuant l'impact des faux négatifs présents dans les données CIR traditionnelles.
Module de re-ranking universel : FIRE-CIR est conçu comme un module "plug-in" qui peut être intégré à n'importe quel modèle CIR existant pour améliorer ses performances et fournir des insights interprétables au niveau des attributs.

4. Résultats Expérimentaux

Les expériences ont été menées sur le benchmark Fashion IQ (et ses variantes raffinées : Refined-FashionIQ et enhFashionIQ).

Performance VQA : Le fine-tuning du modèle VQA a augmenté la précision de prédiction des réponses de 67,1 % à 81,9 % (évaluation automatique) et de 75,8 % à 83,7 % (évaluation manuelle).
Performance CIR (Fashion IQ) :
- Combiné à FashionBLIP-2, FIRE-CIR améliore le Recall@10 moyen de 2,43 % (passant de 55,73 % à 58,16 %) et le Recall@50 de 1,23 %.
- Il surpasse l'état de l'art (SOTA), y compris des méthodes comme DetailFusion et VQA4CIR.
- Les gains sont particulièrement notables sur la catégorie "Robes" (Dresses), en raison de la diversité des caractéristiques et de la capacité du modèle à gérer des changements spécifiques.
Ablation : L'étude montre que chaque composant (génération de multiples questions, fine-tuning, fusion des scores) contribue positivement, avec une amélioration plus marquée sur le Recall@10, indiquant une meilleure précision sur les premiers résultats.
Efficacité : L'utilisation d'un modèle de 1B paramètres (InternVL-3-1B) offre une inférence 3 fois plus rapide que les modèles 13B (LLaVA-1.5) tout en offrant de meilleures performances après fine-tuning. Le compromis vitesse/précision est optimisé en ne re-classant que les 250 meilleures images candidates.

5. Signification et Impact

FIRE-CIR marque une avancée significative dans la recherche d'images de mode en passant d'une approche basée sur la similarité globale à une approche basée sur le raisonnement explicite.

Interprétabilité : Contrairement aux méthodes "boîte noire", FIRE-CIR fournit une trace de raisonnement (les questions posées et les réponses obtenues), permettant de comprendre pourquoi une image a été sélectionnée ou rejetée.
Robustesse : La construction d'un dataset VQA équilibré et spécifique au domaine résout le problème des faux négatifs dans les données d'entraînement, rendant le modèle plus fiable pour des modifications complexes.
Applicabilité : En tant que module de re-ranking, il peut être déployé sur n'importe quel système de recherche existant pour améliorer immédiatement sa précision sans nécessiter de réentraînement complet du modèle de base.

En résumé, FIRE-CIR démontre que l'intégration d'un raisonnement visuel fin et interprétable est essentielle pour réussir la recherche d'images composées dans des domaines exigeants comme la mode.