FlowCIR: Semantic Transport via Flow Matching for Zero-Shot Composed Image Retrieval

Résumé Technique : FlowCIR

Énoncé du Problème
La recherche d'images composée à partir de zéro (Zero-Shot Composed Image Retrieval ou ZS-CIR) vise à récupérer une image cible en modifiant une image de référence à l'aide d'une instruction en langage naturel, sans dépendre de triplets annotés spécifiques au domaine. Les méthodes ZS-CIR existantes reposent principalement sur l'inversion textuelle (textual inversion), qui traduit l'image de référence en un petit ensemble de jetons (tokens) de pseudo-texte et les concatène avec l'instruction dans l'espace de plongement textuel. Les auteurs soutiennent que cette approche est perteuse et fragile pour la sémantique fine car la compression d'une image riche en quelques jetons entraîne inévitablement la perte d'indices visuels. De plus, l'apprentissage de projecteurs d'inversion efficaces nécessite souvent des ressources de calcul substantielles (par exemple, un entraînement multi-GPU sur des données à l'échelle du web). Par ailleurs, les modèles vision-langage (VLM) comme CLIP peinent avec la négation (par exemple, « pas de chien » ou « supprimer les rayures »), ce qui provoque souvent l'effondrement géométrique des concepts affirmatifs et négés dans l'espace de plongement, entraînant des échecs de recherche sur les requêtes riches en négations.

Méthodologie : FlowCIR
Le papier propose FlowCIR, un nouveau paradigme qui reformule le ZS-CIR comme un transport sémantique conditionnel au sein de l'espace de plongement des VLM pré-entraînés.

1. Transport Sémantique Conditionnel via le Flow Matching :
   Au lieu d'une manipulation statique de jetons, FlowCIR traite la composition comme un problème de transport continu. Il apprend un champ de vitesse conditionnel léger (une ODE neuronale) qui mappe l'embedding de l'instruction relative ($x_{Tr}$) vers un embedding textuel aligné sur la cible ($x_{Tt}$), conditionné par l'embedding de l'image de référence ($x_{Ir}$).

   • Entraînement : Le modèle est entraîné sur des triplets synthétiques en utilisant le Conditional Flow Matching (CFM). Il minimise la perte de régression entre le champ de vitesse prédit et la vitesse constante réelle ($x_{Tt} - x_{Tr}$) le long d'un chemin linéaire.
   • Objectif de Récupération : Une perte de récupération contrastive (InfoNCE) est ajoutée, où l'embedding textuel cible prédit est apparié à l'embedding d'image cible réel, en utilisant des négatifs difficiles (hard negatives) extraits du batch pour affiner la discrimination.
   • Efficacité : Le modèle opère sur des embeddings VLM pré-extraits et entraîne uniquement un petit module de transport (un MLP résiduel profond) sans mettre à jour les encodeurs d'image ou de texte. Cela permet un entraînement en environ 0,5 heure sur un seul GPU.

2. Pilotage Multi-Négatif (Inférence Uniquement) :
   Pour traiter l'ambiguïté géométrique de la négation dans les VLM, les auteurs proposent une stratégie exclusivement dédiée à l'inférence.

   • Mécanisme : Lorsqu'une instruction contenant une négation (ex: « supprimer X ») est reçue, un analyseur léger décompose l'instruction en une intention affirmative et des concepts niés.
   • Pilotage (Steering) : La méthode construit un embedding d'instruction piloté qui reste aligné avec l'intention affirmative mais qui est explicitement repoussé des directions géométriques des concepts niés (modélisés comme des calottes hypersphériques). Cela éloigne la représentation de l'« effondrement par négation » courant dans l'espace CLIP avant que le processus de transport ne commence.

Principales Contributions

1. Paradigme FlowCIR : Introduction du transport sémantique conditionnel via le flow matching comme mécanisme pour le CIR zero-shot, remplaçant l'inversion textuelle statique par un processus de composition continu guidé par la référence.
2. Pilotage Multi-Négatif : Proposition d'une stratégie d'inférence uniquement pour atténuer le mode de défaillance des VLM dans la gestion de la négation et des instructions de suppression, améliorant significativement la robustesse sur les requêtes riches en négations.
3. Efficacité de l'Entraînement : Démonstration d'un protocole d'entraînement efficace en termes de calcul qui atteint des performances compétitives avec seulement un module de transport léger entraîné pendant ~0,5 heure sur un seul GPU, contrastant avec les exigences de plusieurs jours et de multiples GPU des méthodes précédentes basées sur l'inversion.

Résultats Expérimentaux
Des expériences approfondies ont été menées sur trois benchmarks standards : CIRR, CIRCO et Fashion-IQ, en utilisant les backbones CLIP ViT-B/32 et ViT-L/14.

• Performance : FlowCIR obtient des performances solides et compétitives, surpassant souvent les méthodes antérieures basées sur l'inversion textuelle (ex: SEARLE, Pic2Word) et les méthodes génératives (ex: Compo-Diff).
  • Sur CIRR (ViT-L/14), il améliore le Recall@1 de 2,3 % par rapport à la meilleure base de données publique précédente.
  • Sur CIRCO (ViT-L/14), il améliore le mAP@5 de 14,6 % (passant de 13,0 à 14,9).
  • Sur Fashion-IQ, il obtient le meilleur Recall@10 moyen et égale le meilleur Recall@50.
• Efficacité : Comme illustré par l'analyse performance-coût du papier, FlowCIR atteint des performances de haut niveau avec une fraction du temps d'entraînement (0,5 h sur un seul RTX 3090) par rapport aux bases nécessitant des centaines d'heures de GPU ou des clusters massifs de TPU.
• Études d'Ablation :
  • Le Conditional Flow Matching est identifié comme le principal moteur de performance, prouvant que modéliser la composition comme un transport sémantique est supérieur à la régression directe ou aux bases textuelles seules.
  • Le Pilotage Multi-Négatif apporte des gains constants et complémentaires, particulièrement sur les requêtes riches en négations.
  • Espace Cible : Le transport vers l'embedding textuel cible (plutôt que vers l'embedding d'image) produit de meilleurs résultats, car il fournit un signal plus centré sur la sémantique et une cartographie plus homogène.

Signification et Revendications
Le papier affirme que FlowCIR offre un mécanisme fondé sur des principes et efficace en termes d'entraînement pour la composition cross-modale, évitant les pièges de l'inversion textuelle et les coûts élevés des approches génératives. En formulant le CIR comme un transport sémantique conditionnel, la méthode préserve mieux la sémantique fine et permet un processus de composition progressif guidé par la référence. Les auteurs positionnent ce travail comme une étape vers un nouveau paradigme pour la recherche cross-modale qui dépasse la composition statique, soulignant que les méthodes basées sur le flux peuvent atteindre une grande précision avec un surcoût computationnel minimal. La stratégie de Pilotage Multi-Négatif est présentée comme une solution pratique à une faiblesse connue des modèles de type CLIP, améliorant la fidélité de la recherche sans nécessiter de données d'entraînement supplémentaires ou de mise à jour de modèle.