Résumé technique : Découplage de l'apprentissage de l'extrémité et de la transition sémantique pour la recherche d'images composées en zéro-shot (DeCIR)

1. Définition du problème

La recherche d'images composées en zéro-shot (ZS-CIR) vise à retrouver une image cible à partir d'une image de référence et d'une modification textuelle, sans recourir à des triplets de référence–instruction–cible annotés par des humains. Bien que les méthodes basées sur la projection (qui mappent les images vers des plongements textuels à l'aide de modèles comme CLIP) offrent une inférence légère sans grands modèles de langage (LLM), elles souffrent d'un goulot d'étranglement de la transition sémantique.

Dans ces méthodes, l'encodeur textuel infère implicitement la transition de la source (référence) vers la cible. Cependant, sans supervision explicite pour cette transition, le modèle tombe souvent dans un « raccourci d'extrémité ». Au lieu d'apprendre une transition sémantique conditionnée par la source (par exemple, « changer l'oiseau vert en deux oiseaux verts »), le modèle traite le texte de modification uniquement comme un indice d'attribut côté cible (par exemple, « deux oiseaux »), retrouvant toute image correspondant à l'attribut cible tout en ignorant les contraintes spécifiques de l'image de référence.

De plus, les auteurs identifient que l'ajout naïf d'une supervision de transition sémantique au même adaptateur textuel de faible rang utilisé pour l'alignement de l'extrémité crée un conflit d'optimisation. Les objectifs d'alignement de la requête vers l'extrémité cible et d'alignement de l'instruction vers le déplacement sémantique (transition) se disputent le même espace de paramètres, entraînant une interférence de gradient qui dégrade les performances.

2. Méthodologie : DeCIR

Le cadre proposé, DeCIR, résout ces problèmes grâce à un découplage de l'extrémité et de la transition conscient du conflit et à une stratégie de fusion novatrice.

2.1 Construction de la supervision via les LLM (Hors ligne uniquement)

Pour surmonter le manque de triplets annotés, DeCIR utilise un LLM (spécifiquement glm-4-flash) hors ligne pour convertir des paires image-légende standard (issues de CC3M) en tuples d'édition avant/arrière structurés.

• Édition avant : Génère une légende cible et une instruction décrivant un changement visuel spécifique depuis la source.
• Édition arrière : Génère une instruction qui annule le changement avant.
• Ce processus crée un signal de supervision bidirectionnel $(I_{ref}, c_{src}, t_{fwd}, c_{tgt}, t_{rev})$ sans nécessiter d'annotation humaine ni l'utilisation de LLM pendant l'inférence.

2.2 Architecture d'entraînement découplée

DeCIR emploie deux branches d'adaptateur textuel de faible rang spécialisées sur l'encodeur textuel CLIP, initialisées à partir des mêmes poids mais optimisées séparément :

1. Branche d'alignement de l'extrémité ($E^{end}_T$) : Optimisée avec une perte de contraste ($L_{end}$) pour aligner l'embedding de la requête composée avec l'embedding de la légende cible générée. Cette branche définit le chemin de déploiement récupérable.
2. Branche de transition sémantique ($E^{trans}_T$) : Optimisée avec une perte de transition ($L_{trans}$) pour aligner l'instruction avant avec le vecteur de déplacement sémantique ($\delta = f^{trans}_{tgt} - f_{src}$) et l'instruction arrière avec $-\delta$. Cette branche apprend à encoder la direction du changement plutôt que l'extrémité finale.

Les paramètres LoRA de l'encodeur visuel et le réseau d'inversion ($f_\phi$) sont mis à jour uniquement par la branche d'extrémité, garantissant que le chemin de récupération reste stable tandis que la branche de transition se spécialise dans la sémantique de l'instruction.

2.3 Fusion directionnelle de faible rang (LRDM)

Pour maintenir un pipeline d'inférence léger, les deux branches sont fusionnées en un seul adaptateur déployable après l'entraînement.

• Base partagée : Les deux branches partagent la matrice de base de sortie de faible rang $B_\ell$.
• Fusion des coefficients : Les matrices de coefficients spécifiques aux branches ($A^{end}_\ell$ et $A^{trans}_\ell$) sont fusionnées linéairement : $A^{merge}_\ell = (1-\alpha)A^{end}_\ell + \alpha A^{trans}_\ell$.
• Asymétrie : La branche d'extrémité préserve la structure du socle, tandis que la branche de transition contribue des coefficients de transition sémantique au sein de cette base partagée. La branche de transition est abandonnée après la fusion, résultant en un seul adaptateur textuel pour l'inférence.

3. Contributions clés

1. Identification du goulot d'étranglement de la transition sémantique : L'article démontre que le ZS-CIR basé sur la projection échoue sur les éditions complexes car l'encodeur textuel réduit la modification à un indice côté cible, abandonnant les preuves conditionnées par la source.
2. Diagnostic du conflit d'optimisation : Grâce à une sonde de gradient couche par couche, les auteurs montrent que l'optimisation conjointe de l'alignement de l'extrémité et de l'alignement de la transition sémantique dans un adaptateur partagé provoque une interférence de gradient significative, en particulier dans les couches profondes des transformateurs.
3. Cadre d'apprentissage découplé : DeCIR introduit une stratégie d'entraînement qui sépare l'apprentissage de l'extrémité et de la transition en branches spécialisées pour éviter les interférences.
4. Fusion directionnelle de faible rang (LRDM) : Une technique de fusion qui intègre la sensibilité à la transition sémantique dans le pipeline basé sur la projection sans augmenter la complexité de l'inférence ni nécessiter de LLM au moment de l'exécution.

4. Résultats expérimentaux

DeCIR a été évalué sur quatre benchmarks : CIRR (désambiguïsation d'images naturelles), CIRCO (classement multi-cibles), FashionIQ (éditions mode) et GeneCIS (recherche conditionnelle).

• Performance : DeCIR surpasse constamment les méthodes basées sur la projection les plus avancées (par exemple, Pic2Word, DistillCIR, Slerp) et approche ou dépasse les méthodes basées sur les LLM (par exemple, CIReVL) en termes de précision de récupération.
  • Sur CIRCO (ViT-L/14), DeCIR a atteint 21,3 % de mAP@5, soit une amélioration de 2,6 % par rapport au meilleur précédent (DistillCIR).
  • Sur CIRR, DeCIR a atteint 33,4 % de R@1 (ViT-L/14), surpassant DistillCIR (32,3 %).
  • Sur FashionIQ, il a obtenu les meilleures performances moyennes dans les catégories robe, chemise et haut.
• Études d'ablation :
  • Découplage : L'entraînement conjoint des deux objectifs dans un adaptateur partagé a donné de moins bons résultats que l'entraînement uniquement pour la récupération, confirmant le conflit de gradient. L'entraînement découplé suivi de LRDM a produit les meilleurs résultats.
  • Fusion : LRDM a surpassé les stratégies génériques de fusion de modèles (Task Arithmetic, TIES, DARE), validant la conception de fusion asymétrique des coefficients.
  • Efficacité de l'inférence : DeCIR maintient un profil d'inférence léger similaire aux autres méthodes basées sur la projection (environ 467 M de paramètres) et ne nécessite ni LLM ni boucles de raisonnement pendant l'inférence, contrairement aux approches lourdes basées sur les LLM.

5. Importance et revendications

L'article revendique que DeCIR résout avec succès le compromis entre l'efficacité des méthodes basées sur la projection et les capacités de raisonnement des méthodes basées sur les LLM. En modélisant explicitement la transition sémantique de la source vers la cible grâce à un apprentissage découplé et une fusion, DeCIR permet aux modèles légers d'effectuer des éditions complexes et fines sans s'effondrer dans des raccourcis d'extrémité.

Les auteurs soulignent que leur approche améliore le compromis précision-efficacité dans le ZS-CIR. Ils ne prétendent pas remplacer entièrement le raisonnement basé sur les LLM, mais démontrent que, grâce à une construction appropriée de la supervision et à un découplage architectural, les modèles basés sur la projection peuvent atteindre des performances compétitives tout en conservant les avantages de déploiement d'être légers et exempts de LLM au moment de l'inférence. Le travail est limité aux paramètres basés sur la projection et repose sur une supervision LLM hors ligne pour la génération de données d'entraînement.