Show, Don't Ask: Generative Visual Disambiguation for Composed Image Retrieval with Turn-Valid Coverage

Résumé Technique : CLARA pour la Récupération d'Images Composées

Énoncé du Problème
La récupération d'images composée (Composed Image Retrieval - CIR) permet aux utilisateurs de rechercher dans un corpus à l'aide d'une image de référence et d'un texte de modification (par exemple, « une tenue comme celle-ci, mais plus formelle »). Les systèmes actuels supposent généralement qu'une requête correspond à une image cible unique, évaluée via le Recall@K par rapport à une annotation unique. Cependant, les auteurs soutiennent que cette hypothèse est erronée : une requête composée définit rarement une image unique, mais plutôt une « région du corpus ». L'élément spécifique que l'utilisateur a en tête est sous-déterminé par la requête seule.

Des tentatives récentes pour traiter cette ambiguïté consistent à entourer un récupérateur d'une couche de prédiction conforme pour retourner un ensemble de candidats avec une probabilité de couverture garantie, en utilisant des questions textuelles pour résoudre l'incertitude résiduelle. Les auteurs identifient deux échecs critiques de cette approche existante :

1. Perte de la Garantie de Couverture : Les garanties de couverture conforme reposent sur l'échangeabilité des données. Lorsqu'un système pose une question de manière adaptative et met à jour sa croyance basée sur la réponse, il induit un décalage de covariable par rétroaction (feedback covariate shift). La réapplication du seuil de calibration original à la croyance mise à jour invalide la garantie de couverture, provoquant une dérive significative de la couverture réelle bien en dessous du niveau nominal après le premier tour.
2. Clarification Inefficace et Circulaire : Les questions textuelles sont un canal à faible bande passante pour transmettre des distinctions visuelles fines (point de vue, texture, style). De plus, les politiques basées sur le texte actuelles utilisent un modèle multimodal pour prédire les réponses de l'utilisateur afin de sélectionner les questions, créant ainsi une évaluation circulaire où le modèle pose et répond lui-même aux questions, optimisant potentiellement pour un simulateur plutôt que pour de vrais utilisateurs.

Méthodologie : CLARA
Les auteurs proposent CLARA (CLArification by Rendering Alternatives), un cadre qui remplace le questionnement textuel par une désambiguïsation visuelle générative tout en maintenant une garantie de couverture mathématiquement valide à travers les tours d'interaction.

1. Croyance Calibrée et Ensembles Conformes :
   Le système maintient une distribution de croyance $p(I|q, h_m)$ sur le corpus, conditionnée par la requête et l'historique de l'interaction. Il utilise la prédiction conforme adaptative pour générer un ensemble de candidats $C$ tel que la probabilité que la cible réelle soit dans l'ensemble est d'au moins $1-\alpha$. La taille de cet ensemble sert de mesure directe de l'ambiguïté.

2. Désambiguïsation Visuelle Générative (Montrer, plutôt que Demander) :
   Lorsque l'ensemble de candidats est trop grand (indiquant une ambiguïté élevée), CLARA ne pose pas de question textuelle. Au lieu de cela :

   • Partitionnement des Modes : Il regroupe l'ensemble des candidats en $k$ modes basés sur des axes d'ambiguïté interprétables (attributs préservés, attributs modifiés, point de vue, arrière-plan).
   • Génération pour Couvrir (Generate-to-Cover) : Il sélectionne un sous-ensemble de modes pour maximiser un objectif de couverture-diversité sous-modulaire, garantissant que le panneau représente l'espace complet de la croyance sans redondance.
   • Rendu et Recalage (Rendering and Snapping) : Un modèle de diffusion conditionnel rend un prototype d'image pour chaque mode sélectionné. Crucialement, chaque prototype rendu est « recalé » (snapped) sur l'exemplaire du corpus réel le plus proche (le médicoïde du mode). L'utilisateur voit l'image rendue mais sélectionne le sous-ensemble réel du corpus. Cela garantit que les artefacts de génération ne peuvent pas gonfler l'ensemble de prédiction ou violer la garantie de couverture.
   • Interaction Utilisateur : L'utilisateur choisit simplement le prototype le plus proche de son intention. Cela fournit un signal à haute bande passante et indépendant du modèle.

3. Couverture Valide par Tour via le Repondérage de Sélection :
   Pour traiter le décalage de covariable par rétroaction causé par la sélection de l'utilisateur, CLARA traite chaque tour de clarification comme un décalage explicite de la distribution de la requête.

   • Il calcule un poids de rapport de vraisemblance $w_m$ basé sur l'historique de sélection de l'utilisateur et le modèle de sélection $\pi$.
   • Il applique une prédiction conforme scindée pondérée (weighted split conformal prediction), en repondérant les scores de non-conformité lors de la calibration.
   • La Proposition 1 prouve qu'avec ce repondérage, la garantie de couverture ($Pr(IT \in C) \geq 1-\alpha$) est maintenue à chaque tour engagé, et non seulement au premier.

4. Mise à Jour de la Croyance :
   Lors d'un choix utilisateur, la croyance est mise à jour via un repondérage logique qui multiplie la croyance précédente par une vraisemblance d'appartenance douce (planchée pour éviter d'écarter la cible réelle en cas de choix erroné) et une mise à jour sémantique ajoutant le mode choisi à la requête textuelle.

Contributions Clés

• Identification du Décalage de Covariable par Rétroaction : Le papier démontre que la couverture conforme interactive dans le CIR échoue après le premier tour en raison de la sélection adaptative et propose un cadre théorique pour corriger cela via la prédiction conforme par repondérage de sélection.
• Désambiguïsation Visuelle Générative : CLARA remplace les questions textuelles par un rendu de modes de candidats piloté par la couverture. Cela élimine la circularité « modèle-réponse » et exploite la haute bande passante des signaux visuels pour les distinctions fines.
• Garantie Valide par Tour : Les auteurs fournissent une preuve que leur approche conforme pondérée maintient la garantie de couverture nominale à travers tous les tours d'interaction.
• AmbiCIR-V : Un nouveau protocole d'évaluation et une extension de jeu de données qui unifie les benchmarks de domaine ouvert et de mode (fashion) avec des métriques de clarification visuelle, incluant la couverture à travers les tours et les annotations d'axes d'ambiguïté.

Résultats
Les expériences ont été menées sur les benchmarks de domaine ouvert (CIRR), multi-positif (CIRCO) et mode (FashionIQ).

• Performance à Tour Unique : CLARA est statistiquement équivalent aux méthodes de pointe à tour unique, confirmant que la couche de résolution est sans coût pour les requêtes précises.
• Stabilité de la Couverture : Contrairement aux méthodes conformes interactives « naïves » qui dérivent jusqu'à 10 points de pourcentage en dessous de la couverture nominale au troisième tour, CLARA maintient une couverture nominale (environ 90 %) à travers tous les tours et axes d'ambiguïté.
• Efficacité de l'Interaction : CLARA atteint la cible en moins de tours que la politique de questionnement textuel la plus forte (EIG-TEXT). L'avantage est plus marqué sur l'ambiguïté de point de vue et d'attribut, où la sélection visuelle surpasse le questionnement textuel.
• Étude Humaine : Une étude avec 30 participants a confirmé que les utilisateurs réels préfèrent les panneaux visuels aux questions textuelles et atteignent des taux de succès plus élevés avec moins de tours, validant les résultats simulés.
• Robustesse : Le système reste robuste aux erreurs de l'utilisateur (mises à jour de vraisemblance douce) et aux choix adverses, la couverture se dégradant de manière progressive plutôt que catastrophique.

Signification et Revendications
Le papier prétend faire progresser le domaine en recadrant le CIR d'une tâche « une-requête-une-cible » vers un problème de « résolution d'intention calibrée ». La signification réside dans :

1. Rigueur Théorique : Établir que la récupération interactive est un problème de décalage de covariable par rétroaction et fournir la première méthode garantissant une couverture valide à chaque tour d'interaction.
2. Utilisabilité Pratique : Démontrer que « montrer » (rendu visuel) est un canal supérieur à « demander » (texte) pour résoudre l'ambiguïté visuelle, éliminant le besoin de modèles de réponse complexes et potentiellement biaisés.
3. Synthèse Fidèle : Introduire un mécanisme de « recalage au corpus » qui permet l'utilisation de modèles génératifs pour la visualisation sans compromettre les garanties statistiques du système de récupération.

Les auteurs concluent que traiter la récupération comme un processus visuellement interactif et calibré — mesurer l'ambiguïté, s'engager quand on est confiant, et montrer des alternatives quand on ne l'est pas — représente une étape nécessaire au-delà des hypothèses actuelles à tour unique.