Air-Know: Arbiter-Calibrated Knowledge-Internalizing Robust Network for Composed Image Retrieval

1. Problématique : Le Dilemme de la Correspondance de Triplets Bruitée (NTC)

La Recherche d'Images Composée (CIR) vise à retrouver une image cible ($I_t$) à partir d'une image de référence ($I_r$) et d'un texte de modification ($T_m$). Bien que prometteuse, cette tâche est sévèrement entravée par le problème de la Correspondance de Triplets Bruitée (Noisy Triplet Correspondence - NTC).

• La nature du bruit : Contrairement au bruit aléatoire classique (labels inversés) ou aux paires totalement incohérentes, le bruit dans les données CIR se manifeste souvent par des "correspondances partielles". Par exemple, une modification demandant "changer en manches courtes" peut être appliquée à un t-shirt alors que l'image cible est un t-shirt, mais l'image de référence était une chemise. Ces échantillons ne sont ni parfaitement "propres" ni totalement "bruités", créant une ambiguïté sémantique.
• L'échec des méthodes existantes : Les approches robustes actuelles reposent sur l'hypothèse du "petit loss" (les échantillons propres ont une faible erreur de perte, les bruités une erreur élevée). Dans le contexte NTC, cette hypothèse échoue car les correspondances partielles peuvent générer de faibles pertes tout en étant sémantiquement incorrectes.
• Le cycle vicieux : Lorsque le modèle tente d'identifier le bruit lui-même (en utilisant sa propre perte pour estimer la confiance), il tombe dans un cycle vicieux d'auto-dépendance. Il classe erronément des échantillons bruités comme propres, ce qui pollue l'espace de représentation, dégrade la précision, et aggrave encore l'identification du bruit.

2. Méthodologie : Air-Know et le Paradigme "Expert-Proxy-Diversion"

Pour briser ce cycle, les auteurs proposent Air-Know, un cadre d'apprentissage en trois phases qui découple l'arbitre (celui qui juge la qualité des données) de l'apprenant (le modèle de recherche).

Phase 1 : Arbitrage par Prior Externe (EPA - External Prior Arbitration)

• Objectif : Créer un jeu de données d'ancrage ($D_{anchor}$) de haute précision sans utiliser le modèle d'apprentissage.
• Mécanisme : Utilisation d'un Modèle de Langage Multimodal (MLLM) (ex: GPT-4o) agissant comme un expert externe hors ligne.
• Stratégie de Validation Croisée : Le MLLM ne se contente pas d'une classification binaire. Il suit un processus en trois étapes :
  1. Déconstruction : Analyse indépendante de l'image de référence, de l'image cible et du texte.
  2. Comparaison et Raisonnement : Inférence des changements visuels réels ($\Delta T_I$) et validation de leur cohérence avec le texte.
  3. Jugement : Classification finale en "Propre" ou "Bruité" basée sur une chaîne de raisonnement explicite, capable de gérer les correspondances partielles.

Phase 2 : Internalisation des Connaissances de l'Expert (EKI - Expert-Knowledge Internalization)

• Objectif : Transférer la logique de discrimination de l'expert (MLLM) vers un réseau léger et rapide, évitant ainsi l'appel coûteux au MLLM pendant l'entraînement.
• Mécanisme : Un proxy léger (un MLP) est entraîné sur le jeu d'ancrage $D_{anchor}$.
• Ingénierie des Entrées : Le proxy utilise un Vecteur de Déconstruction Géométrique (GDV) qui combine les caractéristiques de la requête, de la cible, leur différence et leur interaction.
• Inférence Bayésienne : Pour gérer la rareté des données d'ancrage et éviter le surapprentissage, le proxy utilise une approche variationnelle (Bayésienne) pour modéliser la distribution a posteriori des paramètres. Cela permet d'estimer une confiance probabiliste ($\hat{c}$) pour chaque triplet, plutôt qu'une décision binaire rigide.

Phase 3 : Réconciliation à Double Flux (DSR - Dual-Stream Reconciliation)

• Objectif : Utiliser la confiance $\hat{c}$ fournie par le proxy EKI pour guider l'entraînement du modèle principal.
• Mécanisme de Découplage : Les échantillons sont divisés dynamiquement en deux flux :
  1. Flux d'Alignement Propre : Pour les échantillons à haute confiance ($\hat{c} \approx 1$), on utilise une perte de contraste robuste pour optimiser l'apprentissage des caractéristiques.
  2. Flux de Réconciliation de Feedback : Pour les échantillons à faible confiance mais à forte similarité (bruit dur), on applique une perte spécifique pour forcer le modèle à réduire leur similarité, corrigeant ainsi la pollution de la représentation.
• Résultat : Le modèle apprend à ignorer le bruit tout en corrigeant activement les erreurs de représentation, brisant le cycle vicieux.

3. Contributions Clés

1. Paradigme de Découplage : Première approche à découpler efficacement l'arbitre de l'apprenant dans le contexte CIR, utilisant un expert MLLM hors ligne pour calibrer un proxy en ligne.
2. Mécanisme de Rétroaction : Introduction d'un flux de réconciliation qui utilise les échantillons bruités identifiés pour corriger le modèle de base, transformant le bruit en signal d'apprentissage correctif.
3. Validation de la Logique Expert : Démonstration qu'une validation croisée structurée (Déconstruction-Raisonnement-Jugement) est cruciale pour gérer l'ambiguïté sémantique des correspondances partielles, surpassant les approches end-to-end.

4. Résultats Expérimentaux

Les expériences ont été menées sur les benchmarks FashionIQ (domaine mode) et CIRR (domaine ouvert).

• Performance sous Bruit : Air-Know surpasse significativement les méthodes de l'état de l'art (SOTA) comme TME, HABIT et INTENT, en particulier sous des taux de bruit élevés (jusqu'à 80%).
  • Sur FashionIQ avec 20% de bruit, Air-Know atteint un R@10 moyen de 65.45% contre 63.97% pour TME.
  • Sur CIRR avec 50% de bruit, Air-Know maintient une performance supérieure (R@5 = 80.42% vs 79.63% pour HABIT).
• Robustesse : La méthode montre une dégradation beaucoup plus lente que les autres méthodes lorsque le niveau de bruit augmente.
• Efficacité : Bien que l'étape d'annotation par MLLM soit coûteuse, elle est hors ligne. L'inférence finale est très rapide (0.010s/échantillon), surpassant de 12x les méthodes utilisant des mécanismes d'attention lourds en temps réel.
• Études d'ablation : Elles confirment que chaque composant (EPA, EKI, DSR) est indispensable. La suppression de l'étape de raisonnement de l'EPA entraîne une chute drastique des performances, prouvant l'importance de la validation logique contre les biais de confirmation.

5. Signification et Impact

L'article Air-Know représente une avancée majeure pour la recherche d'images multimodale dans des conditions réalistes et imparfaites.

• Changement de Paradigme : Il démontre que l'hypothèse du "petit loss" est insuffisante pour le bruit sémantique complexe et propose une alternative basée sur l'internalisation de connaissances expertes.
• Utilisation des LLMs : Il offre une stratégie pragmatique pour exploiter la puissance de raisonnement des grands modèles de langage (LLMs/MLLMs) sans en subir le coût computationnel prohibitif en temps réel, en les utilisant comme "enseignants" pour entraîner des modèles plus légers.
• Application Pratique : En résolvant le problème de la pollution des représentations, Air-Know rend les systèmes de recherche d'images plus fiables pour des applications réelles où les données d'entraînement sont inévitablement bruitées et ambiguës.