💻 computer science

Love Me, Love My Label: Rethinking the Role of Labels in Prompt Retrieval for Visual In-Context Learning

Ce papier présente LaPR, un cadre d'apprentissage en contexte visuel qui améliore la récupération des prompts en intégrant explicitement des informations d'étiquettes via une représentation conjointe image-étiquette et un mécanisme d'experts mixtes, surmontant ainsi les limites des approches précédentes qui négligent la cohérence des étiquettes.

Auteurs originaux : Tianci Luo, Haohao Pan, Jinpeng Wang, Niu Lian, Xinrui Chen, Bin Chen, Shu-Tao Xia, Chun Yuan

Publié 2026-04-07

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Tianci Luo, Haohao Pan, Jinpeng Wang, Niu Lian, Xinrui Chen, Bin Chen, Shu-Tao Xia, Chun Yuan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎨 Le Problème : Le Dilemme du "Mauvais Exemple"

Imaginez que vous êtes un artiste débutant qui veut apprendre à dessiner un chien. Vous demandez à un maître (l'intelligence artificielle) de vous montrer un exemple pour vous guider.

L'ancienne méthode (sans étiquettes) : Le maître regarde votre demande, cherche dans sa bibliothèque des images qui ressemblent visuellement à un chien. Il trouve une photo magnifique d'un chien qui joue avec un chat. Visuellement, c'est très proche (des poils, des pattes, une queue). Mais le problème ? L'étiquette sur cette photo dit "Chat".
Le résultat : Votre modèle, confus, essaie de dessiner un chien mais finit par copier les traits du chat. C'est une catastrophe ! C'est ce qui arrive souvent aux systèmes actuels : ils se focalisent trop sur l'apparence de l'image et oublient de vérifier si le sujet (l'étiquette) correspond vraiment.

💡 La Solution : LaPR (Aimer l'Étiquette)

Les auteurs de cet article ont dit : "Attendez, si on veut un bon exemple, il ne suffit pas que l'image ressemble au but, il faut aussi que l'étiquette soit la bonne !".

Ils ont créé LaPR, un système qui agit comme un bibliothécaire très méticuleux.

1. Le Duo Gagnant : Image + Étiquette

Au lieu de ne regarder que la photo, LaPR regarde la photo ET son étiquette (par exemple : "Chien", "Voiture", "Pomme") en même temps.

Analogie : Imaginez que pour choisir un livre, on ne regarde pas seulement la couverture (l'image), mais aussi le résumé au dos (l'étiquette). Si vous cherchez un livre sur les chats, on ne vous donnera pas un livre sur les chats avec une couverture de chien, même si les deux sont mignons.

2. Les Experts et le Chef d'Orchestre (Le Router)

C'est ici que ça devient fascinant. Le système utilise une technique appelée "Mélange d'Experts" (Mixture of Experts).

Les Experts : Imaginez une équipe de 10 spécialistes.
- L'Expert 1 est un expert des "oreilles pointues".
- L'Expert 2 est un expert des "museaux longs".
- L'Expert 3 est un expert des "poils courts".
- Chacun voit le monde différemment.
Le Chef d'Orchestre (Le Router) : Quand vous arrivez avec votre demande (ex: "Je veux dessiner un chien"), vous ne savez pas exactement quel expert vous voulez. Le Chef d'Orchestre analyse votre demande et dit : "Ok, pour ce chien-là, on a besoin de 30% de l'Expert 1, 50% de l'Expert 2 et 20% de l'Expert 3".
L'astuce : Le Chef d'Orchestre essaie de deviner l'étiquette cachée de votre demande (même si vous ne l'avez pas donnée) pour choisir les bons experts. Cela permet de trouver des exemples qui correspondent exactement à ce que vous cherchez, pas juste à ce qui ressemble.

🏆 Pourquoi c'est génial ?

Les chercheurs ont testé leur méthode sur trois tâches difficiles :

Découper des images (Segmentation) : Comme découper un gâteau pour ne garder que la part de fraise.
Trouver des objets (Détection) : Comme trouver l'aiguille dans une botte de foin.
Colorier des dessins (Colorisation) : Comme transformer un dessin animé en noir et blanc en une image en couleurs.

Les résultats ?

Moins d'erreurs : Le système ne se trompe plus en choisissant un exemple "Chat" pour une demande "Chien".
Plus de précision : Les images générées ou les objets détectés sont beaucoup plus justes.
Robustesse : Même si on change le "moteur" de base (le cerveau de l'IA), LaPR fonctionne toujours aussi bien.

🚀 En Résumé

Imaginez que vous cherchez un partenaire de danse.

L'ancienne méthode vous dit : "Regarde, cette personne a la même taille et les mêmes chaussures que toi ! C'est parfait !". Mais en réalité, cette personne danse du tango alors que vous voulez du salsa. Résultat : vous trébuchez.
LaPR (La nouvelle méthode) dit : "Attends, vérifions aussi le style de danse (l'étiquette). Ah, cette personne danse du tango ? Non, cherchons quelqu'un qui danse du salsa, même si ses chaussures sont un peu différentes."

Le message clé de l'article : Pour que l'intelligence artificielle apprenne mieux, il ne faut pas seulement lui montrer de jolies images, il faut lui donner les étiquettes (les noms, les catégories) pour qu'elle comprenne vraiment ce qu'elle regarde. C'est comme dire "Aime-moi, aime mon étiquette" : si vous aimez l'image, vous devez aussi respecter ce qu'elle représente !

1. Problématique

L'apprentissage contextuel visuel (VICL - Visual In-Context Learning) permet aux modèles de fondation visuels d'effectuer diverses tâches en utilisant des exemples démonstratifs (prompts). La performance du VICL dépend fortement du choix de ces prompts.

Les travaux antérieurs se sont concentrés sur la récupération et le réordonnancement de prompts basés principalement sur la similarité visuelle des images, négligeant souvent les étiquettes (labels) associées.

Le problème identifié : Les approches actuelles peuvent récupérer des prompts visuellement similaires mais incohérents au niveau des étiquettes. Par exemple, pour une requête d'un chat, le système pourrait récupérer une image contenant un chat et une fleur, mais étiquetée « fleur », ce qui dégrade les prédictions du modèle.
L'observation clé : Les auteurs ont démontré une corrélation positive entre la cohérence des étiquettes entre la requête et le prompt, et la performance finale du VICL. Ignorer les étiquettes lors de la phase de récupération prive le système d'informations cruciales.

2. Méthodologie : Le Framework LaPR

Les auteurs proposent LaPR (Label-aware Prompt Retrieval), un nouveau paradigme qui intègre explicitement les étiquettes dans le processus de sélection des prompts.

A. Représentation Jointe Image-Étiquette

Côté Prompt : Au lieu d'utiliser uniquement l'image, LaPR fusionne les caractéristiques de l'image du prompt ( $I^p$ ) et de son étiquette ( $L^p$ ) pour créer une représentation conjointe ( $z_i = z^I_i + z^L_i$ ). Cela permet d'encoder explicitement le contexte sémantique du prompt.
Côté Requête : Le défi majeur est que l'étiquette de la requête ( $y_q$ ) est inconnue au moment de l'inférence. Pour contourner cela, LaPR utilise un mécanisme de Mixture of Experts (MoE).

B. Architecture Mixture of Experts (MoE) et Routage Adaptatif

Le système utilise des encodeurs doubles (pour la requête et les prompts) équipés de plusieurs experts ( $E_k$ ) et d'un routeur ( $R$ ) :

Experts : Chaque expert est spécialisé dans la capture d'un « mode » spécifique (par exemple, des caractéristiques fines comme une corne, un bec pointu, ou une texture spécifique), au-delà de la simple catégorie globale.
Routeur Adaptatif : Le routeur analyse l'image de la requête et prédit une distribution de probabilité ( $\pi_q$ ) sur les $K$ experts. Cela permet d'estimer implicitement l'étiquette de la requête et d'adapter les poids de mélange pour extraire les informations les plus pertinentes.
Embeddings Adaptatifs : Les embeddings de la requête et des prompts sont pondérés par ces coefficients de mélange pour former des représentations « conscientes des étiquettes » ( $\tilde{u}_q$ et $\tilde{p}_{i|q}$ ).

C. Processus d'Optimisation Alternée

Pour découpler les rôles des experts (qui doivent apprendre des modes spécifiques) et du routeur (qui doit inférer les mélanges), LaPR utilise une optimisation alternée par mini-lots :

Étape Expert (Fixe le routeur) : Les experts sont optimisés via une perte contrastive guidée par la performance ( $\mathcal{L}_{PG}$ ). Cette perte utilise les scores réels de la tâche VICL (obtenus via un modèle de fondation comme MAE-VQGAN) pour sélectionner les meilleurs et pires prompts, renforçant ainsi les encodages spécifiques aux modes.
Étape Routeur (Gèle les experts) : Le routeur est optimisé via une perte contrastive guidée par l'étiquette ( $\mathcal{L}_{LG}$ ) et une pénalité d'équilibrage de charge ( $\mathcal{L}_{LB}$ ). Le but est d'aligner les modes sélectionnés avec les étiquettes de vérité terrain et d'assurer que tous les experts sont utilisés équitablement.

3. Contributions Clés

Première approche consciente des étiquettes : C'est la première méthode à intégrer explicitement les étiquettes des prompts dans la récupération pour le VICL, adressant le problème de l'incohérence sémantique.
Architecture MoE adaptative : Conception d'embeddings de requête et de prompts qui s'adaptent dynamiquement aux modes sous-jacents via un routeur, permettant d'estimer l'étiquette implicite de la requête.
Stratégie d'optimisation découplée : Une méthode d'entraînement alterné qui sépare l'apprentissage des représentations de modes (experts) de l'apprentissage de l'inférence de l'étiquette (routeur), améliorant la stabilité et l'efficacité.
Preuve de concept : Démonstration que l'utilisation des étiquettes est un principe fondamental pour améliorer la sélection de prompts en VICL.

4. Résultats Expérimentaux

Les expériences ont été menées sur trois tâches VICL : la segmentation de premier plan, la détection d'objets uniques et la colorisation d'images, utilisant des benchmarks standards (Pascal-5i, Pascal VOC, ImageNet).

Performance Supérieure : LaPR atteint des performances de pointe (State-of-the-Art) sur toutes les tâches. Par rapport aux meilleures méthodes de réordonnancement (RH-Partial2Global), LaPR améliore la segmentation de 6,00 % et la détection de 3,46 % (sans stratégie de vote).
Généralisation Transverse (Cross-Fold) : LaPR montre une robustesse exceptionnelle lors du transfert entre différents plis de données (folds), surpassant les méthodes existantes de plus de 14 % en moyenne. Cela suggère que les experts apprennent des modes plus fins que de simples catégories.
Robustesse aux Extracteurs de Caractéristiques : La méthode fonctionne efficacement avec différents encodeurs visuels (CLIP, DINOv2), confirmant que l'amélioration provient de l'architecture LaPR et non d'un extracteur spécifique.
Analyse Qualitative : Les visualisations montrent que LaPR évite les erreurs de cohérence d'étiquette fréquentes chez les méthodes "agnostiques" (qui ignorent les étiquettes), récupérant des prompts visuellement et sémantiquement cohérents.

5. Signification et Impact

Ce travail remet en question le paradigme dominant de la récupération de prompts basée uniquement sur la similarité visuelle. Il établit que l'étiquette est une information critique, même lorsqu'elle n'est pas explicitement fournie pour la requête au moment de l'inférence.

En introduisant un mécanisme pour estimer et exploiter ces étiquettes implicites via des experts spécialisés, LaPR offre une nouvelle fondation pour l'apprentissage contextuel visuel. Cela ouvre la voie à des recherches futures visant à mieux intégrer les informations sémantiques et structurelles dans les systèmes de récupération pour les modèles de fondation multimodaux.