PromptHub: Enhancing Multi-Prompt Visual In-Context Learning with Locality-Aware Fusion, Concentration and Alignment

1. Problématique et Contexte

L'apprentissage en contexte visuel (VICL - Visual In-Context Learning) vise à accomplir des tâches de vision par ordinateur en imitant des démonstrations au niveau des pixels. Bien que l'apprentissage en contexte (ICL) soit bien établi en NLP, son application visuelle rencontre des défis spécifiques :

• Limites des approches actuelles : Les méthodes récentes, comme CONDENSER (Wang et al., 2025), tentent de fusionner plusieurs prompts (démonstrations) pour enrichir le contexte. Cependant, elles utilisent une fusion patch-à-patch (patch-wise) et une supervision agnostique du modèle.
• Défauts identifiés :
  1. Sous-utilisation des informations : La fusion patch-à-patch ignore les relations spatiales globales et introduit du bruit aux frontières, limitant l'extraction d'indices informatifs.
  2. Manque de confiance du modèle : Les disparités entre le prompt fusionné et la paire requête peuvent amener le modèle de base (backbone) à se méfier de la représentation fusionnée, l'incitant à compter sur sa propre capacité d'inférence plutôt que sur les démonstrations.
  3. Supervision insuffisante : Les signaux de supervision actuels ne garantissent pas la cohérence sémantique ni l'exploitation efficace des prompts fusionnés.

2. Méthodologie : PromptHub

Pour surmonter ces limitations, les auteurs proposent PromptHub, un cadre qui renforce l'apprentissage multi-prompts via une fusion, une concentration et un alignement conscients de la localité.

A. Architecture et Fusion Localement Sensible

PromptHub s'appuie sur le backbone MAE-VQGAN. Au lieu d'une fusion patch-à-patch, il introduit une fusion de prompts améliorée par la localité dans l'espace des embeddings :

• Priorité de localité (Locality Prior) : Le modèle applique des poids spatiaux décroissants rayonnant à partir du patch courant. Cela permet de capturer des informations contextuelles riches tout en atténuant le bruit des bords.
• Distribution spatiale : Une distribution de probabilité (Gaussienne ou Laplacienne, contrôlée par un hyperparamètre $\sigma$) définit l'importance des voisins spatiaux.
• Mécanisme d'attention : Une attention croisée adaptée à la requête (query-adaptive cross-attention) utilise cette priorité de localité pour pondérer les caractéristiques des $N$ paires de prompts, produisant un exemple fusionné $(F_{Xf}, F_{Yf})$ cohérent avec la requête.

B. Objectifs d'Apprentissage Coopératifs

Pour guider l'optimisation et créer une boucle fermée "Fusion – Utilisation – Prédiction", trois objectifs complémentaires sont définis :

1. Perte de prédiction d'étiquette ($\mathcal{L}_p$) : Basée sur CONDENSER, elle assure la fonctionnalité de base du VICL en alignant la reconstruction de la zone masquée avec l'étiquette cible.
2. Perte d'alignement des caractéristiques fusionnées ($\mathcal{L}_s$) : Elle aligne les tokens continus du prompt fusionné avec les tokens discrets de la requête (traitée comme un prompt). Cela garantit l'intégrité sémantique et réduit l'écart entre le prompt fusionné et la requête.
3. Perte d'utilisation ($\mathcal{L}_u$) : Une perte de similarité cosinus conçue pour réduire la dissimilarité entre la paire requête et le prompt fusionné. Cela force le backbone à faire confiance et à utiliser activement les informations fusionnées plutôt que de les ignorer.

L'objectif global est une somme pondérée : $\min_{\theta} \mathcal{L}_p + \lambda\mathcal{L}_s + \gamma\mathcal{L}_u$.

C. Augmentation de Données

Une stratégie d'augmentation spécifique au VICL est introduite durant l'entraînement :

• Remplacement aléatoire de certains paires de prompts par la paire requête elle-même (pour minimiser l'écart et renforcer $\mathcal{L}_u$).
• Remplacement par des paires aléatoires (pour introduire du bruit contrôlé et améliorer la robustesse de $\mathcal{L}_s$).

3. Contributions Clés

1. Stratégie de fusion améliorée par la localité : Un mécanisme qui équilibre la localité spatiale et le champ récepteur global, permettant une extraction d'informations plus complète et moins bruitée que les approches patch-à-patch.
2. Triplet d'objectifs d'apprentissage : Une combinaison de pertes qui supervise simultanément la qualité de la fusion, la concentration du modèle sur les indices fusionnés et la prédiction contextuelle.
3. Validation empirique robuste : Démonstration de la supériorité de la méthode sur trois tâches fondamentales, avec une excellente transférabilité et une robustesse face à des stratégies de récupération de prompts variées (y compris aléatoires).

4. Résultats Expérimentaux

Les expériences ont été menées sur trois tâches : Segmentation (Pascal-5i), Détection (Pascal VOC2012) et Colorisation (ImageNet).

• Performance Supérieure : PromptHub surpasse systématiquement l'état de l'art (notamment CONDENSER).
  • En configuration monoprompt ($N=1$) : Gain de +2,3 % (Segmentation), +3,0 % (Détection) et +5,1 % (Colorisation) par rapport à CONDENSER.
  • En configuration multi-prompts ($N=16$) : Gain de +2,5 %, +2,1 % et +7,2 % respectivement.
• Transférabilité : Entraîné sur COCO-5i et testé sur Pascal-5i, PromptHub montre une amélioration de 4,1 % par rapport à CONDENSER en mode multi-prompts, prouvant sa capacité à généraliser à de nouveaux domaines.
• Robustesse :
  • Désalignement spatial : PromptHub est beaucoup moins sensible aux décalages de position (flips horizontaux) que CONDENSER, grâce à sa fusion consciente de la localité.
  • Récupération de prompts : La méthode reste performante même avec des récupérateurs de prompts simples (aléatoires) ou complexes, confirmant sa généralité.
• Qualité de la fusion : Les visualisations montrent que les prompts fusionnés par PromptHub sont plus lisses et sémantiquement cohérents avec la requête que les motifs bruités générés par CONDENSER.

5. Signification et Impact

Ce travail établit un nouveau paradigme fiable pour la fusion de prompts dans le VICL. En passant d'une approche "patch-wise" à une approche "localement consciente", PromptHub résout le problème de la méfiance du modèle envers les prompts fusionnés.

• Avancée théorique : Il démontre que l'intégration de priors spatiaux et d'objectifs d'alignement sémantique est cruciale pour exploiter pleinement le potentiel de l'apprentissage en contexte visuel multi-prompts.
• Pratique : La méthode est efficace, transférable et robuste, offrant une solution compétitive pour diverses tâches de vision sans nécessiter de réentraînement massif des modèles de base.
• Interprétabilité : Les visualisations des prompts fusionnés offrent une meilleure compréhension de ce que le modèle apprend, validant l'efficacité de l'approche par rapport aux méthodes heuristiques précédentes.

En résumé, PromptHub représente une avancée significative vers des systèmes de vision capables d'apprendre de manière plus efficace et fiable à partir de multiples exemples visuels, en harmonisant la fusion d'informations avec la structure spatiale des images.