Résumé Technique : Apprentissage Multi-granular en forme de U pour les Modèles Vision-Langage (UPrompt)

1. Énoncé du Problème

Les modèles vision-langage (VLM) adaptés via l'apprentissage par prompt font face à un dilemme de granularité fondamental. Les méthodes existantes optimisent généralement à une granularité unique et fixe, créant un compromis inhérent :

• Prompts Globaux : Des stratégies comme CoOp capturent un contexte large mais manquent de conscience sémantique fine, échouant à encoder les caractéristiques locales nécessaires à un raisonnement détaillé (par exemple, avec des performances insuffisantes sur le jeu de données FGVCAircraft).
• Prompts Locaux : Les prompts finement structurés préservent les détails locaux mais peinent à intégrer un contexte global suffisant ou à modéliser les relations compositionnelles entre les régions.

Cette limitation contraint la performance d'adaptation et la généralisation à travers diverses tâches telles que la recherche croisée de modalités, la classification à peu d'exemples (few-shot) et la généralisation de base à nouveau (base-to-novel). Bien que les architectures hiérarchiques comme U-Net aient réussi à unifier les représentations multi-niveaux dans les tâches de prédiction dense (opérant sur des grilles de pixels spatiales), transférer ces principes à l'apprentissage par prompt est non trivial. L'apprentissage par prompt opère dans un espace d'embedding abstrait où les prompts textuels manquent de structure géométrique inhérente, rendant la construction de représentations multi-granularités significatives et d'un flux d'information bidirectionnel particulièrement complexe.

2. Méthodologie : UPrompt

Les auteurs proposent UPrompt, un cadre d'apprentissage par prompt multi-granular en forme de U, inspiré de U-Net. Il construit des représentations multi-granularités parallèles dans les modalités visuelles et textuelles, connectées par des mécanismes de flux d'information bidirectionnels.

2.1 Construction Multi-granulaire en forme de U

Le cadre étend les encodeurs CLIP à des versions multi-granularités ($k \in [1, K]$), allant des niveaux les plus grossiers aux plus fins.

• Modalité Visuelle : Construit des hiérarchies de patchs imbriquées via un pooling spatial progressif dans l'espace d'embedding. En partant des tokens de patch les plus fins ($E^{(K)}_{patch}$), les représentations plus grossières sont dérivées de manière récursive ($E^{(k)}_{patch} = Pool^{(k)}(E^{(k+1)}_{patch})$). Des prompts apprenables sont concaténés à ces embeddings poolés avant d'être injectés dans l'encodeur de vision.
• Modalité Textuelle : Construit des hiérarchies sémantiques via un enrichissement progressif. Les sémantiques centrales sont extraites ($T^{(1)}_{embed}$), et les niveaux suivants sont générés en ajoutant de manière itérative des élaborations spécifiques à la granularité ($T^{(k)}_{embed} = T^{(k-1)}_{embed} \oplus \Phi^{(k)}_{refine}(t)$). Ceux-ci sont instanciés à l'aide de Grands Modèles de Langage (LLM) pour générer des descriptions textuelles hiérarchiques (par exemple, d'concepts abstraits à des descriptions détaillées).

2.2 Mécanismes de Connexion Bidirectionnelle

Pour assurer la cohérence inter-niveaux et l'apprentissage complémentaire, UPrompt introduit deux mécanismes clés analogues aux connexions de saut (skip connections) de U-Net :

1. Amélioration en Cascade du Grossier vers le Fin (CE - Coarse-to-Fine Cascaded Enhancement) :

   • Objectif : Adresser le déficit de contexte où les embeddings fins manquent de guidage global.
   • Mécanisme : Injecte des informations contextuelles grossières dans les embeddings plus fins en utilisant l'attention inter-granularité. L'embedding amélioré $\hat{X}^{(k)}$ est calculé en prêtant attention à la représentation améliorée du niveau grossier $\hat{X}^{(k-1)}$.
   • Effet : Permet aux caractéristiques fines d'extraire des informations contextuellement pertinentes à partir des représentations globales, améliorant ainsi la modélisation locale.

2. Supervision Hiérarchique du Fin vers le Grossier (HS - Fine-to-Coarse Hierarchical Supervision) :

   • Objectif : Adresser l'incohérence d'optimisation et la dérive sémantique aux granularités grossières.
   • Mécanme : Utilise les caractéristiques du niveau le plus fin (qui possèdent la correspondance cross-modale optimale) comme "signaux d'enseignant" pour superviser les niveaux plus grossiers via la distillation de connaissances. La divergence KL entre la distribution de similarité du niveau grossier et la distribution détachée du niveau fin est minimisée.
   • Effet : Assure la cohérence sémantique à travers les échelles, empêchant les représentations grossières de dériver tout en maintenant leur nature complémentaire.

2.3 Objectif Global

L'objectif d'entraînement combine une perte d'alignement contrastif à travers les $K$ niveaux de granularité avec la perte de supervision hiérarchique ($L_{guide}$). Lors de l'inférence, le système peut sélectionner de manière flexible les niveaux de granularité pour équilibrer performance et efficacité, utilisant par défaut le niveau le plus fin pour une précision optimale.

3. Contributions Clés

• Cadre UPrompt : Un cadre inspiré de U-Net qui introduit une hiérarchie structurée dans l'adaptation vision-langage, surmontant les limitations de l'échelle unique grâce à des voies multi-granularités parallèles.
• Flux d'Information Bidirectionnel : L'introduction de l'Amélioration en Cascade du Grossier vers le Fin (injection de contexte global dans les détails locaux) et de la Supervision Hiérarchique du Fin vers le Grossier (régularisation des granularités grossières par l'alignement du niveau fin) pour assurer la cohérence sémantique et un apprentissage complémentaire.
• Validation Complète : Démonstration d'une performance supérieure sur 17 benchmarks, incluant la recherche croisée de modalités, la classification à peu d'exemples, la généralisation de base à nouveau et les scénarios hors distribution.

4. Résultats Expérimentaux

Des expériences approfondies valident l'efficacité de UPrompt :

• Recherche Croisée de Modalités :
  • Sur MSCOCO, UPrompt surpasse MAMET et VPKE de 4.1 et 7.3 rSum, respectivement.
  • Sur Flickr30K, il atteint un rSum de 571.1, surpassant des méthodes de fine-tuning récentes comme DoPL, MAMET et VPKE.
• Généralisation de Base à Nouveau :
  • Atteint une Moyenne Harmonique (HM) de 82.12% sur 11 jeux de données, surpassant CoCoA-Mix de 5.09% et dépassant TAP et SurPL-G.
  • Des gains notables sont observés sur des jeux de données exigeants comme FGVCAircraft (+0.79% HM).
• Classification à Peu d'Exemples (Few-Shot) :
  • Atteint une précision moyenne de 85.13% sur 11 jeux de données à 16-shots, surpassant GalLoP, ProVP-Ref et MMA.
• Efficacité et Adaptabilité :
  • Inférence Adaptative : Utilisant une stratégie de sortie précoce en cascade, UPrompt égale la précision du niveau fin tout en réduisant le coût computationnel à 48%, soit une accélération de 2.1×.
  • Rapport Coût-Performance : La configuration de granularité moyenne (UPrompt-M) égale la précision de PSRC avec seulement 1/3 des FLOPs.
• Robustesse :
  • Démontre une forte généralisation hors distribution (OOD) (61.22% en moyenne sur les variantes d'ImageNet), surpassant des méthodes comme GalLoP et HiCroPL.
  • La performance reste stable à travers différents LLM (Qwen3, Llama3) utilisés pour la génération de la hiérarchie textuelle.

5. Signification et Revendications

L'article affirme que UPrompt fournit une solution structurée pour l'adaptation vision-langage en transférant les principes d'apprentissage de représentation hiérarchique de U-Net aux VLM basés sur les prompts.

• Résolution des Compromis : Il résout avec succès la limitation des approches à granularité unique en établissant un cadre unifié qui atteint à la fois la compréhension globale et la précision locale grâce au flux d'information bidirectionnel.
• Cohérence Sémantique : Le cadre garantit que la cohérence sémantique est maintenue à travers les échelles de représentation, empêissant la dégradation souvent observée dans les modules multi-granularités isolés.
• Flexibilité : La conception hiérarchique permet des compromis flexibles entre performance et efficacité, permettant au modèle de s'adapter aux contraintes de ressources sans perte significative de précision.

Les auteurs reconnaissent que, bien qu'efficace, la profondeur hiérarchique actuelle est limitée, et que les travaux futurs exploreront des architectures multi-granularités plus profondes pour modéliser des structures sémantiques plus riches.