💻 computer science

Layer-Specific Prompt Fusion Discovery via Differentiable Search in Vision Foundation Models

Cet article propose une méthode de recherche d'architecture différentiable pour découvrir des schémas de fusion de prompts optimaux et spécifiques aux couches pour les Vision Transformers, démontrant qu'une approche de fusion hybride combinant la concaténation, l'addition, la transformation affine et l'attention croisée améliore significativement les performances et l'efficacité par rapport aux bases de référence de réglage de prompts existantes sur divers ensembles de données.

Auteurs originaux : Xi Xiao, Xingjian Li, Yunbei Zhang, Cheng Han, Tianming Liu, Tianyang Wang, Runmin Jiang, Jihun Hamm, Xiao Wang, Min Xu

Publié 2026-06-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xi Xiao, Xingjian Li, Yunbei Zhang, Cheng Han, Tianming Liu, Tianyang Wang, Runmin Jiang, Jihun Hamm, Xiao Wang, Min Xu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez un robot super intelligent qui a déjà appris à reconnaître des milliers de choses (un « Vision Transformer » ou ViT). Vous voulez lui apprendre un nouveau travail spécifique, comme identifier des oiseaux rares ou repérer des types de nuages particuliers.

Habituellement, pour apprendre un nouveau travail au robot, vous avez deux mauvaises options :

Le réentraînement complet : Vous réapprenez tout au robot en partant de zéro. C'est comme embaucher un nouvel enseignant pour chaque matière ; c'est coûteux, lent, et vous risquez d'oublier ce que le robot savait déjà.
Le « Prompt Tuning » standard : Vous donnez au robot quelques notes autocollantes (appelées « prompts ») avec des instructions sur la façon d'observer les nouvelles images. Le robot lit ces notes et essaie de s'adapter. Cependant, dans les méthodes actuelles, il n'existe qu'une seule façon de coller ces notes sur le cerveau du robot : soit vous les collez juste à côté de l'image (concaténation), soit vous écrivez les instructions directement sur l'image (addition).

Les auteurs de cet article se sont posé une question simple : « Existe-t-il une seule bonne façon de coller ces notes, ou est-ce que différentes couches du cerveau du robot préfèrent différentes façons de les lire ? »

La grande idée : L'« Auto-Prompting »

Les chercheurs ont construit un système appelé Auto-Prompting. Au lieu de forcer le robot à utiliser une seule et unique façon de lire les instructions, ils le laissent choisir la meilleure méthode pour chaque étape de son processus de réflexion.

Imaginez le cerveau du robot comme un immeuble de 12 étages où l'information circule du rez-de-chaussée (voir des formes simples) jusqu'au dernier étage (comprendre des concepts complexes).

Au rez-de-chaussée (couches précoces) : Le robot pourrait préférer une note d'« Addition » simple, qui ajoute juste un petit indice sans modifier la vue.
Au dernier étage (couches profondes) : Le robot pourrait préférer une note de « Cross-Attention », qui est comme un bibliothécaire intelligent qui cherche activement dans les instructions pour trouver l'indice spécifique nécessaire à la réponse finale.

Comment ils ont fait : La « Recherche Différentiable »

Comment apprendre à un robot à choisir son propre style de lecture ? Vous ne pouvez pas simplement lui demander ; vous devez le laisser essayer et apprendre ce qui fonctionne.

Les auteurs ont utilisé une technique appelée Recherche d'Architecture Différentiable (Differentiable Architecture Search). Imaginez un chef cuisinier essayant de trouver la recette parfaite. Au lieu de cuisiner un plat, de le goûter, puis d'en cuisiner un autre, il crée une « super-soupe » où chaque ingrédient (chaque méthode de fusion) est mélangé légèrement. À mesure que le chef goûte la soupe, il augmente lentement le feu sur les ingrédients qui ont bon goût et diminue celui des ingrédients qui ont mauvais goût. Finalement, la soupe devient un plat parfait composé uniquement des meilleurs ingrédients.

Dans leur cas :

Ils ont créé une « soupe » de quatre façons différentes de mélanger les instructions : la Concaténation (coller des notes), l'Addition (écrire par-dessus), la Transformation Affine (ajuster le volume ou la luminosité des notes) et la Cross-Attention (recherche intelligente dans les notes).
Ils ont laissé le robot s'entraîner pendant que cette « soupe » de méthodes était active.
Le robot a appris quelle méthode fonctionnait le mieux pour chaque étage du bâtiment.
Enfin, ils ont « figé » le choix. Désormais, le robot utilise le mélange parfait de méthodes sans le coût supplémentaire de la « soupe ».

Les résultats : Pourquoi c'est important

L'article a testé cela sur 34 jeux de données différents (allant de la reconnaissance de fleurs à la détection de voitures et d'images médicales).

Meilleure précision : Le robot a bien mieux appris ses nouveaux travaux que les robots utilisant l'ancienne méthode du « taille unique ». Il s'est nettement amélioré sur des tâches complexes comme compter des objets ou comprendre des formes en 3D.
Efficacité : Même si le robot a dû « essayer » différentes méthodes pendant l'entraînement, le robot final est aussi rapide que les anciens. C'est comme un étudiant qui essaie différentes techniques d'étude pour trouver la meilleure, mais une fois diplômé, il utilise simplement cette meilleure technique.
La découverte du « Hybride » : La découverte la plus importante est qu'aucune méthode unique n'est la meilleure. La meilleure solution est un hybride : utiliser des méthodes simples pour la pensée précoce et des méthodes complexes pour la pensée profonde.

Ce qu'il faut retenir

Cet article prouve que lorsqu'on enseigne une nouvelle tâche visuelle à une IA intelligente, nous ne devrions pas la forcer à utiliser une seule manière rigide de lire nos instructions. Au contraire, nous devrions la laisser découvrir que différentes parties de son cerveau ont besoin de différents types d'aide. En laissant l'IA « chercher » la meilleure façon de combiner ses instructions avec ce qu'elle voit, nous obtenons un robot plus intelligent, plus adaptable et toujours très efficace.

Résumé Technique : Découverte de la Fusion de Prompts Spécifique aux Couches via la Recherche Différentiable dans les Modèles de Vision Fondamentaux

1. Énoncé du Problème

Le réglage fin par prompt visuel (Visual Prompt Tuning - VPT) est apparu comme une stratégie de réglage fin efficace en paramètres (PEFT) pour adapter les Vision Transformers (ViT) à grande échelle à des tâches en aval. Dans le VPT standard, des jetons de prompt apprenables sont injectés dans les espaces de jetons d'image et de caractéristiques d'un squelette (backbone) ViT gelé. L'opération de base consiste à fusionner ces jetons de prompt avec les jetons d'image avant qu'ils n'entrent dans les couches du transformer.

Actuellement, la communauté repose principalement sur un schéma de fusion unique et fixe — soit la concaténation, soit l'addition — appliqué uniformément à toutes les couches du transformer. Le papier identifie une lacune fondamentale dans cette approche : on ignore si un schéma de fusion unique est optimal pour toutes les couches et toutes les tâches, et si une mode de fusion hybride (combinant différents schèmes à différentes couches) pourrait mieux exploiter la sémantique par couche des ViT. La littérature existante explore rarement le design de la règle de fusion elle-même en tant que composant apprenable, la traitant souvent comme un hyperparamètre statique.

2. Méthodologie : Auto-Prompting

Les auteurs proposent un cadre unifié, nommé Auto-Prompting, qui traite la fusion entre les prompts et les jetons d'image comme un composant recherchable et différentiable. La méthode est formulée comme un problème d'optimisation bi-niveau résolu via la Recherche d'Architecture Différentiable (DARTS).

2.1 Conception de l'Espace de Recherche

Pour enrichir l'espace de recherche au-delà de la concaténation et de l'addition standard, les auteurs introduisent deux opérateurs de fusion supplémentaires légers :

Concaténation ( $\Delta_{concat}$ ): Préfixe les jetons de prompt aux jetons d'image et applique une matrice de réduction préservant les jetons pour maintenir l'interface fixe du squelette ( $k \times d$ ).
Addition ( $\Delta_{add}$ ): Injecte un biais résiduel dépendant du prompt en résumant les prompts via une moyenne de LayerNorm et en les diffusant (broadcasting).
Transformation Affine ( $\Delta_{affine}$ ): Applique une Modulation Linéaire par Caractéristique (FiLM), utilisant des résumés de prompts pour générer des paramètres d'échelle et de décalage par canal.
Attention Croisée ( $\Delta_{cross}$ ): Permet un routage adaptatif au contenu où les jetons d'image sont attentifs à une mémoire de prompt (traitée comme une source de clé/valeur).

2.2 Optimisation Bi-Niveau

Le cadre opère en deux phases :

Boucle Interne (Entraînement) : Optimise les paramètres de prompt apprenables ( $\phi$ ) et les poids internes des opérateurs de fusion sur l'ensemble d'entraînement.
Boucle Externe (Validation) : Optimise les logits de l'architecture ( $\alpha$ ), qui déterminent les poids de mélange ( $\pi$ ) pour les opérateurs de fusion à chaque couche. Cela est fait via une approximation unrollée d'une étape avec des produits Hessien-vecteur pour approximer le gradient de la perte de validation par rapport aux paramètres de l'architecture.

L'objectif externe inclut des termes de régularisation :

Régularisation d'Entropie : Encourage l'exploration de l'espace de recherche pour éviter l'effondrement prématuré vers un opérateur unique.
Régularisation de Coût : Oriente la recherche vers des opérateurs plus légers (Add/Concat) à moins que des opérateurs plus lourds (Affine/Cross-Attention) ne procurent des gains de précision significatifs, garantissant un compromis précision-latence.

2.3 Discrétisation

Après la phase de recherche, les poids de mélange continus sont discrétisés en sélectionnant l'opérateur ayant la probabilité la plus élevée pour chaque couche. Une courte phase de réglage fin suit pour récupérer les performances avec l'architecture discrète élaguée.

2.4 Perspective Théorique : Goulot d'Étranglement de l'Information (IB)

Les auteurs interprètent la méthode à travers le prisme du principe du Goulot d'Étranglement de l'Information (Information Bottleneck - IB). Ils observent que l'optimisation conjointe des prompts et des schèmes de fusion conduit à un substitut empirique d'IB plus faible par rapport à l'optimisation des prompts seuls. Plus précisément, la fusion hybride apprise permet aux couches profondes de compresser la variation dépendante de l'entrée (réduisant $I(T; X)$ ) tout en s'alignant mieux avec l'information de l'étiquette (augmentant $I(T; Y)$ ), suggérant un compromis compression-pertinence plus favorable.

3. Contributions Clés

Interrogation Fondamentale : Le papier remet en question l'hypothèse selon laquelle un schéma de fusion unique est suffisant, révélant qu'une fusion fixe (concaténation ou addition) ne parvient pas à produire des performances optimales à travers diverses tâches et couches.
Cadre d'Optimisation Novateur : Il propose une méthode de fusion hybride formulée comme un problème d'optimisation bi-niveau, résolu via la recherche d'architecture différentiable pour apprendre conjointement les prompts et les règles de fusion spécifiques aux couches.
Expansion de l'Espace de Recherche : Il introduit la Transformation Affine et l'Attention Croisée comme de nouveaux primitives légères à l'espace de recherche VPT, permettant une fusion plus expressive mais efficace.
Validation Complète : Ce travail fournit à la fois une interprétation théorique (via IB) et des évaluations empiriques étendues, répondant aux questions clés sur la nécessité et la scalabilité de la fusion hybride dans le réglage fin de prompts visuels.

4. Résultats Expérimentaux

La méthode a été évaluée sur 34 jeux de données à travers trois benchmarks majeurs : VTAB-1k (19 jeux de données), FGVC (5 jeux de données fins) et HTA (10 jeux de données divers). Le squelette utilisé était un ViT-Base/16 gelé.

Gains de Performance :
- VTAB-1k : A atteint une précision moyenne de 77,01%, surpassant la forte base VPT-Deep (69,43%) de +7,58% et les variantes récentes comme VFPT (75,49%) de +1,52%.
- FGVC : A atteint 92,5% de précision moyenne, dépassant VPT-Deep (85,5%) de +7,0%.
- HTA : A atteint 91,6% de précision moyenne, améliorant VPT-Deep (85,5%) de +6,1%.
- Efficacité des Paramètres : La méthode ne règle que 0,75% des paramètres du ViT (incluant la tête spécifique à la tâche), ce qui est comparable ou inférieur aux autres méthodes SOTA de PEFT.
Généralisation :
- La méthode a démontré une robustesse à travers différents paradigmes de pré-entraînement (MAE et MoCo v3), surpassant systématiquement les bases sous des objectifs de reconstruction et de contraste.
- Elle a également été validée sur Swin-Base, montrant des gains et une adaptabilité similaires aux squelettes hiérarchiques.
Études d'Ablation :
- Simple vs Hybride : Aucun opérateur unique (Concat, Add, Affine ou Cross-Attention) n'était uniformément optimal. L'approche hybride recherchable a systématiquement surpassé toute base à opérateur unique fixe.
- Modèles par Couche : L'analyse a révélé que les couches peu profondes préfèrent les opérateurs légers (Concat/Add) pour préserver les indices structurels, tandis que les couches profondes basculent vers des opérateurs sémantiques (Affine/Cross-Attention) pour le calibrage des caractéristiques et le routage adaptatif au contenu.
- Efficacité : Bien que la phase de recherche induise un surcoût d'entraînement (environ 1,38x VPT-Deep), le modèle discret final n'ajoute que 7,4% de latence d'inférence (15,9ms contre 14,8ms) tout en délivrant des améliorations de précision significatives.

5. Signification et Revendications

Le papier affirme que la manière dont les prompts fusionnent avec les jetons d'image est un facteur de premier ordre pour la généralisation dans le réglage fin de prompts visuels. En passant d'un schéma de fusion fixe à une fusion hybride apprise et spécifique aux couches, la méthode exploite efficacement les besoins de représentation distincts des différentes couches du ViT.

Les auteurs soutiennent que leurs découvertes fournissent une nouvelle perspective pour la recherche sur le réglage fin de prompts visuels, comblant le fossé entre la recherche d'architecture neuronale (NAS) et le réglage fin léger. Ils concluent qu'une mode de fusion hybride est non seulement optimale mais aussi hautement scalable, capable d'incorporer de nouveaux schèmes de fusion simples dans l'espace de recherche. Cette approche permet aux squelettes gelés de s'adapter plus efficacement aux changements de domaine et aux tâches complexes (notamment le raisonnement structuré) sans recourir à des têtes plus lourdes ou à des biais inductifs faits à la main.