🤖 machine learning

Robust Adaptation of Foundation Models with Black-Box Visual Prompting

Ce papier propose BlackVIP, une méthode d'adaptation robuste des modèles pré-entraînés via un prompting visuel en boîte noire qui contourne les contraintes d'accès aux paramètres et de mémoire grâce à un coordinateur et une estimation de gradient améliorée, tout en offrant des garanties théoriques de robustesse.

Auteurs originaux : Changdae Oh, Gyeongdeok Seo, Geunyoung Jung, Zhi-Qi Cheng, Hosik Choi, Jiyoung Jung, Kyungwoo Song

Publié 2026-04-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Changdae Oh, Gyeongdeok Seo, Geunyoung Jung, Zhi-Qi Cheng, Hosik Choi, Jiyoung Jung, Kyungwoo Song

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : Le Chef Cuisinier Inaccessible

Imaginez que vous avez un super-chef cuisinier (c'est le "Modèle Pré-entraîné" ou PTM) qui est capable de cuisiner n'importe quel plat du monde avec une perfection absolue. Ce chef a été formé pendant des années avec des millions de recettes.

Le problème ?

Il est enfermé dans une cuisine vitrée (Boîte Noire) : Vous ne pouvez pas entrer dans la cuisine pour voir ses recettes, toucher ses casseroles ou modifier ses ingrédients. Vous ne pouvez que lui donner un plat et lui demander : "C'est quoi ?" ou "Comment le faire ?".
Il a une mémoire de géant : Pour apprendre de nouvelles choses, les méthodes habituelles demandent de copier toute sa mémoire (toutes les recettes) dans votre propre cerveau. C'est impossible pour un simple particulier (manque de mémoire informatique).

Les chercheurs se sont dit : "Comment on peut apprendre à ce chef de cuisiner un nouveau plat (comme un plat végétarien ou un plat asiatique) sans pouvoir entrer dans sa cuisine et sans avoir besoin de copier tout son cerveau ?"

La Solution : Le "BlackVIP" (Le Messager Magique)

L'équipe propose une nouvelle méthode appelée BlackVIP. Au lieu de modifier le chef, ils modifient l'assiette sur laquelle il reçoit les ingrédients.

Imaginez que vous envoyez un ingrédient (une image) au chef. Au lieu de l'envoyer tel quel, vous l'entourez d'un cadre magique (le "Prompt Visuel"). Ce cadre n'est pas juste un décor ; il contient des instructions invisibles qui disent au chef : "Hé, regarde bien ici, c'est important !" ou "Oublie le fond, concentre-toi sur l'objet !".

Les deux ingrédients secrets de BlackVIP :

1. Le Coordinateur (Le Dessinateur Intelligent)
Dans les méthodes anciennes, on collait toujours le même cadre magique sur toutes les images, un peu comme un autocollant fixe.

L'innovation : Ici, ils ont créé un petit robot dessinateur appelé le Coordinateur.
L'analogie : Imaginez que le Coordinateur regarde votre image et dit : "Oh, c'est un chat sur un tapis rouge ? Je vais ajouter un cadre bleu pour contraster avec le rouge. C'est une voiture dans la neige ? Je vais ajouter un cadre jaune pour qu'elle ressorte."
Il crée un cadre sur mesure pour chaque image, en fonction de ce qu'il voit. C'est comme si vous habilliez chaque client d'un costume qui correspond exactement à sa personnalité.

2. SPSA-GC (Le Testeur de Goût Intelligents)
Comment le Coordinateur sait-il quel cadre fonctionne le mieux ? Il ne peut pas demander au chef "Pourquoi tu as raté ce plat ?" car le chef ne répond pas (c'est une boîte noire).

L'ancienne méthode : Essayer des milliers de cadres au hasard (très lent et inefficace).
La méthode SPSA-GC : C'est comme un testeur de goût très rapide.
- Il prend une image.
- Il ajoute un petit cadre A et demande au chef : "C'est bon ?".
- Il enlève le cadre A, ajoute un cadre B très légèrement différent, et demande : "C'est mieux ?".
- En comparant les deux réponses, il devine dans quelle direction il doit modifier le cadre pour que le chef réponde mieux.
- Le "GC" (Gradient Correction) : C'est une astuce pour éviter que le testeur ne se trompe à cause du bruit ou de la fatigue. C'est comme si le testeur prenait une grande respiration et corrigeait sa direction avant de faire le prochain pas, rendant l'apprentissage beaucoup plus rapide et stable.

Pourquoi c'est génial ? (Les Avantages)

Économie d'énergie (Mémoire) : Vous n'avez pas besoin de copier le cerveau du chef. Vous gardez juste votre petit Coordinateur (qui est minuscule) et vous envoyez les images avec les cadres. C'est comme cuisiner avec un petit couteau au lieu de devoir acheter toute une usine.
Robustesse (Résistance aux erreurs) : Le papier montre que cette méthode est très forte quand les conditions changent.
- Exemple : Si le chef a appris à reconnaître des chats sur un fond blanc, mais que vous lui montrez un chat sur un fond noir, il est perdu. Le Coordinateur va ajouter un cadre qui "répare" cette confusion, permettant au chef de bien reconnaître le chat même dans des conditions bizarres.
Vitesse et Coût : Une version améliorée, BlackVIP-SE, utilise des mathématiques simples (comme des statistiques de base) au lieu d'un gros robot dessinateur. C'est encore plus rapide et moins cher, un peu comme passer d'un avion de chasse à une bicyclette électrique pour faire le même trajet.

En résumé

Ce papier nous dit : "Pas besoin de casser la boîte noire pour l'adapter !"

Au lieu de forcer la porte de la cuisine du chef, on lui donne des instructions visuelles intelligentes et personnalisées (les prompts) qui l'aident à mieux voir les choses. Et grâce à une méthode de test intelligente (SPSA-GC), on apprend à créer ces instructions sans jamais avoir besoin de voir les recettes secrètes du chef.

C'est une façon intelligente, économe et robuste de faire travailler les super-intelligences artificielles sur nos problèmes quotidiens, même si elles sont gardées sous clef par de grandes entreprises.

1. Problématique et Contexte

L'adaptation de modèles pré-entraînés à grande échelle (PTM ou Foundation Models) pour des tâches spécifiques est un défi majeur. Les méthodes d'apprentissage par transfert efficaces en paramètres (PETL), comme le Visual Prompting (VP), permettent d'adapter ces modèles en ajustant un petit nombre de paramètres. Cependant, ces méthodes reposent sur deux hypothèses optimistes qui limitent leur applicabilité dans le monde réel :

Accès complet aux paramètres : Elles nécessitent l'accès aux poids et à l'architecture du modèle pré-entraîné (configuration "boîte blanche"). Or, de nombreux PTM sont disponibles uniquement via des API ou sous forme de logiciels propriétaires (configuration "boîte noire").
Capacité mémoire élevée : Elles exigent le stockage de toutes les activations intermédiaires pour le calcul des gradients par rétropropagation, ce qui est prohibitif pour les modèles modernes.

Le problème central est donc de concevoir une méthode capable d'adapter efficacement et robustement des modèles de vision pré-entraînés en boîte noire, sans accès aux paramètres internes et avec des contraintes mémoire minimales.

2. Méthodologie : BlackVIP

Les auteurs proposent BlackVIP (Black-box Visual Prompting), une approche qui contourne les limitations susmentionnées grâce à deux composants principaux :

A. Le Coordinateur (Coordinator) : Reparamétrisation du Prompt

Contrairement aux méthodes précédentes qui apprennent un prompt visuel fixe et indépendant de l'entrée (souvent une bordure ou un cadre), BlackVIP introduit un générateur de prompt dépendant de l'entrée.

Fonctionnement : Un petit réseau neuronal, appelé Coordinator, prend une image d'entrée $x$ et génère un prompt visuel $v_\phi(x)$ de la même taille que l'image.
Architecture : Le Coordinateur est composé d'un encodeur fixe $f(\cdot)$ (qui extrait des caractéristiques de l'image) et d'un décodeur léger $g_{\phi_d}(\cdot)$ qui génère le prompt. Un vecteur de déclenchement de tâche $\phi_t$ est également appris.
Avantage : Cette approche permet d'adapter dynamiquement le contenu sémantique du prompt en fonction de l'image spécifique, offrant une flexibilité supérieure pour corriger les biais ou les distributions de données.
Variante BlackVIP-SE : Pour réduire encore le coût computationnel, une variante remplace l'encodeur pré-entraîné par une analyse en composantes principales (PCA) statistique appliquée aux images d'entraînement. Cela élimine le besoin d'un modèle auxiliaire lourd, réduisant drastiquement le temps d'exécution et la mémoire.

B. Optimisation : SPSA-GC (Approximation Stochastique par Perturbation Simultanée avec Correction de Gradient)

Puisque le modèle cible est une boîte noire, le gradient exact ne peut être calculé. BlackVIP utilise une optimisation d'ordre zéro.

SPSA : L'algorithme estime le gradient en perturbant les paramètres du Coordinateur et en observant la différence de sortie du modèle cible.
Correction de Gradient (GC) : Les auteurs améliorent le SPSA standard en intégrant une correction de gradient inspirée de l'accélération de Nesterov (NAG). Cette correction utilise une mise à jour de type "momentum" pour lisser les estimations de bruit et corriger les directions de mise à jour erronées, accélérant ainsi la convergence et améliorant la stabilité dans des espaces de haute dimension.

3. Contributions Clés

Première méthode de Prompting Visuel en Boîte Noire : BlackVIP est la première approche à permettre l'adaptation efficace de PTM de vision sans accès aux paramètres ni aux architectures, en utilisant uniquement les sorties du modèle.
Nouveau Optimiseur (SPSA-GC) : Introduction d'un algorithme d'optimisation robuste qui corrige les estimations de gradient bruitées, surpassant les méthodes existantes comme CMA-ES ou RGF en termes de convergence et d'efficacité des requêtes.
Analyse Théorique de la Robustesse : Les auteurs établissent un lien théorique entre le Visual Prompting et le lissage aléatoire certifié (Randomized Smoothing). Ils démontrent que les prompts appris asymptotiquement suivent une distribution gaussienne, conférant au classifieur une robustesse garantie contre les perturbations $L_2$ (bruit et décalages de distribution).
Efficacité des Ressources : La méthode réduit considérablement les besoins en mémoire (pas de rétropropagation à travers le PTM) et le nombre de paramètres apprenables (de 69k à 1k pour BlackVIP-SE), tout en maintenant des performances élevées.

4. Résultats Expérimentaux

Les auteurs ont évalué BlackVIP sur 19 jeux de données couvrant divers domaines (reconnaissance d'objets, scènes, images satellites, actions, etc.) et scénarios de distribution.

Performance : BlackVIP et BlackVIP-SE surpassent systématiquement les méthodes de base (Zero-Shot, BAR, VP classique) sur la plupart des tâches few-shot (16 échantillons par classe).
- Sur les jeux de données synthétiques avec des biais de corrélation (Biased MNIST) ou des changements de localisation d'objets (Loc-MNIST), BlackVIP montre une robustesse supérieure, prouvant sa capacité à ignorer les caractéristiques spurious (fausses corrélations).
- Sur 14 benchmarks standards, BlackVIP-SE bat le Zero-Shot sur 14/14 jeux de données, et BlackVIP sur 13/14.
Efficacité Mémoire et Calcul :
- BlackVIP-SE nécessite 1 000 paramètres apprenables (contre 69k pour VP) et réduit l'allocation mémoire de pointe de manière significative par rapport aux méthodes white-box.
- Le temps d'inférence et d'entraînement est compétitif, surtout pour la variante SE qui évite le passage avant d'un encodeur auxiliaire.
Efficacité des Requêtes (Query Efficiency) : Avec seulement 10 000 appels API (coûtant environ 12 $), BlackVIP améliore les performances d'un modèle Zero-Shot de 2 à 3 fois, offrant un excellent compromis coût-performance.
Compatibilité : La méthode est compatible avec les techniques de prompt textuel en boîte noire et fonctionne même sur des modèles quantifiés (post-training quantization).

5. Signification et Impact

Ce travail est significatif pour plusieurs raisons :

Démocratisation de l'IA : Il permet d'utiliser les modèles de pointe (souvent fermés) dans des environnements à ressources limitées (edge computing, API payantes) sans nécessiter de réentraînement coûteux.
Robustesse Théorique : En reliant le prompting visuel à la robustesse certifiée, l'article fournit une justification théorique solide pour l'utilisation de ces méthodes dans des applications critiques nécessitant une fiabilité face au bruit et aux décalages de distribution.
Nouvelle Direction de Recherche : Il ouvre la voie à l'optimisation de modèles de fondation en tant que services (MaaS), où l'accès aux gradients internes est impossible, en se concentrant sur l'optimisation de l'entrée (prompting) plutôt que des poids du modèle.

En résumé, BlackVIP représente une avancée majeure pour rendre l'adaptation des modèles de fondation plus accessible, efficace et robuste, en levant les barrières de l'accès aux paramètres et de la mémoire.