Evolving Prompt Adaptation for Vision-Language Models

L'article présente EvoPrompt, un cadre novateur qui assure une adaptation stable et sans oubli des modèles vision-langage pré-entraînés vers des tâches à peu d'exemples en guidant l'évolution des prompts via un projecteur partagé, une stratégie de mise à jour hiérarchique et une régularisation géométrique des caractéristiques.

L'essentiel

Imaginez que vous avez un chef cuisinier mondial (le modèle de vision-linguistique) qui a passé des années à apprendre à cuisiner tous les plats du monde grâce à des millions de livres de cuisine. Il est un génie pour reconnaître n'importe quel ingrédient ou plat, même ceux qu'il n'a jamais vus (c'est ce qu'on appelle la capacité "zero-shot").

Le problème ? Si vous lui donnez une recette très spécifique pour un plat local (par exemple, un gâteau au chocolat typique d'un village) avec seulement quelques photos, il risque d'oublier tout ce qu'il savait sur la cuisine générale pour se concentrer uniquement sur ce gâteau. C'est ce qu'on appelle l'oubli catastrophique : il devient excellent pour le gâteau, mais incapable de cuisiner autre chose.

Les méthodes actuelles essaient d'ajouter de petits "post-it" (des prompts) pour guider le chef, mais ces post-it sont souvent mal placés ou font oublier la base.

Voici comment EvoPrompt (la solution proposée dans l'article) change la donne, avec des analogies simples :

1. Le Grand Plan Commun (Le Projecteur MPP)

Au lieu de donner un post-it différent et isolé à chaque étage de la cuisine (comme le font les autres méthodes), EvoPrompt utilise un Grand Plan Commun.

• L'analogie : Imaginez un architecte qui dessine un plan unique pour toute la maison. Au lieu de peindre chaque pièce indépendamment, il utilise ce plan central pour s'assurer que la cuisine, le salon et la chambre sont connectés et cohérents.
• En pratique : Cela permet au modèle de partager les informations entre les différentes couches de son cerveau, créant une harmonie entre ce qu'il voit (l'image) et ce qu'il lit (le texte).

2. La Danse de l'Évolution (La Stratégie d'Apprentissage)

C'est le cœur de la découverte. Les autres méthodes modifient tout d'un coup. EvoPrompt, lui, guide l'évolution du chef pas à pas.

• L'analogie : Imaginez que vous apprenez à jouer du piano.
  • Les autres méthodes : Elles essaient de réécrire toute la partition d'un coup. Risque d'oublier les gammes de base.
  • EvoPrompt : Il sépare la musique en deux : la direction (la mélodie de base, les notes) et la force (le volume, l'intensité).
  • Le secret : Une fois que le chef a appris la "direction" de la mélodie (les connaissances de base), on gèle cette direction. On ne change plus la mélodie pour ne pas l'abîmer. On ne modifie que le volume (l'intensité) pour s'adapter au nouveau plat.
  • Résultat : Le chef apprend le nouveau plat sans oublier comment jouer les classiques.

3. Le Nettoyage de la Chambre (Régularisation Géométrique)

Quand on apprend trop vite avec peu de données, le cerveau du modèle peut se "coller" et devenir confus (tout se ressemble).

• L'analogie : C'est comme si vous empiliez tous vos vêtements dans un seul tiroir en vrac. Impossible de trouver quoi que ce soit.
• La solution : EvoPrompt ajoute une règle stricte : "Chaque vêtement doit avoir sa propre place, sans se chevaucher". Cela force le modèle à garder ses idées claires et distinctes, même avec très peu d'exemples.

4. Le Résultat : Un Chef Polyvalent

Grâce à cette approche, EvoPrompt réussit le tour de force :

• Il apprend très vite de nouvelles tâches (comme reconnaître un nouveau type de voiture avec seulement 4 photos).
• Il ne perd jamais sa capacité à reconnaître des choses qu'il n'a jamais vues auparavant (il reste un expert généraliste).
• Il est léger : il n'a pas besoin de réécrire tout le cerveau du chef, juste d'ajouter quelques ajustements précis.

En résumé :
EvoPrompt est comme un mentor sage qui guide un génie. Il lui dit : "Pour apprendre ce nouveau truc, on va ajuster un peu ton intensité, mais on garde ta base solide intacte." Résultat : le modèle devient un expert spécialisé sans jamais oublier qui il est.

Résumé technique

Voici un résumé technique détaillé de l'article "Evolving Prompt Adaptation for Vision-Language Models" (EvoPrompt), rédigé en français.

1. Problématique

L'adaptation des modèles vision-langage (VLM) pré-entraînés à grande échelle (comme CLIP) vers des tâches spécifiques avec peu de données étiquetées (few-shot learning) pose un défi majeur. Bien que les méthodes d'apprentissage par prompt (prompt learning) soient efficaces en termes de paramètres, elles souffrent souvent d'un oubli catastrophique (catastrophic forgetting).

• Le problème : Lors du fine-tuning, les prompts appris tendent à s'éloigner rapidement des ancres sémantiques pré-entraînées pour s'adapter aux données limitées de la tâche cible. Cela entraîne une perte des capacités de généralisation "zero-shot" originales du modèle.
• Limites des approches existantes : Les designs actuels traitent souvent les prompts comme des paramètres isolés par couche, perturbant le flux hiérarchique de l'information. De plus, ils manquent de mécanismes pour contrôler la trajectoire d'évolution des prompts au cours de l'entraînement, conduisant à un surapprentissage (overfitting) et à un effondrement des représentations.

2. Méthodologie : Le Framework EvoPrompt

Les auteurs proposent EvoPrompt, un cadre novateur conçu pour guider explicitement la trajectoire d'évolution des prompts afin d'assurer une adaptation stable et préservant les connaissances. L'architecture repose sur trois piliers principaux :

A. Projecteur de Prompt Partagé par Modalité (MPP - Modality-Shared Prompt Projector)

Au lieu d'insérer des prompts indépendants à chaque couche (comme dans MaPLe), EvoPrompt introduit un espace d'embedding unifié et apprenable.

• Fonctionnement : Un projecteur décompose les embeddings partagés en prompts spécifiques à chaque couche via des adaptateurs de faible rang (Low-Rank Adapters).
• Avantage : Cela établit un pont pour la synergie inter-couches et inter-modalités (vision/texte), permettant de capturer la progression sémantique hiérarchique tout en réduisant la redondance des paramètres.

B. Stratégie d'Apprentissage Consciente de la Trajectoire Évolutive

C'est le cœur de la contribution. L'approche découple la mise à jour des paramètres en deux composantes : la direction et la magnitude.

• Découplage Magnitude-Direction : Les mises à jour de faible rang ($\Delta W$) sont factorisées en un coefficient de magnitude ($\alpha$) et une direction normalisée.
• Stratégie d'Évolution :
  • Les directions apprises aux étapes précoces (qui capturent les orientations sémantiques fondamentales) sont gelées.
  • Seules les magnitudes et les nouvelles directions sont optimisées aux étapes ultérieures.
  • Cela permet au modèle d'affiner l'importance des connaissances passées sans les écraser, évitant ainsi l'oubli catastrophique.
• Réduction Adaptative du Rang : Pour stabiliser l'adaptation tardive et éviter le surapprentissage, le rang des matrices d'adaptation est progressivement réduit au cours des époques, agissant comme une régularisation structurelle.

C. Régularisation Géométrique des Caractéristiques (FGR)

Pour prévenir l'effondrement des représentations (feature collapse) où les dimensions deviennent redondantes :

• L'article introduit une régularisation basée sur le cadre Soft-HGR (Soft Hirschfeld-Gebelein-Rényi).
• Cette fonction de perte force la décorrélation des caractéristiques au sein d'une modalité (orthogonalité), tout en maintenant l'alignement inter-modalité, assurant ainsi un espace de caractéristiques bien structuré et riche.

Objectif Global : La fonction de perte totale combine la perte d'alignement contrastive (InfoNCE), la régularisation géométrique (FGR) et une perte de constance des connaissances (Knowledge Constancy Loss) pour garantir que les prompts appris ne dévient pas excessivement de la distribution originale du modèle pré-entraîné.

3. Contributions Clés

1. Paradigme EvoPrompt : Une nouvelle approche qui gouverne explicitement l'évolution des prompts via une adaptation consciente de la trajectoire, résolvant le compromis entre adaptation spécifique et préservation des capacités zero-shot.
2. Architecture et Stratégie de Découplage : Conception d'un projecteur partagé (MPP) couplé à une stratégie de contrôle indépendant de la direction et de la magnitude des mises à jour, complétée par une réduction de rang adaptative.
3. Régularisation Géométrique : Intégration d'une contrainte d'orthogonalité (FGR) pour maintenir la diversité des représentations dans des régimes de données rares.
4. Performance SOTA : Démonstration d'un état de l'art sur plusieurs benchmarks, surpassant les méthodes existantes tout en conservant une efficacité computationnelle élevée.

4. Résultats Expérimentaux

Les expériences ont été menées sur 11 jeux de données de classification d'images (ImageNet, Caltech101, OxfordPets, etc.) et incluent des évaluations en few-shot, transfert inter-jeux de données et généralisation de domaine.

• Généralisation Base-to-Novel : EvoPrompt atteint les meilleurs résultats moyens sur 11 jeux de données, avec une amélioration de 0,96 % sur les classes "novel" et 0,76 % sur la moyenne harmonique (HM) par rapport à la méthode précédente la plus performante.
• Transfert Inter-jeux de données : Entraîné sur ImageNet, le modèle obtient la meilleure précision moyenne sur 10 jeux de données cibles différents (66,82 %), surpassant MaPLe et MMA.
• Généralisation de Domaine : Le modèle démontre une robustesse supérieure sur des variantes difficiles d'ImageNet (V2, Sketch, A, R), préservant mieux les capacités de généralisation hors distribution.
• Efficacité : EvoPrompt ne nécessite que 0,764 M de paramètres entraînables (comparable ou inférieur aux méthodes légères comme ProVP) et maintient une vitesse d'inférence élevée (1282 FPS).
• Analyse de l'Overfitting : Les graphiques d'évolution montrent que contrairement à MaPLe qui sur-spécialise rapidement sur les données d'entraînement (dégradation des classes novel), EvoPrompt maintient une performance stable sur les classes novel tout au long de l'entraînement.

5. Signification et Impact

Ce travail est significatif car il change la perspective sur l'adaptation des VLM : au lieu de voir l'ajustement des prompts comme un problème statique d'optimisation de paramètres, il le traite comme un processus dynamique évolutif.

• Préservation des connaissances : En gelant les directions sémantiques fondamentales et en n'ajustant que leur magnitude, EvoPrompt résout efficacement le problème de l'oubli catastrophique, un obstacle majeur dans le fine-tuning de grands modèles.
• Efficacité et Robustesse : La méthode offre un équilibre optimal entre la capacité d'apprentissage de tâches spécifiques (avec peu de données) et la préservation des capacités de généralisation zero-shot originales, rendant les VLM plus fiables pour des déploiements réels dans des environnements à données limitées.
• Géométrie des Représentations : L'introduction de la régularisation géométrique ouvre une voie prometteuse pour maintenir la structure interne des espaces de caractéristiques des modèles multimodaux lors de l'adaptation.

En résumé, EvoPrompt établit une nouvelle référence pour l'adaptation efficace et stable des modèles vision-langage, prouvant que guider l'évolution des prompts est la clé pour débloquer leur plein potentiel sans sacrifier leurs connaissances pré-entraînées.