💻 computer science

SAMPLe: SAM-based Optimizer for Prompt Learning in VLMs

Le document introduit SAMPLe, un optimiseur sensible à la netteté conçu pour résoudre le dilemme performance-généralisation dans l'apprentissage de prompts pour les modèles vision-langage en équilibrant dynamiquement l'exploration et l'exploitation afin de réduire le surapprentissage et d'améliorer l'adaptabilité aux données non vues à travers divers frameworks.

Auteurs originaux : Hossein Rajoli, Fatemeh Lotfi, Niloufar Alipour Talemi, Hossein Kashiani, Xiaolong Ma, Fatemeh Afghah

Publié 2026-07-08

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hossein Rajoli, Fatemeh Lotfi, Niloufar Alipour Talemi, Hossein Kashiani, Xiaolong Ma, Fatemeh Afghah

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez un robot super intelligent et pré-entraîné (comme CLIP) qui a lu des millions de livres et vu des millions d'images. Il comprend déjà très bien le monde. Cependant, vous voulez lui apprendre un nouveau tour spécifique, comme identifier des fleurs rares ou repérer des modèles de voitures précis.

Par le passé, les gens essayaient de « fine-tuner » (ajuster précisément) l'ensemble du robot, mais c'est comme essayer de recâbler un supercalculateur juste pour apprendre un nouveau jeu de cartes — c'est coûteux et le robot oublie souvent ses anciennes compétences ou s'embrouille.

Au lieu de cela, les chercheurs utilisent l'Apprentissage par Prompt (Prompt Learning). Considérez cela comme le fait de donner au robot une « fiche de révision » spécifique ou un ensemble de mots-clés magiques (appelés prompts) pour l'aider à se concentrer sur la nouvelle tâche. Le cerveau du robot reste gelé, et nous ne modifions que ces quelques mots-clés.

Le Problème : L'Étudiant « Trop Confiant »

L'article identifie un problème majeur avec cette approche. Lorsque nous ajustons ces mots-clés pour obtenir un score parfait sur nos exemples d'entraînement (les données « vues »), le robot devient souvent trop confiant et trop spécifique.

Imaginez un étudiant qui mémorise les réponses exactes d'un examen blanc. Il obtient 100 % à l'examen blanc, mais si vous lui posez une question légèrement différente lors du véritable examen, il échoue. Dans le langage de l'article, le robot a trouvé un « minimum tranchant » (sharp minimum).

Minimum Tranchant : Un point sur la carte où le score est élevé, mais si vous faites ne serait-ce qu'un minuscule pas dans n'importe quelle direction, le score s'effondre. C'est comme équilibrer une balle sur la pointe d'une aiguille. C'est stable uniquement si rien ne bouge.
Minimum Plat : Un point où le score est élevé, mais où le sol est large et plat. Si vous faites un pas, le score reste élevé. C'est comme une balle posée dans une large vallée. C'est robuste et cela peut supporter les chocs.

Les méthodes actuelles pour enseigner ces prompts ont tendance à placer le robot sur la « pointe de l'aiguille ». Cela fonctionne très bien sur les données d'entraînement, mais cela échoue lamentablement face à de nouvelles données non vues (comme un type différent de fleur ou une voiture par mauvais temps).

La Solution : SAMPLe (Le Coach « Sécurité d'Abord »)

Les auteurs introduisent un nouvel outil appelé SAMPLe (Sharpness-Aware Minimization Prompt Learning). Vous pouvez considérer SAMPLe comme un coach très intelligent qui ne se contente pas de se soucier du score actuel ; il se soucie aussi de savoir à quel point ce score est stable.

Voici comment fonctionne SAMPLe, en utilisant une analogie simple :

1. Le test du « Et si ? » (Exploration vs Exploitation)
La plupart des coachs disent simplement : « Cours plus vite pour obtenir un meilleur temps ! » (C'est ce qu'on appelle l'Exploitation). Ils poussent le robot vers le point absolument le meilleur sur la carte actuelle.
SAMPLe est différent. Avant que le robot ne s'installe sur un point, SAMPLe demande : « D'accord, tu es à un excellent endroit. Mais et si tu faisais un petit pas vers la gauche ? Ou un pas vers la droite ? Est-ce que tu t'en sortirais toujours aussi bien ? »

Si la réponse est « Non, je tomberais dans un précipice », SAMPLe dit : « D'accord, ce point est trop tranchant. Allons vers une zone plus plate. »
Si la réponse est « Oui, je m'en sors toujours très bien », SAMPLe dit : « Super ! C'est un endroit sûr et plat. Restons ici. »

2. La danse en « Deux Étapes »
L'article explique que SAMPLe effectue une danse spéciale avec les étapes d'apprentissage du robot :

Étape A (La Poussée) : Il regarde les données actuelles et dit : « Va par là pour améliorer ton score. »
** Étape B (Le Contrôle de Sécurité) :** Il regarde ensuite l'historique complet des données pour voir si cette direction est trop risquée. Il calcule un « vecteur de sécurité » qui éloigne le robot des bords tranchants et dangereux du paysage d'apprentissage.
Le Résultat : Le robot se déplace dans une direction qui améliore le score mais qui le maintient également dans la large vallée sécurisée.

3. Pourquoi est-ce meilleur que les autres ?
L'article compare SAMPLe à d'autres méthodes (comme SAM, F-SAM et SAGM).

Les anciennes méthodes : Certaines sont trop agressives et poussent trop fort le robot, ce qui le rend instable. D'autres sont trop rigides et ne s'adaptent pas bien aux changements de « terrain » des données.
SAMPLe : C'est comme un randonneur expérimenté. Il sait quand pousser fort pour monter une colline (exploiter) et quand errer légèrement pour trouver un chemin plus sûr et plus large (explorer). Il ajuste dynamiquement sa stratégie en fonction de la façon dont le robot se sent à ce moment précis.

Les Résultats : Un Robot Plus Robuste

Les auteurs ont testé SAMPLe sur 11 ensembles de données d'images différents (comme la reconnaissance d'animaux de compagnie, de voitures, de fleurs et d'avions) et l'ont comparé aux meilleures méthodes existantes.

L'équilibre « Base » vs « Nouveau » : Dans ces tests, le robot est entraîné sur certaines catégories (Base) puis testé sur de nouvelles catégories qu'il n'a jamais vues (Nouveau).
La Victoire : SAMPLe a systématiquement obtenu le meilleur équilibre. Il ne s'est pas contenté d'obtenir un score élevé sur les données d'entraînement ; il a conservé ses scores élevés face à des données nouvelles et complexes.
La Métaphore : Si les autres méthodes étaient comme un étudiant qui a mémorisé le manuel mais échoue au test surprise, SAMPLe était l'étudiant qui comprenait tellement bien les concepts qu'il pouvait répondre à n'importe quelle question, même celles qui ne figuraient pas dans le livre.

Résumé

SAMPLe est une nouvelle façon d'enseigner de nouvelles tâches aux modèles d'IA sans briser leur capacité à gérer l'imprévu. Au lieu de simplement courir après le score le plus élevé sur les données d'entraînement, il cherche une « zone de sécurité » où le modèle est à la fois précis et robuste. Il garantit que l'IA ne se contente pas de mémoriser les réponses, mais apprend à généraliser, ce qui en fait un outil beaucoup plus fiable pour les applications du monde réel où les données sont toujours en mouvement.

Résumé Technique : SAMPLe : Un optimiseur basé sur la minimisation de la conscience de la netteté pour l'apprentissage par incitation dans les modèles vision-langage

Énoncé du Problème
Les modèles vision-langage (VLM) pré-entraînés, tels que CLIP, servent de puissants modèles de fondation pour des applications en aval. Cependant, l'adaptation de ces modèles via l'apprentissage par incitation (prompt learning) présente un dilemme significatif entre performance et généralisation. Bien que l'apprentissage par incitation permette une adaptation efficace des tâches en ajustant un ensemble limité de paramètres apprenables (les prompts) tout en maintenant le squelette (backbone) gelé, cette contrainte conduit souvent au surapprentissage (overfitting). L'espace de paramètres limité rend le processus d'optimisation hautement sensible, provoquant fréquemment la convergence des modèles vers des « minima nets » (sharp minima) dans le paysage de perte. Ces solutions nettes offrent une précision élevée sur les distributions d'entraînement observées, mais souffrent d'une faible capacité de généralisation aux données ou classes non vues. Les méthodes existantes de minimisation de la conscience de la netteté (SAM) tentent de remédier à cela en recherchant des minima plus plats, mais elles échouent souvent à équilibrer le compromis entre la minimisation de la perte d'entraînement (exploitation) et l'exploration des régions plates (exploration), particulièrement lorsqu'elles sont appliquées à l'espace contraint de l'apprentissage par incitation.

Méthodologie : SAMPLe
Les auteurs proposent SAMPLe (Sharpness-Aware Minimization Prompt Learning), un optimiseur agnostique au modèle, conçu spécifiquement pour améliorer la capacité de généralisation des incitations des VLM. Contrairement aux optimiseurs conventionnels ou aux variantes standards de SAM (par exemple, F-SAM, SAGM) qui peuvent appliquer des perturbations uniformes ou reposer sur des hyperparamètres heuristiques, SAMPLe introduit un cadre à double objectif qui s'adapte dynamiquement à l'état d'optimisation actuel.

Le cœur de SAMPLe repose sur trois mécanismes stratégiques :

Optimisation à Double Objectif : La méthode optimise un minimum de perte qui est simultanément bas en termes de perte d'entraînement et plat dans le paysage de perte. Cela garantit la stabilité et la robustesse sans sacrifier la précision sur les données observées.
Alignement de Gradient et Orthogonalité : SAMPLe garantit que les mises à jour de gradient calculées à un point dévié (perturbé par SAM) sont cohérentes et alignées avec les gradients de la minimisation du risque empirique (ERM). Crucialement, il contraint les mises à jour de gradient SAM au point perturbé à être orthogonales au gradient du lot complet (full-batch gradient).
- Il décompose le gradient du mini-lot en une composante alignée avec le gradient du lot complet et une composante « spécifique au lot » orthogonale à celui-ci.
- La fonction objectif inclut des termes qui dirigent le gradient perturbé vers la composante spécifique au lot (exploration) tout en résistant à la composante du lot complet (qui peut mener à un lissage excessif et une réduction de la généralisation).
Adaptation Dynamique : L'optimiseur équilibre automatiquement l'exploitation (minimisation de la perte ERM) et l'exploration (recherche de minima plats) à chaque itération en fonction de la courbure locale et des propriétés du gradient, plutôt que de dépendre d'hyperparamètres fixes.

L'analyse théorique présentée dans l'article démontre que, sous des hypothèses standards (gradients bornés et continuité K-Lipschitzienne), SAMPLe converge avec un taux de $O(\frac{\log T}{\sqrt{T}})$ , comparable à SGD et Adam.

Principales Contributions

Optimiseur Novateur : Introduction de SAMPLe, le premier optimiseur basé sur SAM spécifiquement adapté à l'apprentissage par incitation des VLM, définissant un cadre à double objectif qui équilibre de manière adaptative la faible perte ERM et les minima plats.
Aperçu Théorique : Une analyse établissant les limites des méthodes de conscience de la netteté existantes dans le contexte de l'espace de paramètres limité de l'apprentissage par incitation, motivant le besoin d'une approche adaptative à double objectif.
Évaluation Exhaustive : Expérimentations approfondies intégrant SAMPLe dans de multiples cadres d'apprentissage par incitation (CoOp, CoCoOp, MaPLe, TCP et Co-Prompt) à travers divers jeux de données.

Résultats Expérimentaux
L'article évalue SAMPLe à travers trois configurations principales en utilisant 11 jeux de données de classification d'images et diverses variantes d'ImageNet :

Généralisation Base-vers-Nouveau : Dans les scénarios d'apprentissage à quelques tirages (few-shot learning), SAMPLe améliore systématiquement la moyenne harmonique (HM) des précisions des classes de base et des nouvelles classes par rapport aux lignes de base et aux autres variantes de SAM (SAM, F-SAM, SAGM). Par exemple, en moyenne, CoOp est passé de 77,65 (avec SAGM) à 78,88 avec SAMPLe.
Généralisation Zero-Shot Trans-Jeu de Données : Lorsque les modèles entraînés sur ImageNet sont testés sur 10 jeux de données cibles non vus sans ajustement fin (fine-tuning), SAMPLe augmente systématiquement la performance de transfert. Pour CoOp, la précision moyenne est passée de 63,88 % à 65,85 %.
Généralisation Trans-Domaine : Sur les variantes d'ImageNet représentant des changements de distribution (V2, Sketch, Adversarial, Rendition), SAMPLe a renforcé la robustesse. CoOp+SAMPLe a atteint une précision moyenne de 60,41 %, surpassant le CoOp standard (59,28 %) et d'autres bases solides.

Les résultats indiquent que SAMPLe parvient à un compromis plus stable entre la spécialisation sur les classes de base et le transfert vers les classes non vues, surpassant souvent les méthodes de pointe sans dégrader drastiquement les performances sur les distributions observées.

Signification et Revendications
L'article affirme que SAMPLe établit une solution robuste et agnostique au modèle pour l'apprentissage par incitation en s'attaquant directement à la nature sujette au surapprentissage de l'espace de paramètres apprenables limité des VLM. En incorporant la conscience du paysage de perte et en équilibrant dynamiquement l'exploration et l'exploitation, SAMPLe préserve le potentiel de généralisation des modèles pré-entraînés. Les auteurs soutiennent que leur approche élève les cadres existants d'apprentissage par incitation, offrant un gain de performance constant à travers divers contextes et démontrant qu'une optimisation minutieuse du paysage de perte est critique pour un apprentissage par incitation efficace dans les VLM.

Le Problème : L'Étudiant « Trop Confiant »

La Solution : SAMPLe (Le Coach « Sécurité d'Abord »)

Les Résultats : Un Robot Plus Robuste

Résumé

Articles similaires