🤖 machine learning

Concept-Constrained Prompt Learning for Few-Shot CLIP Adaptation

Cet article propose le Concept-Constrained Prompt Learning (CCPL), un cadre léger pour l'adaptation de CLIP en mode few-shot qui régularise les prompts de classe apprenables par rapport à des prototypes textuels de niveau concept figés afin d'atténuer le surapprentissage et d'améliorer la généralisation aux classes non vues, particulièrement sur les ensembles de données de télédétection et de granularité fine.

Auteurs originaux : Na Sang, Ding Ma, Rui Sang, Yuxuan Liu

Publié 2026-06-23

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Na Sang, Ding Ma, Rui Sang, Yuxuan Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un robot super intelligent nommé CLIP qui a lu des millions de livres et regardé des milliards de photos. Il sait à quoi ressemble une « forêt », ce que l'on ressent en touchant du « sable » et quel est le son d'un « chat siamois », sans jamais avoir été spécifiquement instruit pour cela. C'est son pouvoir de « zero-shot » (apprentissage sans exemple).

Mais et si vous vouliez que ce robot devienne un expert dans un nouveau travail spécifique, comme identifier 10 types différents d'images satellites, mais que vous ne disposiez que de cinq photos de chaque type pour l'enseigner ? C'est ce qu'on appelle l'apprentissage « few-shot » (apprentissage à partir de peu d'exemples).

Le Problème : Le Robot devient trop focalisé

Habituellement, pour enseigner ce nouveau travail au robot, on ajuste une infime partie de son cerveau (le « prompt ») pour qu'il se concentre intensément sur ces cinq photos.

L'analogie : Imaginez un étudiant qui révise intensément pour un examen en utilisant seulement cinq questions d'entraînement. Il pourrait mémoriser parfaitement les réponses à ces questions spécifiques (les « classes de base »), mais si l'examen réel présente une question légèrement différente (les « nouvelles classes »), il pourrait échouer parce qu'il a appris les spécificités de ses questions d'entraînement plutôt que le concept général.
Le résultat : Le robot devient très bon pour les choses qu'il a vues pendant l'entraînement, mais il oublie ses connaissances générales sur le monde, ce qui le rend mauvais pour reconnaître de nouvelles choses inédites.

La Solution : CCPL (Concept-Constrained Prompt Learning)

Les auteurs proposent une nouvelle méthode appelée CCPL. Voyez cela comme le fait de donner une « fiche de révision » de concepts généraux à l'étudiant pendant qu'il étudie, afin qu'il n'oublie pas la vue d'ensemble.

Voici comment cela fonctionne, en utilisant des métaphores simples :

1. L'« Ancre Gelée » (Prototypes de Concepts)

Au lieu de simplement laisser le robot apprendre à partir des cinq photos, le CCPL lui donne une liste de phrases de concepts gelées pour chaque catégorie.

L'analogie : Si la catégorie est « Forêt », on ne dit pas seulement au robot « Ceci est une forêt ». On lui rappelle aussi les concepts : « canopée dense », « zone boisée » et « végétation verdoyante ».
La magie : Ces concepts sont « gelés », ce qui signifie que le robot n'essaie pas de les modifier ou de les mémoriser parfaitement. Ils agissent comme des ancres dans l'océan. Tandis que le robot apprend à partir des quelques photos, ces ancres le tirent vers l'arrière, garantissant qu'il ne s'éloigne pas trop du sens général et correct de « forêt ».

2. Le « Filet de Sécurité » (Concept Dropout)

Parfois, compter trop sur une liste de mots spécifique peut être risqué. Et si la liste était légèrement erronée ?

L'analogie : Imaginez que l'enseignant dise à l'étudiant : « Ne te contente pas de mémoriser le mot 'arbre', pense à toute la forêt ». Pour s'assurer que l'étudiant ne mémorise pas juste le mot « arbre » en ignorant le reste, l'enseignant cache aléatoirement certains des mots de concept pendant l'entraînement.
Le résultat : Le robot apprend à comprendre l'« ambiance générale » du concept plutôt que de s'accrocher à un mot spécifique. Cela le rend plus robuste.

3. Le « Vote Équilibré » (Inference Fusion)

Lorsque le robot passe l'examen final (regarde une nouvelle image), il a deux opinions :

Opinion A : Ce qu'il a appris des quelques photos (le « Class Prompt »).
Opinion B : Ce que dit la liste des concepts généraux (le « Concept Prototype »).

L'analogie : Le robot combine ces deux opinions. Il écoute principalement l'Opinion A (car il a été entraîné pour la tâche spécifique), mais il laisse l'Opinion B lui murmurer un petit conseil.
Le contrôle : Les auteurs peuvent tourner un cadran (appelé $\alpha$ ) pour décider à quel point il doit écouter les concepts généraux. S'ils le tournent trop haut, le robot ignore l'entraînement spécifique et redevient un généraliste. S'ils le tournent trop bas, il oublie à nouveau les concepts généraux.

Qu'est-ce qui s'est passé lors des expériences ?

Les chercheurs ont testé cela sur trois types de « jobs » différents :

Images Satellites (EuroSAT) : Ce fut un immense succès. Les « concepts » (comme « arbres denses » ou « routes asphaltées ») correspondaient parfaitement aux images. Le robot a appris le travail spécifique et a conservé ses connaissances générales, devenant bien meilleur pour reconnaître de nouveaux types de scènes satellites.
Textures (DTD) : Ce fut un succès modeste. Les concepts étaient simples (comme « texture tressée »). Cela a aidé un peu, mais les concepts n'étaient pas aussi riches que ceux des satellites.
Races de Animaux (OxfordPets) : Ce fut un échec (ou plutôt un résultat neutre). Les concepts utilisés étaient des modèles génériques comme « texture de chat siamois ». Mais dire à un robot « texture de chat siamois » ne l'aide pas à distinguer un Siamois d'un Persan, car la différence réside dans la forme du visage ou la position des oreilles, et non dans la simple « texture ». Les concepts génériques étaient trop vagues pour aider, donc le robot a performé de la même manière qu'avant.

La Grande Conclusion

Le CCPL est un moyen léger d'empêcher un robot intelligent de « trop étudier » quelques exemples.

Il fonctionne mieux lorsque les « concepts » que vous lui donnez sont riches, descriptifs et correspondent réellement à ce que le robot doit voir (comme décrire une forêt ou une autoroute).
Il peine lorsque les concepts sont trop génériques ou ne capturent pas les détails fins nécessaires pour distinguer des choses similaires (comme différentes races de chats).

L'article conclut que cette méthode est un excellent outil pour des types de tâches spécifiques (comme les textures et les scènes), mais qu'elle n'est pas une solution miracle pour tous les problèmes. Elle nous rappelle que pour bien enseigner à un robot, il faut lui donner le bon genre d'indices, et pas seulement plus d'indices.

Résumé Technique : Apprentissage de Prompts Contraint par des Concepts pour l'Adaptation de CLIP en Few-Shot

1. Énoncé du Problème

L'apprentissage de prompts en mode few-shot est devenu une stratégie efficace pour adapter CLIP (Contrastive Language-Image Pre-training) à des tâches en aval sans réentraîner les énormes encodeurs d'images et de texte. Des méthodes comme CoOp optimisent un petit ensemble de jetons de contexte apprenables prépendés aux noms de classes. Cependant, une limitation critique existe : l'optimisation de ces prompts uniquement sur la supervision des classes de base (base classes) entraîne souvent un surapprentissage (overfitting). Si les performances sur les classes vues (base) s'améliorent, la capacité du modèle à généraliser vers les classes non vues (nouvelles classes) se dégrade fréquemment.

Ce compromis survient car la mise à jour des prompts basée uniquement sur les classes peut éloigner les plongements textuels (text embeddings) des directions sémantiquement riches initialement encodées par l'encodeur de texte de CLIP. Les noms de classes (par exemple, « forêt » ou « tressé ») sont sémantiquement clairsemés, manquant de indices visuels explicites concernant la matière, le motif ou la disposition. Par conséquent, les prompts appris peuvent dériver vers des biais spécifiques au jeu de données plutôt que de préserver la structure sémantique en vocabulaire ouvert nécessaire au transfert vers de nouvelles classes.

2. Méthodologie : Apprentissage de Prompts Contraint par des Concepts (CCPL)

Les auteurs proposent le Concept-Constrained Prompt Learning (CCPL), un cadre de régularisation léger conçu pour ancrer les prompts de classe apprenables à des prototypes textuels de niveau conceptuel gelés. La méthode opère sous les contraintes et mécanismes suivants :

2.1 Architecture Centrale

Encodeurs Gelés : Comme CoOp, CCPL maintient les encodeurs d'image et de texte de CLIP entièrement gelés.
Jetons de Contexte Partagés : Les seuls paramètres entraînables sont un ensemble de $M$ jetons de contexte partagés ( $\theta$ ), identiques à la configuration de CoOp.
Aucun Nouveau Composant Apprenable : CCPL n'introduit aucun paramètre apprenable supplémentaire au-delà des jetons de contexte.

2.2 Banque de Concepts et Construction de Prototypes

Banque de Concepts : Un fichier JSON conçu à la main associe les classes du jeu de données à des listes de phrases conceptuelles descriptives (par exemple, pour « forêt » : « canopée d'arbres dense », « zone boisée »).
Prototypes Gelés : Pour chaque classe $c$ , un prototype de concept $\tilde{t}^{con}_c$ est précalculé en faisant la moyenne des plongements textuels normalisés de ses phrases conceptuelles associées en utilisant l'encodeur de texte gelé de CLIP. Ces prototypes sont gelés et ne sont jamais mis à jour pendant l'entraînement.
Portée : Les prototypes sont construits pour toutes les classes (bases et nouvelles) en utilisant uniquement les noms de classes et les phrases conceptuelles, sans accéder aux images ou aux étiquettes des nouvelles classes.

2.3 Objectif d'Entraînement

Le processus d'entraînement minimise une fonction de perte composite sur les classes de base :
$\mathcal{L}_{CCPL} = \mathcal{L}_{ce} + \lambda_{text}\mathcal{L}_{text}$

$\mathcal{L}_{ce}$ : Perte d'entropie croisée standard sur les prédictions des classes de base.
$\mathcal{L}_{text}$ : Une perte de cohérence cosinus dans l'espace textuel qui aligne l'encodage du prompt de classe apprenable ( $t^{cls}_c$ ) avec le prototype de concept gelé ( $t^{con}_c$ ).
$\mathcal{L}_{text} = \frac{1}{|C_{base}|} \sum_{c \in C_{base}} (1 - \cos(t^{cls}_c, t^{con}_c))$
Concept Dropout : Pour éviter une dépendance excessive à des phrases spécifiques, un sous-ensemble de phrases conceptuelles est aléatoirement masqué (probabilité $p_{drop}$ ) lors du calcul du prototype pour la perte de cohérence.

2.4 Stratégie d'Inférence

À l'inférence, CCPL supporte la fusion de logits guidée par les concepts. Les logits finaux sont une combinaison convexe des logits du prompt de classe ( $z^{cls}$ ) et des logits du prototype de concept ( $z^{con}$ ) :
$z_i = (1 - \alpha) z^{cls}_i + \alpha z^{con}_i$
où $\alpha \in [0, 1]$ est un hyperparamètre réglable contrôlant la force du guidage conceptuel. La configuration par défaut utilise une fusion faible ( $\alpha = 0.1$ ).

3. Contributions Clés

Formulation : L'article formule l'adaptation de CLIP en few-shot comme un problème de régularisation sémantique dans l'espace textuel, introduisant des phrases conceptuelles de niveau classe comme des ancres gelées sans ajouter de paramètres entraînables.
Mécanisme : Il construit des prototypes de concept gelés à partir d'une banque de concepts de niveau classe et aligne les prompts apprenables via un objectif de cohérence cosinus.
Robustesse et Contrôle : Il introduit le concept dropout pour la robustesse de l'entraînement et un poids de fusion contrôlable au moment de l'inférence ( $\alpha$ ) pour gérer le compromis entre base et nouvelle classe.
Analyse Empirique : Il fournit des expériences contrôlées identifiant les conditions limites où les contraintes de concept sont efficaces (jeux de données de scènes/textures) versus là où elles sont neutres ou moins utiles (catégories fines/fine-grained).

4. Résultats Expérimentaux

Les expériences ont été menées sur trois jeux de données (DTD, EuroSAT, OxfordPets) en utilisant des séparations de repli (fallback splits) générées automatiquement et un protocole base-to-new à 4 shots avec CLIP ViT-B/16.

EuroSAT (Classification de Scènes) : CCPL a obtenu l'amélioration la plus significative, augmentant la moyenne harmonique base-to-new ( $H$ ) de 66,0 % (CoOp) à 68,9 %. Ce gain est principalement dû à un bond de la précision des nouvelles classes (56,3 % $\to$ 60,6 %), tandis que la précision des classes de base est restée stable.
DTD (Classification de Textures) : CCPL montre une amélioration modérée, faisant passer $H$ de 62,6 % à 63,2 % (+0,6). Les gains sont faibles, attribués à l'utilisation de concepts basés sur des modèles simples (« {class} texture »).
OxfordPets (Races de Animaux Fine-Grained) : Les performances sont quasi-neutres, avec une légère baisse de $H$ (96,3 % $\to$ 96,2 %). Les auteurs notent que les modèles génériques ne parviennent pas à capturer les indices subtils et spécifiques aux races requis pour la discrimination fine.
Études d'Ablation :
- Supprimer la régularisation de l'espace textuel ( $\lambda_{text}=0$ ) réduit les performances, confirmant la valeur de l'objectif d'alignement.
- Supprimer la fusion d'inférence ( $\alpha=0$ ) réduit également les performances, indiquant que les prototypes gelés portent des signaux de classification utiles même sans être une cible d'entraînement.
- Compromis : Augmenter $\alpha$ (par exemple, à 0,4) améliore davantage la précision des nouvelles classes mais dégrade considérablement la précision des classes de base, soulignant un compromis contrôlable.

5. Signification et Revendications

L'article affirme modestement que CCPL offre une direction de régularisation pratique et interprétable pour l'apprentissage de prompts, particulièrement pour les tâches impliquant des sémantiques de niveau scène ou de niveau matière (comme les textures et les scènes satellites).

Conditions Limites : Les auteurs identifient explicitement que les contraintes de concept sont plus efficaces lorsque les phrases conceptuelles s'alignent naturellement avec la sémantique visuelle du jeu de données. Elles sont moins efficaces pour les catégories fines (comme les races de chiens/chats) où les modèles génériques ne peuvent pas encoder les caractéristiques discriminantes nécessaires.
Pas de Surapprentissage sur les Baselines : Les auteurs soulignent que leurs résultats sont basés sur des « séparations de repli générées automatiquement » et sont destinés à une comparaison intra-protocole contre CoOp, et non comme une revendication directe de supériorité sur tous les états de l'art sur les séparations officielles.
Nature Légère : La méthode est mise en avant pour son efficacité, ajoutant un coût de calcul négligeable et aucun nouveau paramètre apprenable, ce qui en fait un ajout à faible coût aux pipelines d'apprentissage de prompts existants.

En conclusion, CCPL démontre qu'ancrer les prompts apprenables à des descriptions conceptuelles interprétables par l'humain peut préserver les capacités de généralisation en vocabulaire ouvert de CLIP, à condition que les concepts soient sémantiquement pertinents pour le domaine cible.