DeCLIP: Decoupled Prompting for CLIP-based Multi-Label Class-Incremental Learning

Each language version is independently generated for its own context, not a direct translation.

🎓 Le Défi : Apprendre sans oublier (et sans se tromper)

Imaginez que vous apprenez à reconnaître des animaux.

Le problème classique : Vous apprenez d'abord à reconnaître les chats, puis les chiens. Mais dès que vous voyez un chien, vous oubliez comment était un chat. C'est ce qu'on appelle l'"oubli catastrophique".
Le problème spécifique de cet article (MLCIL) : Dans la vraie vie, une photo contient souvent plusieurs animaux en même temps (un chien et un chat sur le canapé). De plus, vous n'avez pas toujours l'étiquette complète : on vous dit "regarde le chien", mais on ne vous dit pas "il y a aussi un chat". Votre cerveau a tendance à deviner n'importe quoi, créant beaucoup de fausses alertes (vous voyez un chat là où il n'y en a pas).

Les ordinateurs actuels, basés sur une technologie appelée CLIP (un super-cerveau qui relie les images aux mots), sont excellents pour apprendre une chose à la fois. Mais quand on leur demande d'apprendre plusieurs choses en même temps, sans les étiquettes complètes, ils deviennent confus et font beaucoup d'erreurs.

💡 La Solution : DeCLIP (Le "Détachement" Intelligent)

Les auteurs proposent DeCLIP, une méthode qui permet à l'ordinateur d'apprendre de nouvelles classes d'images sans oublier les anciennes, et sans avoir besoin de réviser ses anciens cours (pas besoin de stocker d'anciennes photos).

Voici comment ça marche, avec deux métaphores clés :

1. Le Système de "Bibliothèque de Fichiers" (Le Prompting Découplé)

Imaginez que votre cerveau est une bibliothèque.

L'ancienne méthode (Confuse) : C'est comme si tous les livres sur "Chien" et "Chat" étaient empilés dans un seul tas géant. Quand vous cherchez "Chien", vous touchez aussi "Chat". Résultat : vous confondez les deux.
La méthode DeCLIP (Découplée) : DeCLIP crée une boîte à outils unique pour chaque animal.
- Pour le "Chien", il a une boîte spécifique avec des lunettes spéciales pour voir les chiens.
- Pour le "Chat", il a une autre boîte avec des lunettes pour les chats.
- Même si le chien et le chat sont sur la même photo, l'ordinateur ouvre la boîte "Chien" pour regarder le chien, et la boîte "Chat" pour regarder le chat. Ils ne se mélangent jamais !
- Le génie : Une fois qu'il a appris à faire une boîte pour un animal, il la garde précieusement. Il ne la touche plus jamais. C'est comme un ancrage de mémoire : il ne peut pas oublier ce qu'il a appris, car la boîte est scellée et protégée.

2. Le "Thermomètre de Confiance" (AST)

Le deuxième problème est que l'ordinateur est trop confiant. Comme on ne lui montre pas toutes les étiquettes (on ne lui dit pas "il n'y a pas d'éléphant"), il a tendance à crier "IL Y A UN ÉLÉPHANT !" pour tout et n'importe quoi.

La solution DeCLIP : Ils ajoutent un thermomètre de confiance intelligent (appelé Adaptive Similarity Tempering).
- Imaginez que l'ordinateur a une balance. Quand il voit quelque chose, il met un poids sur la balance pour dire "C'est ça !".
- Au début, il est très chaud et met des poids énormes (trop confiant).
- La méthode DeCLIP ajuste automatiquement la température de cette balance à chaque nouvelle leçon. Plus il apprend de choses, plus il devient prudent et froid. Il se dit : "Attends, je ne suis pas sûr à 100%, je vais baisser un peu mon enthousiasme pour ne pas inventer des choses."
- Cela élimine les fausses alarmes sans avoir besoin de lui donner des exemples de ce qui n'est pas là.

🚀 Pourquoi c'est révolutionnaire ?

Pas de "Révision" (Replay-free) : La plupart des méthodes doivent garder un coffre-fort rempli d'anciennes photos pour ne pas oublier. DeCLIP n'a besoin de rien. Il apprend, il stocke les "boîtes à outils" (les prompts), et il avance. C'est économe en mémoire.
Efficacité : Il n'apprend que quelques petits paramètres (comme ajuster quelques vis sur la machine), ce qui est très rapide et peu coûteux en énergie.
Résultats : Sur des bases de données réelles (comme des milliers de photos de la vie quotidienne), DeCLIP bat tous les autres champions, même ceux qui ont le droit de garder des anciennes photos.

🏁 En résumé

DeCLIP, c'est comme donner à un étudiant une méthode d'apprentissage où :

Chaque nouvelle matière a son propre carnet de notes dédié (pour ne pas mélanger les idées).
Une fois un sujet appris, le carnet est scellé et rangé dans un coffre-fort inviolable (pour ne jamais oublier).
Un professeur intelligent ajuste son niveau d'excitation pour qu'il ne crie pas "J'ai trouvé la réponse !" pour n'importe quelle question (pour éviter les erreurs).

C'est une avancée majeure pour permettre aux intelligences artificielles d'évoluer dans le monde réel, où les choses sont toujours mélangées et où l'on ne connaît pas toujours toutes les réponses à l'avance.

Each language version is independently generated for its own context, not a direct translation.

1. Problématique : L'Apprentissage Incrémental Multi-Étiquettes (MLCIL)

L'article aborde le défi de l'Apprentissage Incrémental de Classes Multi-Étiquettes (MLCIL). Contrairement à l'apprentissage incrémental classique (SLCIL) où une image appartient à une seule classe, en MLCIL, une image peut contenir plusieurs classes co-occurrentes. De plus, l'espace des étiquettes s'étend continuellement au fil du temps.

Ce paradigme pose deux problèmes majeurs, particulièrement lorsqu'on tente d'adapter le modèle pré-entraîné CLIP (Contrastive Language-Image Pre-training) :

Oubli Catastrophique : Le modèle oublie les classes apprises précédemment lorsqu'il apprend de nouvelles tâches.
Taux de Faux Positifs Élevés (FPR) : En raison du schéma d'étiquetage partiel au niveau de la tâche (seules les étiquettes de la tâche courante sont visibles lors de l'entraînement, les autres étant masquées), le modèle manque de "preuves négatives" pour les classes passées et futures. Cela conduit à une surconfiance et à une prédiction erronée de classes absentes (faux positifs).

Les méthodes existantes basées sur CLIP échouent car elles utilisent des mécanismes de prompting (many-to-many ou one-to-many) qui ne respectent pas le paradigme d'alignement "une image - un texte" de CLIP, créant une confusion sémantique entre les classes co-occurrentes.

2. Méthodologie : DeCLIP

Les auteurs proposent DeCLIP, un cadre sans réplay (replay-free) et efficace en paramètres qui résout ces problèmes via deux composantes principales :

A. Prompting Découplé (Semantic Decoupling)

Au lieu de partager des prompts entre plusieurs classes, DeCLIP adopte une stratégie un-à-un (one-to-one) :

Espace de Prompt par Classe : Chaque catégorie se voit attribuer son propre espace de prompt dédié, tant dans le modalité visuelle que textuelle.
Prompts Positifs et Négatifs : Pour chaque classe $c$ $c$ , le modèle apprend deux prompts :
- Un prompt positif ( $P^+$ ) qui encode la présence de la classe.
- Un prompt négatif ( $P^-$ ) qui encode l'absence de la classe.
Découplage Sémantique : Cela transforme la reconnaissance multi-étiquettes en une série de tâches de classification binaire. Une image multi-étiquette est décomposée en plusieurs vues spécifiques à chaque classe, compatibles avec l'alignement image-texte de CLIP.
Ancres de Connaissance : Les prompts appris sont figés et préservés après chaque tâche. Agissant comme des "ancres", ils empêchent l'oubli catastrophique sans nécessiter de stocker d'échantillons de données (pas de réplay).
Optimisation (Late-Layer Prompting) : Les prompts sont injectés dans les cinq dernières couches de l'encodeur visuel (plutôt que les premières), car ces couches contiennent des informations sémantiques plus riches et sont mieux adaptées au découplage spécifique à la classe.

B. Tempérament Adaptatif de Similarité (Adaptive Similarity Tempering - AST)

Pour résoudre le problème des faux positifs élevés causés par le manque de preuves négatives :

Mécanisme : AST module les paires de similarité (positif/négatif) dans l'espace vision-langage lors de l'inférence.
Température Dynamique : Une température $\tau(t)$ est introduite dans la fonction softmax binaire. Elle est fixée à 1 lors de l'entraînement, mais augmente progressivement lors de l'inférence en fonction du nombre de tâches apprises ( $t$ ) et du nombre total de classes ( $|C^{1:t}|$ ).
Avantage : Cette stratégie réduit la confiance excessive du modèle sur les classes absentes sans nécessiter de réglage spécifique au jeu de données ou de scénario, contrairement aux régularisations classiques (comme la perte asymétrique).

3. Contributions Clés

Premier cadre CLIP sans réplay pour MLCIL : DeCLIP est la première méthode à utiliser CLIP pour l'apprentissage incrémental multi-étiquettes sans stocker de données passées.
Découplage Sémantique Un-à-Un : Introduction d'un schéma de prompting spécifique à chaque classe (avec prompts positifs et négatifs) qui élimine la confusion sémantique entre classes co-occurrentes et préserve les connaissances via des ancres de prompts.
Suppression des Faux Positifs (AST) : Proposition d'une stratégie de tempérament de similarité adaptative et robuste qui supprime efficacement les faux positifs sans hyperparamètres spécifiques aux données.
Efficacité : La méthode est hautement paramétriquement efficace, n'optimisant que les prompts (très légers) tout en gardant les encodeurs CLIP figés.

4. Résultats Expérimentaux

Les expériences ont été menées sur les jeux de données MS-COCO et PASCAL VOC avec divers scénarios incrémentaux (ex: B40-C10, B0-C10).

Performance Globale : DeCLIP surpasse systématiquement les méthodes de l'état de l'art (SLCIL et MLCIL), y compris celles basées sur CLIP (comme CL-CLIP, RAPF, MG-CLIP) et celles utilisant des mécanismes de réplay (comme DPA, CSC).
- Sur MS-COCO (B40-C10) : DeCLIP atteint 84,1 % de mAP moyen, surpassant la meilleure méthode précédente (DPA à 81,1 %).
- Sur PASCAL VOC (B0-C4) : Il atteint 90,7 % de mAP sur la dernière tâche.
Réduction des Faux Positifs : L'ablation montre que l'AST réduit le taux de faux positifs (FPR) de 25,4 % à 2,4 % sur VOC, tout en améliorant les métriques F1 (CF1 et OF1).
Robustesse à Long Terme : Dans les scénarios à séquence longue (plus de tâches), DeCLIP maintient une forte robustesse et un oubli minimal, surpassant même les méthodes utilisant un tampon mémoire (ex: AGCN-R, KRT-R).
Transfert Zero-Shot : Le modèle entraîné incrémentalement sur COCO transfère ses connaissances à VOC avec une performance supérieure aux autres méthodes CLIP.

5. Signification et Impact

Ce travail est significatif car il comble le fossé entre la puissance de généralisation des modèles vision-langage (CLIP) et les exigences complexes de l'apprentissage incrémental multi-étiquettes.

Efficacité des Ressources : En éliminant le besoin de réplay (stockage de données), DeCLIP offre une solution plus respectueuse de la vie privée et économiquement viable pour les systèmes continus.
Nouveau Paradigme : Il démontre que le découplage sémantique via des prompts spécifiques à la classe est essentiel pour adapter les modèles pré-entraînés à des tâches multi-étiquettes, ouvrant la voie à de futures recherches sur l'adaptation fine de grands modèles pour l'apprentissage continu.

En résumé, DeCLIP propose une architecture élégante qui transforme les défis de la confusion sémantique et de l'oubli en opportunités d'apprentissage via un découplage précis et un contrôle de la confiance adaptatif.