LDEPrompt: Layer-importance guided Dual Expandable Prompt Pool for Pre-trained Model-based Class-Incremental Learning

1. Problématique

L'article s'intéresse à l'apprentissage par classes incrémentielles (Class-Incremental Learning - CIL), où un modèle doit apprendre de nouvelles tâches successivement sans oublier les connaissances acquises précédemment (phénomène d'oubli catastrophique), et sans avoir accès aux données des tâches passées (exemplaire-free).

Bien que les méthodes récentes basées sur le Prompt Tuning (ajout de vecteurs prompts trainables sur des modèles pré-entraînés figés) aient montré des résultats prometteurs, elles souffrent de limitations critiques :

• Risque de sur-écriture : Les prompts sélectionnés pour différentes tâches risquent d'être écrasés lors de l'entraînement de nouvelles tâches, aggravant l'oubli catastrophique.
• Capacité fixe : Les pools de prompts sont souvent de taille fixe, limitant la capacité du modèle à accommoder de nouvelles tâches complexes.
• Dépendance au backbone : La sélection des prompts repose uniquement sur les embeddings d'un modèle pré-entraîné figé, qui manquent d'informations spécifiques à la tâche, créant une forte dépendance à l'architecture de base.

2. Méthodologie : LDEPrompt

Les auteurs proposent LDEPrompt, un cadre innovant qui combine une sélection adaptative des couches et une architecture de pool de prompts dynamique.

A. Évaluation de l'Importance des Couches (Layer Importance Evaluation)

Avant l'entraînement de chaque nouvelle tâche, le modèle effectue plusieurs passages avant (forward passes) sur le backbone pré-entraîné pour évaluer le gain d'information de chaque couche.

• Le gain d'information $IG(l)$ est calculé comme la différence d'information mutuelle entre l'entrée et la sortie d'une couche $l$.
• Les couches sont notées via une fonction softmax. Seules les couches dont le score d'importance est supérieur à la moyenne sont sélectionnées pour l'insertion de prompts. Cela évite la redondance paramétrique et aligne l'allocation des prompts sur les caractéristiques spécifiques de la tâche.

B. Architecture Dual Expandable Prompt Pool (Double Pool Expandable)

Pour résoudre les problèmes de sur-écriture et de capacité fixe, LDEPrompt introduit deux pools distincts :

1. Pool Global ($P_g$) : Stocke les prompts de toutes les tâches passées. Ces prompts sont figés (frozen) après leur apprentissage pour préserver les connaissances antérieures.
2. Pool d'Entraînement ($P_c$) : Contient uniquement les prompts spécifiques à la tâche courante, avec une capacité fixe $S$.

Mécanisme d'interaction :

• Pour une nouvelle tâche, le système récupère les $s$ prompts les plus similaires (via similarité cosinus avec le token [CLS]) depuis le pool global $P_g$ et les injecte dans le pool d'entraînement $P_c$ (où ils restent figés).
• Les $S-s$ prompts restants sont initialisés aléatoirement et restent trainables pour apprendre la nouvelle tâche.
• Après l'entraînement, les nouveaux prompts appris sont ajoutés au pool global $P_g$, permettant une expansion dynamique du pool sans écraser les connaissances existantes.

C. Optimisation

Le modèle est optimisé en minimisant la perte d'entropie croisée standard sur les classes vues jusqu'à présent, en ajustant uniquement les prompts trainables et le classifieur, tandis que le backbone reste figé.

3. Contributions Clés

1. Sélection Adaptative des Couches : Au lieu d'insérer des prompts dans toutes les couches (ce qui est coûteux et redondant), LDEPrompt identifie dynamiquement les couches les plus informatives pour chaque tâche.
2. Architecture Dual-Pool : La séparation entre un pool global figé (mémoire à long terme) et un pool d'entraînement dynamique (apprentissage à court terme) permet de partager des connaissances entre tâches tout en évitant l'oubli catastrophique par sur-écriture.
3. Expansion Dynamique : Contrairement aux méthodes à pool fixe, LDEPrompt peut étendre sa capacité de stockage de prompts à mesure que de nouvelles tâches sont apprises.

4. Résultats Expérimentaux

LDEPrompt a été évalué sur des benchmarks standards d'apprentissage incrémentiel : CIFAR100, CUB (Caltech-UCSD Birds) et VTAB.

• Performance Globale : LDEPrompt obtient des performances de l'état de l'art (SOTA) sur trois des quatre configurations testées.
  • Sur CIFAR100 (B0-Inc10) : 91,60 % de précision moyenne (vs 91,20 % pour le deuxième meilleur, Evoprompt).
  • Sur CUB (B0-Inc20) : 92,31 % de précision moyenne (vs 85,25 % pour Evoprompt), soit une amélioration de 2,91 % sur la précision finale.
  • Sur VTAB (B0-Inc10) : 94,44 % de précision moyenne.
• Études d'ablation : Les expériences confirment que la combinaison du gel des prompts globaux, de l'expansion dynamique et de la sélection de couches est essentielle. L'insertion de prompts dans toutes les couches (sans sélection) dégrade les performances en introduisant du bruit et de la redondance.

5. Signification et Impact

Ce travail démontre que l'efficacité de l'apprentissage continu basé sur les prompts ne réside pas seulement dans l'ajout de paramètres, mais dans l'allocation intelligente de ces paramètres.

• En guidant l'insertion des prompts par l'importance informationnelle des couches, le modèle devient plus efficace et moins sujet au sur-apprentissage.
• Le mécanisme de double pool offre une solution élégante au compromis classique entre plasticité (apprendre du nouveau) et stabilité (ne pas oublier l'ancien).
• LDEPrompt établit une nouvelle référence pour l'apprentissage incrémentiel sans exemplaires, prouvant que des architectures dynamiques et adaptatives surpassent les approches statiques traditionnelles.

Le code est disponible publiquement, facilitant la reproduction et l'extension de ces travaux par la communauté de recherche.