One-Prompt Strikes Back: Sparse Mixture of Experts for Prompt-based Continual Learning

Le papier présente SMoPE, un cadre novateur pour l'apprentissage continu basé sur des prompts qui intègre une architecture de mélange d'experts épars pour allier l'efficacité computationnelle des prompts partagés et la performance des prompts spécifiques à chaque tâche, réduisant ainsi les interférences et les coûts tout en maintenant des résultats compétitifs.

L'essentiel

🧠 Le Problème : Apprendre sans oublier (mais sans devenir fou)

Imaginez un étudiant très intelligent (c'est notre Intelligence Artificielle) qui doit apprendre une nouvelle matière chaque semaine.

• Semaine 1 : Il apprend l'histoire.
• Semaine 2 : Il apprend les mathématiques.
• Semaine 3 : Il apprend la musique.

Le problème, c'est que souvent, quand il apprend les mathématiques, il oublie tout ce qu'il savait sur l'histoire. C'est ce qu'on appelle l'"oubli catastrophique".

Pour l'aider, les chercheurs ont inventé une astuce : au lieu de réécrire tout son cerveau, on lui donne de petits post-it (des "prompts") collés sur son front.

• Pour l'histoire, on colle un post-it rouge.
• Pour les maths, un post-it bleu.

Le dilemme actuel :

1. La méthode "Un post-it par matière" : On colle un post-it différent pour chaque nouvelle matière.
   • Avantage : Il ne confond jamais rien.
   • Inconvénient : Au bout de 100 matières, son front est couvert de 100 post-it ! C'est lourd, ça prend trop de place et c'est lent à lire.
2. La méthode "Un seul post-it universel" : On ne garde qu'un seul post-it qu'on modifie à chaque fois.
   • Avantage : Très léger, très rapide.
   • Inconvénient : Quand on écrit "maths" dessus, on efface ce qu'il y avait écrit pour "histoire". L'étudiant est confus.

💡 La Solution : SMoPE (Le Système de Post-it Intelligents)

Les auteurs de ce papier (SMoPE) ont trouvé une solution géniale pour avoir le meilleur des deux mondes. Ils disent : "Et si notre unique post-it n'était pas un seul morceau de papier, mais une boîte à outils remplie de petits experts ?"

Voici comment cela fonctionne, étape par étape :

1. La Boîte à Outils (Le Mixture of Experts)

Au lieu d'avoir un seul post-it, imaginez que le post-it est en fait une boîte à 25 outils (des "experts").

• L'outil 1 est un expert en "Oiseaux".
• L'outil 2 est un expert en "Voitures".
• L'outil 3 est un expert en "Paysages".

2. Le Choix Dynamique (La Sparse Activation)

Quand l'étudiant voit une photo d'un oiseau, il n'utilise pas les 25 outils. Il regarde la photo, et une petite intelligence (le "gouverneur") dit : "Attends, c'est un oiseau ! Active seulement l'outil n°1 et l'outil n°5, et laisse les 23 autres au repos."

C'est comme si, pour faire une omelette, vous n'allumiez que les plaques de cuisson nécessaires, au lieu d'allumer tout le four.

• Résultat : L'étudiant apprend la nouvelle tâche sans toucher aux outils qu'il utilisait pour les tâches précédentes. Pas de confusion !

3. Le Gardien de la Paix (Le Bruit Adaptatif)

Il y a un petit problème : parfois, l'étudiant a tendance à toujours utiliser les mêmes outils (les plus familiers) et oublie les autres. Les outils "oubliés" deviennent rouillés.
Pour éviter ça, SMoPE ajoute un petit bruit (une petite perturbation) sur les outils qui sont trop souvent utilisés.

• L'analogie : C'est comme si le professeur disait : "Tu utilises trop ton marteau ! Essaie un peu la visseuse aujourd'hui, sinon tu vas t'ennuyer."
  Cela force l'étudiant à utiliser tous les outils de la boîte, même ceux qu'il n'a pas vus depuis longtemps, pour qu'ils restent affûtés.

4. La Mémoire Fantôme (Les Prototypes)

Pour ne pas oublier les anciennes tâches, SMoPE garde une "mémoire fantôme" des anciens outils. Même si on n'a plus les vieux post-it, on se souvient de la forme des outils qui servaient à l'histoire. Cela permet de vérifier que l'on n'efface pas accidentellement les connaissances passées.

🚀 Pourquoi c'est génial ?

• Économie d'énergie : Au lieu d'avoir un cerveau énorme avec un post-it par tâche, on a un cerveau léger avec une seule boîte à outils intelligente.
• Vitesse : On n'a pas besoin de tout lire pour savoir quelle tâche on fait. On regarde juste l'image et on active les bons outils instantanément.
• Performance : Les tests montrent que cette méthode est aussi bonne (voire meilleure) que les méthodes lourdes, mais avec beaucoup moins de ressources.

En résumé

Imaginez un chef cuisinier qui doit préparer des plats de 100 pays différents.

• L'ancienne méthode : Il achète un nouveau couteau pour chaque pays. Sa cuisine est encombrée et il perd du temps à chercher le bon couteau.
• La méthode SMoPE : Il a un seul grand tiroir avec 25 types de couteaux. Quand il doit faire un plat japonais, il sort seulement le couteau à sashimi et le couteau à sushis. Il laisse les autres au repos. Il garde ses couteaux aiguisés, ne perd pas de temps, et ne se trompe jamais de plat.

C'est exactement ce que fait SMoPE : il rend l'apprentissage continu plus intelligent, plus rapide et plus économe en énergie.

Résumé technique

Voici un résumé technique détaillé de l'article « ONE-PROMPT STRIKES BACK: SPARSE MIXTURE OF EXPERTS FOR PROMPT-BASED CONTINUAL LEARNING » (SMoPE), publié à la conférence ICLR 2026.

1. Problématique : L'Arbitrage Efficacité vs Performance en Apprentissage Continu

L'apprentissage continu (Continual Learning - CL) vise à entraîner des réseaux de neurones sur une séquence de tâches sans oublier les connaissances acquises précédemment. Un défi majeur est le oubli catastrophique.

Les méthodes récentes basées sur les prompts (instructions apprenables) ont montré de bons résultats en gelant le modèle pré-entraîné et en n'ajustant que de petits paramètres. Cependant, deux approches dominantes présentent des compromis :

• Prompts spécifiques à la tâche : Chaque tâche possède son propre sous-ensemble de prompts. Cela réduit l'interférence mais entraîne une croissance linéaire du nombre de paramètres et une surcharge computationnelle (nécessité d'inférer la tâche ou de tester tous les prompts).
• Prompt partagé unique : Une seule série de paramètres est partagée entre toutes les tâches (ex: OVOR). C'est très efficace en termes de paramètres, mais souffre d'une forte interférence de connaissances, dégradant les performances car les mises à jour pour une nouvelle tâche corrompent les informations des tâches précédentes.

Question centrale : Peut-on concilier l'efficacité paramétrique d'un prompt unique avec la performance des méthodes spécifiques à la tâche ?

2. Méthodologie : SMoPE (Sparse Mixture of Prompt Experts)

Les auteurs proposent SMoPE, un cadre novateur qui intègre une architecture de Mélange d'Experts (MoE) parcimonieux dans le mécanisme de Prefix Tuning. L'idée centrale est de structurer un prompt unique partagé comme un ensemble d'experts, dont seuls les plus pertinents sont activés pour chaque entrée.

A. Architecture et Sélection d'Experts

• Interprétation MoE : En se basant sur des travaux récents, chaque tête d'attention dans un Vision Transformer (ViT) est vue comme un modèle MoE. Le Prefix Tuning ajoute des "experts de prompt" aux experts pré-entraînés.
• Agrégation des Scores (Prompt-Attention Score Aggregation) : Dans un MoE standard, chaque expert a un score par token. Pour réduire la complexité computationnelle, SMoPE agrège les scores de tous les tokens d'une entrée en un score proxy unique par expert. Cela permet de sélectionner dynamiquement un sous-ensemble d'experts pertinents sans calculer tous les scores individuels.
• Sélection Parcimonieuse : Pour chaque entrée, seuls les K experts les mieux notés sont activés et mis à jour. Cela crée une partition implicite des paramètres : une tâche n'actualise qu'une fraction du prompt, réduisant ainsi l'interférence avec les autres tâches.

B. Mécanismes d'Optimisation Clés

Pour pallier les défis spécifiques aux MoE parcimonieux (déséquilibre d'utilisation des experts et oubli), SMoPE introduit deux mécanismes :

1. Bruit Adaptatif (Adaptive Noise) :

   • Problème : Certains experts dominent la sélection, laissant d'autres inactifs, ce qui limite la capacité d'apprentissage de nouvelles tâches.
   • Solution : Un mécanisme de bruit adaptatif pénalise les scores des experts fréquemment activés (ceux qui contiennent déjà des connaissances importantes). Cela force l'exploration d'experts sous-utilisés pour les nouvelles tâches tout en protégeant les connaissances critiques des experts déjà bien établis.

2. Perte par Prototypes (Prototype-based Loss) :

   • Problème : En apprentissage continu, les données passées ne sont pas disponibles pour préserver les spécialisations des experts.
   • Solution : Les auteurs utilisent les clés de préfixe (prefix keys) des tâches précédentes comme prototypes implicites. Une fonction de perte ($L_{proto}$) assure que les nouveaux experts ne s'éloignent pas trop de ces prototypes, préservant ainsi la mémoire des distributions d'entrée passées sans nécessiter de stockage de données.

3. Contributions Principales

1. SMoPE : Une nouvelle méthode qui combine un prompt unique partagé avec une sélection d'experts parcimonieuse dynamique, éliminant le besoin de prompts spécifiques à la tâche.
2. Mécanismes de Régularisation : Introduction du bruit adaptatif pour équilibrer l'utilisation des experts et d'une perte basée sur les prototypes pour la rétention de connaissances sans données passées.
3. Efficacité Théorique et Pratique : Démonstration que l'agrégation des scores ne compromet pas la complexité d'échantillonnage (sample complexity) et réduction significative des coûts computationnels.

4. Résultats Expérimentaux

Les expériences ont été menées sur des benchmarks standards d'apprentissage continu en vision par ordinateur : ImageNet-R, CIFAR-100 et CUB-200.

• Performance : SMoPE surpasse systématiquement les méthodes à prompts spécifiques (comme HiDe-Prompt, NoRGa, CODA-Prompt) et les méthodes à prompt unique (OVOR). Il atteint des résultats State-of-the-Art (SOTA) en termes de Précision Moyenne Finale (FAA) et de Précision Moyenne Cumulative (CAA).
• Efficacité Paramétrique : En utilisant un seul prompt partagé, SMoPE réduit considérablement le nombre de paramètres apprenables par rapport aux méthodes qui allouent des prompts par tâche.
• Coût Computationnel :
  • SMoPE évite le passage complet du modèle pour inférer la tâche (contrairement aux méthodes à prompts multiples).
  • Il réduit le coût computationnel (GFLOPs) d'environ 50% par rapport aux méthodes de référence comme Deep L2P++ ou DualPrompt, tout en offrant de meilleures performances.
• Robustesse : Les résultats restent supérieurs même avec des pré-entraînements auto-supervisés (iBOT, DINO) et sur des séquences de tâches longues (jusqu'à 50 tâches).

5. Signification et Impact

Ce travail est significatif car il résout le dilemme fondamental de l'apprentissage continu basé sur les prompts : la nécessité d'avoir soit beaucoup de paramètres (pour éviter l'oubli), soit peu de paramètres (pour l'efficacité).

• Paradigme Unifié : SMoPE prouve qu'un seul ensemble de paramètres peut gérer une infinité de tâches si l'on utilise une architecture de sélection dynamique intelligente (MoE parcimonieux).
• Évolutivité : La méthode est particulièrement adaptée aux déploiements réels où la mémoire et la puissance de calcul sont limitées, car elle ne nécessite pas de stocker ou de charger des modèles de prompts différents pour chaque tâche.
• Généralité : L'approche suggère que la structure interne des modèles de transformateurs (les têtes d'attention) peut être exploitée plus finement pour l'apprentissage continu, ouvrant la voie à de nouvelles architectures économes en ressources.

En résumé, SMoPE marque une avancée majeure en démontrant qu'une approche "One-Prompt" peut non seulement rivaliser, mais surpasser les méthodes complexes à prompts multiples, grâce à une gestion intelligente de l'interférence via le mélange d'experts parcimonieux.