Résumé Technique : Mise à l'échelle de l'apprentissage continu à 300+ tâches avec un Mixture-of-Experts à Routage Bi-Niveau (CaRE)

1. Énoncé du Problème

L'apprentissage continu, en particulier l'apprentissage incrémental de classes (CIL), vise à permettre aux modèles d'apprendre de nouvelles tâches séquentiellement sans oublier les connaissances précédentes. Bien que les approches récentes exploitant les modèles pré-entraînés (PTM) et le fine-tuning efficace en paramètres (PEFT) aient montré des promesses, elles rencontrent des défis significatifs lors de la mise à l'échelle vers des séquences de tâches très longues (par exemple, des centaines de tâches).

Les difficultés principales identifiées sont :

• Équilibrer les représentations discriminatives et complètes : Les méthodes existantes peinent souvent à générer des représentations à la fois hautement discriminatives pour des classes spécifiques et suffisamment complètes pour exploiter les connaissances complémentaires de tâches historiques sémantiquement liées. Les stratégies à grain grossier (par exemple, les invites globales) échouent à exploiter efficacement les indices complémentaires à grain fin.
• Décisions locales multi-niveaux : Les modèles de vision possèdent des niveaux d'abstraction variables à travers différentes profondeurs du réseau. Une stratégie de routage statique échoue à prendre des décisions locales optimales à chaque couche intermédiaire pour incorporer sélectivement les connaissances historiques.
• Absence de benchmarks évolutifs : La plupart des benchmarks CIL existants (par exemple, CIFAR-100, sous-ensembles standards d'ImageNet) sont limités à un petit nombre de classes (souvent <100), les rendant inadaptés pour évaluer les performances sur des séquences longues (100–300+ tâches). Cela laisse largement inexplorée l'évolutivité des méthodes actuelles face aux flux de tâches réels et illimités.

2. Méthodologie : CaRE et BR-MoE

Les auteurs proposent CaRE (Continual Learner with efficient Bi-Level Routing Mixture-of-Experts), construit sur une colonne vertébrale de Vision Transformer (ViT) gelée. L'innovation centrale est le module Mixture-of-Experts à Routage Bi-Niveau (BR-MoE), intégré dans chaque bloc de construction ViT.

2.1 Aperçu de l'Architecture

Pour chaque tâche incrémentale $t$, CaRE apprend un triplet de composants efficaces en paramètres au sein de chaque module BR-MoE :

1. Perceptron de Classe ($C_t$) : Extrait des informations discriminatives au niveau de la classe.
2. Réseau Routeur ($R_t$) : Génère des coefficients de commutation pour la sélection d'experts.
3. Expert/Adaptateur ($E_t$) : Un adaptateur spécifique à la tâche pour la transformation de caractéristiques.
   De plus, un Expert Partagé ($\bar{E}$) est maintenu, mis à jour via une Moyenne Mobile Exponentielle (EMA) sur toutes les tâches pour encoder des connaissances consolidées inter-tâches.

2.2 Le Mécanisme de Routage Bi-Niveau

Le processus de routage se déroule en deux étapes dynamiques pour chaque caractéristique d'entrée $z_a$ à chaque couche :

Étape 1 : Sélection Dynamique du Routeur

• Le token [CLS] de la caractéristique d'entrée est alimenté dans tous les perceptrons de classe appris $\{C_t\}$.
• Chaque perceptron produit une distribution de probabilité sur les classes de sa tâche.
• L'entropie de ces distributions est calculée. Une entropie plus faible indique une confiance plus élevée que l'entrée appartient à cette tâche.
• Le système sélectionne les Top-M réseaux routeurs associés aux valeurs d'entropie les plus faibles (tâches les plus probables). Cela garantit que le modèle récupère des connaissances des tâches historiques sémantiquement les plus pertinentes.

Étape 2 : Routage Dynamique des Experts

• Chacun des $M$ routeurs sélectionnés génère des scores de commutation pour son ensemble associé d'experts spécifiques à la tâche (adaptateurs).
• Pour chaque routeur, les Top-K experts ayant les scores de commutation les plus élevés sont activés et agrégés.
• L'Expert Partagé ($\bar{E}$) est toujours activé pour enrichir la représentation avec des connaissances générales inter-tâches.
• La sortie finale est la somme des caractéristiques spécifiques à la tâche agrégées et de la sortie de l'expert partagé.

2.3 Objectifs d'Entraînement

• Perte de Classification : Une perte de pénalité angulaire standard est appliquée à la dernière couche.
• Supervision du Perceptron de Classe : Pour assurer une guidance sémantique robuste aux couches intermédiaires, le perceptron de classe à chaque couche $\ell$ est supervisé non seulement par sa propre perte de classification, mais aussi par une perte de divergence KL par rapport aux probabilités softmax de la dernière couche. Cela force les couches intermédiaires à imiter les abstractions sémantiques de haut niveau, permettant une prise de décision locale efficace.

3. Contributions Clés

3.1 Le Cadre CaRE

CaRE est le premier apprenant continu conçu pour s'étendre efficacement à des séquences de tâches très longues (100 à 300+ tâches non chevauchantes). En employant un mécanisme de routage bi-niveau, il injecte dynamiquement des représentations à la fois discriminatives et complètes dans chaque couche intermédiaire du réseau, permettant une récupération de connaissances personnalisée à différents niveaux d'abstraction.

3.2 OmniBenchmark-1K

Pour pallier le manque de protocoles d'évaluation adaptés aux séquences longues, les auteurs introduisent OmniBenchmark-1K. Curaté à partir d'OmniBenchmark-V2, cet ensemble de données contient 1 000 classes réparties sur 21 domaines visuels avec environ 190 000 images. Il est spécifiquement conçu pour faciliter les évaluations CIL évolutives avec des centaines de tâches, surmontant les limitations des benchmarks existants comme CIFAR-100.

3.3 Validation Empirique

Des expériences extensives démontrent que CaRE surpasse les méthodes CIL basées sur PTM les plus avancées (par exemple, L2P, DualPrompt, TUNA, MOS, MIN) dans divers contextes :

• Séquences Longues : Sur OmniBenchmark-1K, CaRE réalise des gains significatifs en précision finale ($A_B$) par rapport aux bases de référence sur les configurations de 100, 151, 200 et 301 tâches. Par exemple, il surpasse TUNA de 8,23 % et MIN de 8,68 % en $A_B$ sur 100 et 151 tâches, respectivement.
• Séquences Courtes : CaRE maintient également des performances supérieures sur les benchmarks classiques (CIFAR-100, ImageNet-R, ImageNet-A, VTAB) avec 5–20 tâches, démontrant sa robustesse quelle que soit la longueur de la séquence.
• Efficacité : CaRE atteint un compromis favorable entre performance et coût computationnel, utilisant significativement moins de paramètres entraînables et une latence d'inférence plus faible que des méthodes comme MOS et TUNA, tout en offrant une précision supérieure.

4. Importance et Revendications

Le papier revendique que CaRE représente une avancée significative pour rendre l'apprentissage continu pratique dans des scénarios réels où les flux de données sont non stationnaires et les séquences de tâches potentiellement illimitées.

• Évolutivité : Ce travail est présenté comme le premier à réussir la mise à l'échelle du CIL à plus de 300 tâches non chevauchantes tout en maintenant une supériorité de performance claire.
• Validité du Mécanisme : Les auteurs soutiennent que le mécanisme de routage bi-niveau adresse efficacement le dilemme « stabilité-plasticité » en permettant au modèle de récupérer dynamiquement des connaissances historiques pertinentes (via la sélection de routeurs) et d'agréger des caractéristiques complémentaires (via le routage d'experts) à chaque couche.
• Impact sur la Communauté : En publiant à la fois le code de CaRE et l'ensemble de données OmniBenchmark-1K, les auteurs visent à inspirer de nouvelles recherches sur les séquences de tâches extrêmement longues, un domaine précédemment entravé par le manque de benchmarks appropriés et de méthodes évolutives.

Le papier conclut par une reconnaissance modeste que, bien que CaRE s'étende à 300+ tâches, la complexité du modèle continue de croître linéairement avec le nombre de tâches (en raison de l'ajout de nouveaux modules), et que les travaux futurs pourraient se concentrer sur une simplification architecturale supplémentaire et l'extension de ces protocoles aux modèles vision-langage.