Résumé Technique : CP-MoE

Énoncé du Problème

L'oubli catastrophique demeure un obstacle majeur à l'application des modèles de langage à grande échelle (LLM) et des modèles vision-langage (VLM) dans des scénarios d'apprentissage continu (CL) où les distributions de données évoluent au fil du temps. Bien que les architectures de type Mixture-of-Experts (MoE) combinées au fine-tuning efficace en paramètres (PEFT), spécifiquement LoRA-MoE, offrent une voie évolutive pour l'adaptation, les méthodes existantes font face à un compromis fondamental :

1. Sur-isolation : L'isolement agressif des experts spécifiques à une tâche (par exemple, les stratégies d'apprentissage et de gel) limite le transfert de connaissances inter-tâches, entraînant une mauvaise généralisation sur des tâches non vues.
2. Sur-fusion : Permettre aux mises à jour spécifiques à une tâche d'écraser les paramètres existants conduit à un oubli sévère.
3. Rigidité du routage : Les contraintes standard d'équilibrage de charge dans les MoE imposent souvent une utilisation uniforme des experts, ce qui entre en conflit avec le besoin de spécialisation spécifique à la tâche dans l'apprentissage séquentiel, provoquant des interférences sémantiques et un effondrement des représentations.

Les approches actuelles manquent de mécanismes pour évaluer la compatibilité des représentations avant d'intégrer de nouvelles connaissances et échouent à protéger les paramètres historiques critiques lors des mises à jour séquentielles.

Méthodologie : CP-MoE

Les auteurs proposent CP-MoE (Mixture-of-Experts à Préservation de la Cohérence), un cadre conçu pour intégrer de nouvelles connaissances spécifiques à une tâche dans des experts stables tout en atténuant les interférences. L'innovation centrale réside dans l'utilisation d'un expert transitoire comme sonde légère avant que des mises à jour permanentes ne se produisent.

1. Protection des Paramètres Guidée par l'Expert Transitoire

Au lieu de mettre à jour directement les experts stables, CP-MoE instancie un expert transitoire ($\phi^{TE}_t$) pour chaque tâche entrante $t$.

• Phase de préchauffage : L'expert transitoire est un adaptateur LoRA spécifique à la tâche, entraîné sur un petit sous-ensemble de préchauffage des données de la nouvelle tâche, tandis que le socle gelé et les experts stables restent fixes.
• Estimation anticipée : La trajectoire d'optimisation de l'expert transitoire est utilisée pour estimer l'importance prospective des paramètres via une règle d'intégrale de chemin. Cela génère un masque d'importance spécifique à la tâche ($\Omega_t$) qui identifie quels paramètres sont critiques pour la nouvelle tâche.
• Régularisation sélective : Ce masque est transféré aux experts stables. Pendant la phase principale d'entraînement, un terme de régularisation protège sélectivement les paramètres jugés importants pour les connaissances antérieures, permettant aux paramètres moins critiques de s'adapter. Cela empêche l'écrasement indiscriminé.

2. Routage par Cohérence des Représentations d'Experts

Pour résoudre la tension entre l'équilibrage de charge et la spécialisation des experts, CP-MoE introduit un Biais de Préservation de la Cohérence (CP).

• Mesure de similarité : L'expert transitoire sert de sonde pour mesurer la similarité des représentations avec chaque expert stable en utilisant l'Alignement du Noyau Centré (CKA).
• Biais de routage : Ces scores de similarité ($h^{CP}_i$) sont injectés sous forme de biais dans les logits du routeur. Cela oriente le mécanisme de routage vers des experts dont les représentations sont compatibles avec la tâche actuelle.
• Équilibrage de charge découplé : Le biais CP guide l'alignement sémantique, tandis qu'une perte auxiliaire standard d'équilibrage de charge (calculée sur les logits natifs sans le biais) assure une utilisation équilibrée, empêchant l'effondrement des experts sans forcer des entrées sémantiquement inadaptées sur des experts spécialisés.

3. Objectif Global

L'objectif final d'entraînement combine la perte de tâche, la régularisation pondérée par l'importance (protégeant les paramètres historiques) et la perte d'équilibrage de charge :
$$L^{total}_t = L^{task}_t + \lambda L^{reg}_t + \gamma L^{aux}_t$$
Crucialement, l'expert transitoire est jeté après la phase de préchauffage, garantissant aucune surcharge computationnelle persistante ni expansion des paramètres.

Contributions Clés

1. Expert Transitoire pour la Consolidation Sélective : Un mécanisme novateur utilisant un adaptateur LoRA jetable et spécifique à la tâche pour sonder les signaux d'adaptation précoce et estimer l'importance des paramètres, permettant une intégration sélective dans un pool fixe d'experts stables.
2. Biais de Routage à Préservation de la Cohérence : Un mécanisme de routage qui utilise la similarité des représentations (CKA) pour favoriser les experts compatibles, améliorant la stabilité du routage et la spécialisation au-delà de l'équilibrage de charge standard.
3. Régularisation Guidée par les Représentations : Un schéma de régularisation dynamique qui protège sélectivement les paramètres historiques importants sur la base de la trajectoire de l'expert transitoire, réduisant les interférences.
4. Validation Empirique : Démonstration de performances de pointe sur des benchmarks unimodaux (SuperNI) et multimodaux (VQA v2), atteignant un transfert zero-shot fort et une réduction significative de l'oubli par rapport à des bases solides.

Résultats Expérimentaux

Les auteurs ont évalué CP-MoE sur :

• SuperNI (Unimodal) : Un benchmark de tâches linguistiques séquentielles diverses.
  • Performance : A atteint la meilleure Performance Moyenne (AP) de 50,84 % et un Transfert Zero-Shot (ZST) de 35,80 % sur l'Ordre 1, surpassant des bases comme GainLoRA et InfLoRA.
  • Oubli : A maintenu un Oubli Moyen (AF) faible de 0,62 %.
  • Zero-Shot : A démontré une généralisation supérieure aux tâches non vues par rapport aux méthodes qui isolent trop agressivement les experts.
• VQA v2 (Multimodal) : Un benchmark de réponse visuelle à des questions divisé en 10 tâches de raisonnement séquentielles.
  • Performance : A atteint la meilleure AP de 62,30 %.
  • Oubli : A atteint un Oubli Moyen proche de zéro (-0,35 %), une amélioration substantielle par rapport au CL-MoE de pointe précédent (-1,77 %).

Des études d'ablation ont confirmé que la Régularisation par Expert Transitoire (TE-Reg) et le Biais CP sont complémentaires ; le retrait de l'un ou l'autre composant entraîne une augmentation de l'oubli et une réduction de la précision. Le score de cohérence basé sur CKA s'est avéré critique, car une régularisation uniforme sans celui-ci a entraîné un oubli plus élevé (1,50 % contre 0,62 %).

Importance et Revendications

L'article revendique que CP-MoE résout avec succès le compromis entre le transfert de connaissances et l'oubli catastrophique dans l'apprentissage continu basé sur MoE. En introduisant un expert transitoire comme sonde « anticipatrice », le cadre permet une consolidation sélective sans nécessiter d'expansion dynamique des experts ni de surcharge computationnelle persistante.

Les auteurs soulignent que fonder les décisions de routage sur la cohérence intrinsèque des représentations, plutôt que sur des contraintes rigides d'équilibrage de charge, préserve un espace de représentation plus stable et transférable. De plus, la protection sélective des paramètres permet au modèle de conserver les connaissances pré-entraînées tout en s'adaptant à de nouvelles tâches. Ce travail suggère que cette approche est hautement efficace pour les modèles de base unimodaux et multimodaux, offrant une voie évolutive pour l'adaptation continue dans des environnements réels non stationnaires.

L'article reconnaît modestement les limitations concernant l'échelle d'échantillonnage fixe de l'expert transitoire, notant que l'échantillonnage optimal peut varier avec la complexité des jeux de données, et suggère un travail futur sur des mécanismes d'échantillonnage adaptatif.