Revitalizing the Beginning: Avoiding Storage Dependency for Model Merging in Continual Learning

Résumé Technique : Revitaliser le Début : Éviter la Dépendance au Stockage pour la Fusion de Modèles en Apprentissage Continu

1. Énoncé du Problème

L'apprentissage continu (CL) vise à permettre aux modèles d'acquérir de nouvelles connaissances de manière séquentielle sans oublier catastrophiquement. Alors que la fusion de modèles (Model Merging) s'est imposée comme un paradigme sans entraînement pour intégrer une expertise spécialisée dans un modèle multi-tâches unifié, les méthodes existantes font face à un conflit critique avec les contraintes strictes de mémoire du CL. La plupart des techniques de fusion actuelles (par exemple, Model Stock, TIES, MagMax) nécessitent l'accès à tous les vecteurs de tâches précédents et au modèle initial durant la phase de fusion. Cela est fonctionnellement équivalent au stockage de l'ensemble complet des experts précédents, violant ainsi le principe du CL qui interdit la rétention de données ou de modèles historiques.

Les auteurs démontrent que, sous des contraintes CL strictes — où seul l'expert courant et le modèle fusionné immédiatement sont disponibles — les méthodes existantes souffrent d'une dégradation catastrophique des performances (jusqu'à 6 %). Grâce à des expériences diagnostiques, l'article identifie trois causes racines de cet échec :

1. Convergence Locale Sous-optimale : Les méthodes existantes privilégient l'alignement global, amenant les modèles fusionnés à résider dans des régimes à forte perte, loin des bassins optimaux des tâches individuelles, ce qui entraîne l'accumulation d'erreurs spécifiques à chaque tâche.
2. Perturbation de la Représentation Sémantique Structurelle : La fusion linéaire brise les dépendances fonctionnelles délicates entre les couches, provoquant une dérive sémantique significative, en particulier dans les couches profondes où les sémantiques spécifiques aux tâches sont encodées.
3. Perte de Plasticité d'Optimisation : Les modèles fusionnés présentent souvent un « raidissement directionnel », où la déviation angulaire du gradient est minimisée. Cela indique que le modèle est piégé dans des régions pathologiquement plates du paysage de perte, entraînant des gradients qui s'annulent et une incapacité à s'adapter aux tâches ultérieures.

2. Méthodologie : Fusion Régularisée par Trajectoire (TRM)

Pour remédier à ces limitations sans stocker de données historiques, les auteurs proposent la Fusion Régularisée par Trajectoire (TRM). Ce cadre reformule la phase de fusion comme un problème d'optimisation guidée au sein d'un sous-espace de trajectoire augmenté.

Construction du Sous-espace Augmenté :
Au lieu de rechercher une solution uniquement dans l'enveloppe linéaire 1D du vecteur de tâche actuel ($\tau_t$) et du vecteur de tâche précédent ($\tau_{t-1}$), la TRM introduit un vecteur de perturbation $P$ orthogonal à l'enveloppe de ces vecteurs. Cette expansion compense l'information perdue due aux contraintes de stockage, permettant à la recherche d'explorer des régions plus élastiques de l'espace des paramètres non convexe. Le vecteur de tâche fusionné est formulé comme suit :
$$\tau_{mrg}^t(\alpha, \beta) = \alpha \cdot \tau_t + (1-\alpha) \cdot \tau_{t-1} + \beta \cdot P$$
où $\alpha$ et $\beta$ sont respectivement les coefficients d'interpolation et d'expansion.

Signal de Supervision Multi-Objectif :
Pour identifier les coefficients optimaux $\{\alpha, \beta\}$, la TRM optimise une fonction objectif unifiée composée de trois contraintes synergiques :

1. Alignement des Tâches ($L_{align}$) : Minimise le risque empirique (perte d'entropie croisée) sur la tâche actuelle. Cela garantit que le modèle fusionné reste ancré à l'expertise la plus récente, empêchant le déplacement hors des bassins locaux de haute précision.
2. Cohérence des Prédictions ($L_{pre}$) : Minimise la distance L2 couche par couche entre les représentations cachées du modèle fusionné et le centre fonctionnel du modèle affiné actuel et du modèle consolidé précédent. Un schéma de pondération progressive est appliqué, privilégiant les couches supérieures où résident les sémantiques spécifiques aux tâches, pour prévenir la dérive sémantique structurelle.
3. Réactivité du Gradient ($L_{res}$) : Maximise la norme carrée du gradient sur la tâche actuelle. Basé sur l'observation que des chevauchements de caractéristiques de bas niveau existent entre les tâches séquentielles, maximiser la norme du gradient sur la tâche actuelle réactive la réactivité cinétique du modèle, garantissant qu'il n'est pas piégé dans des régions plates et conserve sa plasticité pour les tâches futures.

La perte totale est définie comme $L_{total} = L_{align} + \lambda_1 L_{pre} + \lambda_2 L_{res}$. De plus, pour éviter une convergence prématurée vers des optima locaux durant la recherche, l'initialisation implique un croisement stochastique des paramètres des modèles précédent et actuel.

3. Contributions Clés

L'article énonce quatre contributions principales :

• Identification des Limitations : Il met en évidence que les méthodes existantes de fusion de modèles ne respectent pas pleinement les principes du CL et subissent une dégradation significative des performances lorsque le stockage des connaissances est interdit.
• Analyse Théorique : Il analyse les causes de cet écart (perte d'optimalité locale, dérive sémantique et perte de plasticité) et reformule la fusion comme un problème de recherche de point optimal au sein d'un sous-espace de trajectoire augmenté orthogonalement.
• Cadre Novel : Il propose la TRM, une méthode guidée par trois contraintes (alignement des tâches, cohérence des prédictions et réactivité du gradient) pour harmoniser la stabilité historique avec la plasticité future, sans dépendre de modèles stockés ou de rejouage de données.
• Validation Empirique : Il démontre des performances de pointe sur plusieurs benchmarks sous des contraintes CL strictes.

4. Résultats Expérimentaux

Les auteurs ont évalué la TRM sur trois jeux de données : CIFAR100, ImageNet-R et Stanford Cars, en utilisant un apprentissage incrémental par classe (CIL) avec un nombre variable de tâches (5, 10 et 20). Le modèle de base utilisé était CLIP ViT-B/16.

• Performance : La TRM a obtenu des résultats de pointe dans la plupart des configurations. Sur ImageNet-R, elle a surpassé les méthodes SOTA précédentes avec des marges de 1,4 % à 3,4 % sur 5, 10 et 20 tâches. Sur CIFAR100, elle a amélioré le SOTA précédent de 3,1 % (5 tâches) et 1,5 % (10 tâches).
• Études d'Ablation : Le retrait de l'une quelconque des trois contraintes a entraîné une baisse des performances, confirmant que la stabilité (alignement/cohérence) et la plasticité (réactivité) se renforcent mutuellement.
• Évolutivité : Des expériences sur ImageNet1K à grande échelle (100 tâches) et sur différents modèles de base (ViT-L/14, ViT-B/16 pré-entraîné sur LAION) ont confirmé la robustesse et l'évolutivité de la méthode.
• Efficacité : Bien que la TRM introduise une légère augmentation du temps d'entraînement par rapport à certaines bases de référence (par exemple, 33 minutes contre 30 minutes sur ImageNet-R), elle réalise des gains de performance significatifs avec une surcharge minimale.
• Stabilité de l'Optimisation : L'analyse de la norme spectrale de l'Hessien a montré que la TRM maintient une courbure du paysage de perte modérée et stable, évitant la netteté pathologique associée à une mauvaise généralisation.

5. Importance et Revendications

L'article revendique que la TRM comble avec succès le fossé entre les avantages théoriques de la fusion de modèles et les contraintes pratiques de l'apprentissage continu. En évitant la nécessité de stocker des vecteurs de tâches historiques ou de rejouer des données, la TRM offre une solution évolutive et respectueuse de la vie privée pour intégrer une expertise spécialisée. Les auteurs affirment que leur méthode atténue efficacement l'oubli catastrophique dans les flux de données continus en revitalisant le « début » de la phase d'entraînement suivante — garantissant que le modèle fusionné démarre à partir d'un état à la fois stable (conservant les connaissances antérieures) et plastique (prêt pour une nouvelle optimisation). Ce travail suggère que reformuler la fusion comme une optimisation contrainte au sein d'un sous-espace augmenté constitue une voie viable pour le CL, dépassant les heuristiques simples d'interpolation linéaire.