Résumé Technique : Réglage des Paramètres Orthogonaux Sparses pour l'Apprentissage Continu (SoTU)

Énoncé du Problème

L'Apprentissage Continu (CL) vise à permettre aux modèles d'apprendre à partir d'une séquence de tâches sans souffrir de l'« oubli catastrophique », où l'apprentissage de nouvelles tâches écrase les connaissances acquises précédemment. Bien que des stratégies CL classiques (répétition, régularisation, expansion dynamique) aient été développées, elles reposent souvent sur des modèles entraînés à partir de zéro. Récemment, des méthodes basées sur des Modèles Pré-entraînés (PTM) ont émergé, exploitant la forte généralisation de modèles comme les Vision Transformers (ViT) entraînés sur de grands ensembles de données (par exemple, ImageNet-21K). Cependant, les méthodes CL existantes basées sur les PTM font généralement face à des défis tels que :

1. Conceptions Structurelles Complexes : De nombreuses approches nécessitent des modules d'adaptateur intricats, des pools de prompts ou des stratégies d'ensemble difficiles à mettre en œuvre dans des applications réelles.
2. Oubli Catastrophique : Malgré le gel des poids pré-entraînés, les méthodes peinent souvent à maintenir les performances à travers diverses tâches en aval, en particulier celles présentant de grands écarts de domaine (par exemple, ImageNet-R, ImageNet-A).
3. Dépendance au Classifieur : De nombreuses méthodes reposent sur des conceptions de classifieurs élaborées ou un stockage d'exemplaires gourmand en mémoire pour atteindre des performances optimales.

Les auteurs investiguent si la fusion de paramètres issus de multiples tâches affinées peut atténuer l'oubli, en explorant spécifiquement le rôle de la sparsité et de l'orthogonalité dans ces mises à jour de paramètres.

Méthodologie : SoTU (Réglage des Paramètres Orthogonaux Sparses)

La méthode SoTU proposée est une approche « Plug-and-Play » qui transforme les connaissances de multiples domaines en une fusion de paramètres delta orthogonaux. Elle fonctionne en trois étapes distinctes :

1. Étape d'Affinage (Fine-Tuning)

Pour chaque tâche entrante $k$ dans un flux de tâches $\{D_1, ..., D_T\}$, la méthode initialise un extracteur de caractéristiques à l'aide d'un ViT pré-entraîné ($\theta_{pre}$). Elle affine ensuite le modèle pour apprendre des caractéristiques spécifiques à la tâche ($\theta_{ft}^k$) et une tête de classification ($W^k$). Crucialement, la tête de classification $W^k$ est utilisée uniquement pour aider à l'apprentissage de la représentation des caractéristiques et est ensuite jetée ; elle ne participe pas au processus de fusion final.

2. Étape de Masquage des Deltas

La méthode calcule les paramètres delta ($\Delta \theta^k = \theta_{ft}^k - \theta_{pre}$) représentant les connaissances apprises pour la tâche $k$. Pour induire la sparsité et l'orthogonalité, ces deltas sont masqués aléatoirement à l'aide d'une matrice de masque binaire $m$ générée à partir d'une distribution de Bernoulli :
$$\Delta \hat{\theta}^k = \Delta \theta^k \odot m$$
où $m \sim \text{Bernoulli}(p)$. Les auteurs fixent empiriquement la probabilité de masquage $p = 0,9$ (ne conservant que 10 % des paramètres) pour assurer une forte sparsité. Cette étape est cruciale : les auteurs émettent l'hypothèse qu'une forte sparsité réduit les collisions de paramètres entre les tâches, rendant efficacement les mises à jour delta orthogonales.

3. Étape de Fusion des Deltas

Au lieu de maintenir des modèles séparés ou des ensembles complexes, SoTU fusionne les deltas sparses de toutes les tâches vues en un seul modèle cohérent :
$$\theta^k = \theta_{pre} + \sum_{i=1}^{k} \Delta \hat{\theta}^i$$
Ce modèle fusionné sert d'extracteur de caractéristiques pour toutes les tâches. Pour la classification, la méthode emploie un mécanisme de Projection Aléatoire Non Linéaire (similaire à RanPAC) pour transformer les caractéristiques mélangées en un espace linéairement séparable, suivi d'un classifieur de Moyenne de Classe la Plus Proche (NCM). Notamment, la méthode atteint une représentation de caractéristiques optimale sans nécessiter de conceptions de classifieurs élaborées spécifiques au processus CL.

Contributions Clés

Le papier expose quatre contributions principales :

1. Découverte de la Fusion à Haute Sparsité : Les auteurs ont découvert que la fusion de multiples paramètres delta à haute sparsité peut atteindre des performances compétitives ou supérieures sur les tâches en aval par rapport aux modèles affinés individuellement, offrant une direction prometteuse pour lutter contre l'oubli catastrophique.
2. Insight sur l'Orthogonalité : Ils ont démontré que l'efficacité de cette stratégie de fusion découle de l'orthogonalité des paramètres à travers plusieurs tâches. Une forte sparsité minimise les conflits de paramètres (collisions), permettant aux connaissances spécifiques à chaque tâche de coexister.
3. Cadre SoTU : Une nouvelle méthode CL est proposée qui atteint une représentation de caractéristiques optimale pour les données en flux sans conceptions de classifieurs complexes, fonctionnant comme une solution Plug-and-Play.
4. Validation Empirique : Des expériences extensives sur six benchmarks montrent que SoTU surpasse les méthodes existantes de l'État de l'Art (SoTA), en particulier dans la représentation de caractéristiques et sur des ensembles de données présentant de grands écarts de domaine.

Résultats Expérimentaux

Les auteurs ont évalué SoTU sur six benchmarks : CIFAR100, ImageNet-R, ImageNet-A, CUB200, VTAB et Cars196. Chaque ensemble de données a été divisé en 5 ou 10 tâches. La méthode a été comparée à 12 références, incluant des méthodes de répétition (iCaRL, DER), des méthodes basées sur les prompts (L2P, DualPrompt), des méthodes basées sur la représentation (SimpleCIL, ADAM, RanPAC) et des méthodes de mélange de modèles (ESN, HiDe-Prompt).

Constats Clés :

• Performances Supérieures : SoTU a obtenu la plus haute Précision Moyenne ($\bar{A}$) et Précision Finale ($A_T$) sur tous les ensembles de données. Par exemple, sur le difficile ensemble de données Cars196, SoTU a amélioré la précision finale de +3,7 % par rapport au SoTA précédent (RanPAC).
• Robustesse aux Écarts de Domaine : La méthode a montré une supériorité significative sur les ensembles de données avec de grands écarts de domaine par rapport à ImageNet (ImageNet-R, ImageNet-A, Cars196), où d'autres méthodes basées sur les PTM peinaient.
• Efficacité de l'Espace de Caractéristiques : Lorsqu'évaluée purement sur la représentation de caractéristiques (en utilisant NCM sans classifieurs spécifiques à la tâche), SoTU a nettement surpassé RanPAC, démontrant sa capacité à apprendre des caractéristiques robustes et non oubliantes.
• Analyse de la Sparsité : Les expériences variant le taux de masquage ont révélé que :
  • Une forte sparsité (masquage de 80–90 %) maintient des performances compétitives.
  • Une faible sparsité conduit à de graves collisions de paramètres et à une dégradation des performances.
  • Une sparsité excessive (masquage >90 %) supprime les connaissances spécifiques à la tâche nécessaires.
  • Le ratio optimal de sparsité des deltas semble être d'environ $1/T$ (où $T$ est le nombre de tâches).
• Visualisation de l'Attention : Les visualisations des cartes d'attention ont confirmé que la fusion de deltas à haute sparsité préserve les motifs d'attention des tâches individuelles, tandis que la fusion sans masquage provoque une distorsion sévère due aux collisions de paramètres.

Signification et Revendications

Le papier revendique que SoTU offre une solution simple mais efficace au problème de l'oubli catastrophique en exploitant les caractéristiques orthogonales sparses des paramètres pré-entraînés.

• Simplicité : Contrairement aux méthodes nécessitant des pools de prompts complexes ou une expansion dynamique de l'architecture, SoTU repose sur un mécanisme de masquage et de fusion direct.
• Plug-and-Play : La méthode ne nécessite pas de conceptions de classifieurs élaborées, la rendant adaptable à divers scénarios réels en flux.
• Base Théorique : Les auteurs fournissent une analyse théorique suggérant que le masquage aléatoire des paramètres delta conserve la structure de la carte d'attention, permettant au modèle de bien performer sur les tâches correspondantes même avec une réduction significative des paramètres.

Les auteurs concluent que la fusion de paramètres delta orthogonaux sparses est un mécanisme puissant pour l'apprentissage continu, transformant le défi de l'apprentissage séquentiel en un problème de gestion de l'orthogonalité des paramètres. Ils prévoient d'étendre cette approche à d'autres domaines, tels que la génération de langage naturel, dans des travaux futurs.