Résumé Technique : Ne Prenez Que Ce Dont Vous Avez Besoin : La Minimisation du Rang comme Régularisateur d'Oubli Implicite dans l'Apprentissage Continu

Définition du Problème

L'apprentissage continu (CL) fait face à une tension fondamentale entre la plasticité (la capacité à acquérir de nouvelles connaissances) et la stabilité (la capacité à retenir les connaissances antérieures). Dans le contexte des modèles pré-entraînés (PTM), les approches existantes relèvent généralement de deux régimes :

1. Complémentarité de Modèle : Geler le PTM et ajouter des modules externes (par exemple, adaptateurs, invites) ou maintenir des sous-espaces orthogonaux. Bien que stables, ces méthodes n'améliorent pas véritablement les capacités du modèle de base et nécessitent souvent un routage spécifique à la tâche ou des sélecteurs au moment de l'inférence.
2. Apprentissage Contraint par Référence : Mettre à jour directement les poids du PTM mais contraindre les mises à jour en utilisant des données stockées (mémoires tampons de rejouer) ou une mémoire. Cela engendre des coûts d'entraînement élevés, nécessite le stockage de données passées et souffre souvent encore d'un oubli catastrophique.

Le défi central abordé par cet article est : Comment pouvons-nous mettre à jour continuellement un modèle de base pré-entraîné pour absorber de nouvelles connaissances tout en préservant les capacités existantes, sans dépendre de données passées, d'identifiants de tâche ou de modules externes ?

Méthodologie : CoDyRA

Les auteurs proposent CoDyRA (Continual Dynamic Rank-Selective LoRA), une approche contrôlée par la capacité qui traite le rang effectif de chaque mise à jour de paramètre comme le principal levier de conception pour équilibrer plasticité et stabilité.

Insights Fondamentaux

1. Le Rang comme Levier de Contrôle : Grâce à une analyse empirique sur CLIP, les auteurs démontrent que le rang LoRA régit directement le compromis plasticité-stabilité. Des rangs plus élevés facilitent l'apprentissage de nouvelles tâches (plasticité) mais augmentent l'oubli, tandis que des rangs plus faibles atténuent l'oubli (stabilité) mais limitent l'adaptation. Il existe un « point idéal » à un rang modéré qui varie selon le module et la tâche.
2. Limite Théorique : L'article dérive une borne d'oubli montrant que l'oubli $F(\theta_t)$ sur une distribution de référence est majoré par des termes impliquant la norme de Frobenius de la mise à jour $\Delta W$. Crucialement, $\|\Delta W\|_F \leq \sqrt{\rho} \|B\|_2 \|A\|_2$, où $\rho$ est le rang effectif. Cela établit que la réduction du rang effectif $\rho$ resserre la borne d'oubli, régularisant efficacement l'oubli indépendamment de la distribution spécifique des données de référence.

Conception de l'Algorithme

CoDyRA intègre la minimisation du rang directement dans le processus d'entraînement LoRA :

• Architecture : Des adaptateurs LoRA sont insérés dans tous les modules d'attention et MLP des encodeurs visuels et textuels.
• Sélection Dynamique du Rang : Au lieu d'un rang fixe $r$, la mise à jour est formulée comme une somme pondérée de composantes de rang un :
  $$\Delta W = \sum_{i=1}^r w_i B_{:,i} A_{i,:}$$
  où $w_i$ sont des poids d'importance apprenables.
• Objectif de Régularisation : L'objectif d'entraînement combine la perte supervisée pour la tâche actuelle ($L_{sup}$) avec un terme de régularisation $\ell_1$ sur les poids d'importance :
  $$L_{train} = L_{sup} + \lambda \sum_{m} \|w_m\|_1$$
  Cette pénalité $\ell_1$ favorise la parcimonie dans les poids d'importance $w$. Lorsque $w_i$ tend vers zéro, la composante de rang un correspondante est effectivement élaguée, réduisant le rang effectif $\rho$.
• Optimisation : La norme $\ell_1$ non différentiable est gérée via une méthode de gradient proximal utilisant un seuillage doux. Un seuil $\kappa$ est programmé pour augmenter de zéro à $\kappa_{max}$, permettant des mises à jour denses initialement avant d'imposer la parcimonie.

Mécanisme Clé

En minimisant le rang actif, CoDyRA agit comme un régularisateur d'oubli implicite. Il force le modèle à ne retenir que la capacité minimale nécessaire pour la tâche actuelle, confinant ainsi les déplacements de paramètres à un petit sous-espace et empêchant l'interférence avec les capacités générales encodées dans le PTM et les connaissances des tâches antérieures.

Contributions Clés

1. Contrôle de Capacité par le Rang : L'article identifie le rang effectif des mises à jour de paramètres comme un levier direct et contrôlable pour le compromis plasticité-stabilité, distinct de la capacité au niveau du modèle (nombre de paramètres).
2. Lien Théorique : Il fournit une borne formelle reliant le rang effectif à l'oubli, prouvant que la minimisation du rang contraint l'amplitude et la portée dimensionnelle des mises à jour, protégeant ainsi les connaissances antérieures sans accès aux données passées.
3. Cadre CoDyRA : La proposition d'une méthode qui entraîne conjointement les mises à jour LoRA avec la minimisation du rang, atteignant un équilibre fort entre l'apprentissage de nouvelles tâches et la rétention des capacités pré-entraînées, sans mémoires tampons de rejouer, identifiants de tâche ou modules externes.
4. Validation Empirique : Des expériences extensives sur CLIP (MTIL, X-TAIL) et les LLM (TRACE) démontrent que CoDyRA surpasse ou rivalise avec les méthodes de l'état de l'art tant en termes de précision que de métriques d'oubli.

Résultats Expérimentaux

La méthode a été évaluée sur :

• CLIP : Apprentissage incrémental multi-domaines de tâches (MTIL) et apprentissage incrémental de tâches agnostiques de domaine croisé (X-TAIL).
• LLM : Benchmark TRACE utilisant les modèles LLaMA et Gemma.

Résultats Clés :

• Équilibre Supérieur Plasticité-Stabilité : CoDyRA a atteint la précision de « Transfert » la plus élevée (rétention des capacités zero-shot pré-entraînées sur des tâches non vues) et la précision « Dernière » (performance sur toutes les tâches après le flux) dans la plupart des configurations. Par exemple, sur MTIL, CoDyRA a dépassé la ligne de base de référence zero-shot (70,1 contre 69,4), tandis que d'autres méthodes soit tombaient en dessous, soit étaient plafonnées par celle-ci.
• Oubli Minimal : CoDyRA a obtenu les scores de Transfert Arrière (BWT) les plus bas (par exemple, 1,87 % sur CLIP contre >5 % pour LoRA à rang fixe et >8 % pour les méthodes orthogonales), indiquant une réduction significative de l'oubli catastrophique.
• Efficacité : Contrairement aux méthodes de complémentarité de modèle, CoDyRA fusionne les mises à jour dans le modèle de base, engendrant aucune surcharge d'inférence et ne nécessitant ni données passées stockées ni identifiants de tâche. Il utilise également moins de paramètres entraînables que de nombreuses lignes de base.
• Déplacement Constructif : L'analyse des déplacements cumulés de paramètres a montré que les mises à jour de CoDyRA croissent de manière sous-linéaire au fil du temps, tandis que LoRA à rang fixe croît de manière quasi-linéaire. De plus, le déplacement accumulé s'est avéré constructif, améliorant légèrement la performance zero-shot sur des ensembles de données retenus plutôt que de la dégrader.

Signification et Revendications

L'article revendique que la minimisation du rang sert de régularisateur d'oubli universel dans le régime d'apprentissage continu. En contrôlant le rang effectif des mises à jour, CoDyRA protège à la fois les capacités générales pré-entraînées et les connaissances des tâches antérieures selon un critère unique basé sur la mise à jour.

Les auteurs soulignent que cette approche élimine le besoin de :

• Mémoires tampons de rejouer ou de données de référence stockées.
• Identification de tâche ou mécanismes de routage au moment de l'inférence.
• Modules auxiliaires externes qui augmentent le coût d'inférence.

Ce travail suggère que « ne prendre que ce dont vous avez besoin » (rang minimal) est une manière principielle de mettre à jour continuellement les modèles pré-entraînés, offrant une solution robuste au dilemme stabilité-plasticité qui est à la fois théoriquement fondée et empiriquement efficace à travers les modèles de vision et de langage.