Turning Back Without Forgetting: Selective Backward Refinement for Parameter-Efficient Continual Learning

Résumé Technique : Raffinement Arrière Sélectif pour l'Apprentissage Continu à Efficacité Paramétrique (SABER)

1. Définition du Problème et Motivation

L'apprentissage continu (CL - Continual Learning) vise à entraîner des modèles sur une séquence de tâches tout en maintenant les performances sur les tâches précédemment apprises, afin d'atténuer l'« oubli catastrophique ». À l'ère des grands modèles pré-entraînés, le réglage fin à efficacité paramétrique (PEFT - Parameter-Efficient Fine-Tuning), particulièrement les méthodes basées sur les prompts, est devenu un paradigme dominant. Ces méthodes apprennent des prompts logiciels spécifiques à chaque tâche tout en maintenant le squelette (backbone) gelé, réduisant ainsi considérablement les coûts de calcul et le nombre de paramètres par rapport au réentraînement complet ou aux approches par adaptateurs.

Cependant, une limitation critique existe dans les méthodes actuelles de CL basées sur les prompts : elles imposent une isolation des tâches stricte. Une fois qu'un prompt spécifique à une tâche est appris, il est gelé pour éviter toute interférence des tâches suivantes. Si cela préserve la précision passée, cela crée une voie à sens unique pour le transfert de connaissances. Les tâches ultérieures ne peuvent pas améliorer les représentations des tâches antérieures, laissant le transfert de connaissances arrière (BWT - Backward Knowledge Transfer) sous-exploré.

Les auteurs identifient deux défis primordiaux pour permettre un BWT positif dans ce contexte :

1. La Sélectivité : Toutes les paires de tâches ne bénéficient pas d'un transfert arrière. Des tâches non liées (par exemple, l'implication vs l'analyse de sentiment) peuvent dégrader les performances antérieures si leurs prompts sont mis à jour à l'aide des gradients de la nouvelle tâche.
2. La Sécurité : Même pour des tâches liées, des mises à jour non contraintes peuvent écraser des directions critiques dans l'espace des paramètres du prompt qui étaient essentielles pour la tâche originale, entraînant un transfert négatif.

Les approches existantes qui tentent le BWT reposent souvent sur la relecture de données (data replay) ou des mises à jour globales, qui sont coûteuses en calcul ou violent le principe d'efficacité paramétrique. Les auteurs proposent un cadre sans relecture (replay-free) qui répond à ces défis en déterminant quand affiner les anciens prompts et comment le faire de manière sûre.

2. Méthodologie : Le Cadre SABER

Les auteurs proposent SABER (Selective bAckward refinement for positive Backward knowledge transfER), un cadre qui permet un transfert de connaissances arrière contrôlé grâce à deux mécanismes de base : l'Estimation de la Corrélation des Tâches et les Mises à Jour Arrières Contraintes.

A. Estimation de la Corrélation des Tâches (Quand Affiner)
SABER emploie deux critères complémentaires pour déterminer si une tâche antérieure $T_i$ est compatible avec la tâche actuelle $T_t$ pour un raffinement arrière :

1. Corrélation Basée sur la Projection (Niveau Mise à Jour) :

   • Cette méthode analyse la géométrie des gradients de prompt. Elle construit une base orthonormée $U_i$ pour le sous-espace de gradient de la tâche antérieure $T_i$.
   • Elle calcule un score de projection ($s_i$) mesurant à quel point le gradient de la tâche actuelle ($g_{t \to i}$) se situe dans le sous-espace de gradient de $T_i$.
   • Elle calcule également un score de compatibilité de gradient ($c_i$) basé sur la similitude cosinus entre les gradients moyens de $T_i$ et le gradient de la tâche actuelle projeté sur $T_i$.
   • Une tâche antérieure est sélectionnée pour le raffinement uniquement si $s_i$ est suffisamment élevé et que $c_i > 0$, indiquant des directions de mise à jour alignées.

2. Corrélation Basée sur la Distribution des Pertes (Niveau Réponse) :

   • Cette méthode opère au niveau de la réponse, en comparant la distribution des pertes par lot (per-batch losses).
   • Elle calcule la distance de Wasserstein entre les distributions de perte de $T_i$ et $T_t$ sous le squelette gelé ($d^{(0)}$) et sous le prompt spécifique $u_i$ ($d^{(i)}$).
   • La Similitude de Wasserstein (WSS) est définie par $WSS_i = d^{(0)}_i - d^{(i)}_i$. Un $WSS_i$ positif implique que l'application de $u_i$ à $T_t$ réduit la divergence entre les réponses de perte des tâches par rapport au squelette gelé, suggérant une similitude sémantique.

B. Mises à Jour de Prompts Arrières Contraintes (Comment Affiner en Sécurité)
Une fois qu'un sous-ensemble de prompts antérieurs est sélectionné pour le raffinement, SABER garantit que les mises à jour n'interfèrent pas avec les connaissances précédemment apprises :

• Sous-espace Protégé : Le sous-espace de gradient de la tâche antérieure $T_i$ (engendré par $U_i$) est traité comme un « sous-espace protégé » contenant les directions critiques pour $T_i$.
• Mises à Jour Orthogonales : La direction de mise à jour est contrainte au complément orthogonal du sous-espace protégé. La mise à jour $\Delta u_i$ est calculée comme suit :
  $$\Delta u_i = (I - \tilde{U}^{(t-1)}_i \tilde{U}^{(t-1)\top}_i) \nabla_{u_i} L_t(u_i)$$
  où $\tilde{U}^{(t-1)}_i$ est le sous-espace protégé cumulatif (incluant les directions de l'entraînement original et des raffinements précédents).
• Protection Cumulative : Après chaque étape de raffinement, la nouvelle direction de mise à jour est orthonormalisée et ajoutée au sous-espace protégé. Cela garantit que les futurs raffinements ne revisiteront ou n'écraseront jamais les directions explorées lors des étapes précédentes, garantissant la non-interférence au fil du temps.

Garanties Théoriques :
L'article fournit des preuves théoriques montrant que, sous des conditions modérées (lissage de la fonction de perte), ces étapes de raffinement sûr garantissent une valeur non croissante pour la perte de la tâche actuelle. De plus, les mises à jour sont strictement orthogonales au sous-espace protégé, assurant que les directions critiques pour la tâche antérieure sont préservées.

3. Contributions Clés

1. Premier BWT Positif sans Relecture dans le CL basé sur les Prompts : SABER est le premier cadre permettant un transfert de connaissances arrière positif dans l'apprentissage continu basé sur les prompts sans dépendre de tampons de relecture de données (data replay buffers).
2. Mécanisme de Sélection à Double Critère : Il introduit une approche fondée sur des principes pour identifier les tâches compatibles en utilisant à la fois la géométrie des gradients (basée sur la projection) et les statistiques de niveau de réponse (basée sur la distribution des pertes), offrant un compromis entre granularité et efficacité de la mémoire.
3. Mécanisme de Mise à Jour Sûr : En contraignant les mises à jour au complément orthogonal d'un sous-espace protégé cumulatif, SABER empêche l'interférence négative tout en exploitant la capacité inutilisée dans l'espace des paramètres du prompt.
4. Modularité : Le cadre est agnostique vis-à-vis du modèle et peut être intégré dans les cadres existants de CL basés sur les prompts, tels que Frozen Prompt Pools (FPP) et Shared Prompt Augmentation (SPA).

4. Résultats Expérimentaux

Les auteurs ont évalué SABER sur deux benchmarks standards (Long Sequence et SuperNI) en utilisant divers squelettes pré-entraînés (T5-Large, LLaMA-2-7B, et Qwen-3-4B).

• Transfert Arrière (BWT) : Contrairement à tous les baselines concurrents (y compris L2P, LFPT5, ProgPrompt, CODA, SHLPT et SAPT), qui présentaient un BWT négatif (dégradation des tâches antérieures), SABER a systématiquement obtenu un BBT positif.
  • Sur T5-Large (Long Sequence), SABER a amélioré le BWT d'environ +1,76 à +3,12, tandis que les baselines allaient de -0,12 à -17,18.
  • Des tendances positives similaires ont été observées sur LLaMA-2-7B et Qwen-3-4B.
• Performance Moyenne (AP) : SABER a maintenu ou amélioré la performance moyenne globale sur toutes les tâches, surpassant les baselines solides dans la plupart des configurations.
• Efficacité : Bien que SABER introduise une charge de calcul modérée (environ 34 % pour T5-Large et 44 % pour LLaMA-2-7B en raison de l'estimation de la corrélation et des étapes de raffinement), il reste nettement plus efficace que les méthodes basées sur la relecture. La variante de distribution de perte (SABER-L) offre une alternative économiquement efficace à la variante basée sur la projection (SABER-P), économisant jusqu'à 2 340 Ko de mémoire par séquence de tâches.
• Études d'Ablation : Le retrait de l'un ou l'autre des critères de corrélation des tâches ou du mécanisme de mise à jour contrainte entraînait un effondrement du BWT (devenant négatif), confirmant que la sélectivité et la sécurité sont toutes deux nécessaires pour un transfert arrière réussi.

5. Signification et Revendications

L'article affirme que SABER change fondamentalement le paradigme de l'apprentissage continu basé sur les prompts, passant d'une isolation stricte à une collaboration sélective et contrôlée. En démontant que les tâches antérieures peuvent être améliorées par les tâches ultérieures sans oubli catastrophique ni relecture de données, SABER répond à une limitation de longue date dans le domaine.

Les auteurs positionnent SABER comme une solution robuste et modulaire qui fonctionne à travers diverses échelles de modèles et architectures. Ils soulignent que leur approche fournit des garanties théoriques de non-interférence, se distinguant des méthodes heuristiques qui risquent de déstabiliser les représentations apprises. Ce travail suggère que les futurs systèmes d'apprentissage continu pourront exploiter les corrélations entre tâches pour affiner et améliorer continuellement les connaissances passées, se rapprochant ainsi de l'idéal de l'apprentissage à vie (lifelong learning).