Résumé technique : Apprentissage continu guidé par l'attribution pour les grands modèles de langage

Énoncé du problème

Les grands modèles de langage (LLM) entraînés sur des données statiques couvrant de vastes domaines souffrent souvent d'oubli catastrophique lorsqu'ils sont adaptés à de nouvelles tâches via un apprentissage continu. Bien que les stratégies d'atténuation existantes — telles que la répétition de données, la régularisation des paramètres et le gel de couches spécifiques — aient montré certains succès, elles manquent d'une compréhension mécaniste de la manière dont les connaissances et les comportements spécifiques aux tâches sont distribués à travers les paramètres internes des LLM. Par conséquent, ces méthodes ne peuvent pas distinguer efficacement quels paramètres doivent être préservés pour conserver les connaissances antérieures et lesquels doivent rester plastiques pour accommoder de nouvelles tâches. Cette limitation conduit souvent à des interférences, où les mises à jour pour une nouvelle tâche modifient involontairement des paramètres critiques pour les tâches précédentes.

Méthodologie

Les auteurs proposent un cadre d'affinement continu guidé par l'attribution qui exploite l'estimation de l'importance des paramètres pour moduler les mises à jour de gradient. La méthodologie centrale se compose de deux phases principales :

1. Estimation de l'importance des paramètres élément par élément

Le cadre adapte la Propagation de la Pertinence par Couches (LRP) pour attribuer le logit du token suivant prédit aux paramètres individuels du modèle au sein de chaque couche Transformer.

• Adaptation aux Transformers : La LRP standard attribue la pertinence aux caractéristiques d'entrée. Les auteurs l'étendent pour quantifier la contribution des paramètres du modèle (poids et biais) dans les réseaux de neurones feed-forward (FFN) et les modules d'attention multi-têtes (MHA).
• Attribution bilinéaire : Pour gérer les multiplications matricielles inhérentes aux Transformers (par exemple, $QK^T$ et $WV$), la méthode emploie un principe d'attribution bilinéaire (inspiré par AttnLRP). Cela traite la multiplication matricielle comme une opération bilinéaire, distribuant les scores de pertinence entre les activations d'entrée et les matrices de poids tout en satisfaisant une propriété de conservation.
• Dérivation :
  • FFN : La pertinence est propagée à travers les deux couches linéaires et la fonction d'activation, dérivant des scores pour les poids $W_1, W_2$ et les biais $b_1, b_2$.
  • MHA : La pertinence est propagée à travers le mécanisme d'attention, dérivant des scores pour les poids de projection de requête, clé, valeur et sortie ($W_Q, W_K, W_V, W_O$).
  • Prise en charge de LoRA : La méthode est également formulée pour les modèles adaptés par LoRA, calculant la pertinence à la fois pour le socle figé et les matrices LoRA entraînables ($A, B$).

2. Affinement guidé par l'attribution

Les scores d'importance estimés sont utilisés pour construire un a priori spécifique à la tâche qui guide le processus d'optimisation pour les nouvelles tâches.

• Construction de l'a priori : Pour une nouvelle tâche $T_t$, la méthode estime d'abord une carte d'importance spécifique à la tâche $R(W^{(l,t)})$ en agrégeant les scores de pertinence normalisés à partir d'échantillons générés correctement.
• Agrégation historique : Pendant l'apprentissage de la tâche $T_t$, le cadre agrège l'importance de toutes les tâches précédentes ($T_1, \dots, T_{t-1}$) en prenant le maximum élément par élément de leurs scores d'importance :
  $$\bar{R}(W^{(l,t)}) = \left[ \max_{\tau < t} R(W^{(l,\tau)}) \right]_+$$
• Modulation du gradient : La carte d'importance agrégée agit comme une porte de gradient. Le gradient standard $\nabla W$ est modulé comme suit :
  $$\tilde{\nabla} W^{(l,t)} = \left( 1 - \bar{R}(W^{(l,t)}) \right) \odot \nabla W^{(l,t)}$$
  • Les paramètres ayant une pertinence historique élevée (importants pour les tâches passées) reçoivent une valeur de porte proche de 0, entraînant des mises à jour plus petites.
  • Les paramètres ayant une pertinence historique faible reçoivent une valeur de porte proche de 1, leur permettant d'être librement mis à jour pour apprendre la nouvelle tâche.

Contributions clés

1. Insight mécaniste : L'article fournit une analyse mécaniste montrant que dans l'apprentissage continu séquentiel, les ensembles de paramètres jugés « importants » pour différentes tâches deviennent fortement superposés dans le modèle final, contrairement à l'affinement de tâche unique indépendant où ils restent distincts. Cette superposition explique les interférences causant l'oubli catastrophique.
2. Cadre d'attribution : Il introduit une application novatrice de la LRP pour attribuer la pertinence directement aux paramètres des LLM plutôt qu'aux seules entrées, dérivant des règles de propagation spécifiques pour les composants Transformer (FFN et MHA).
3. Stratégie de modulation du gradient : La méthode proposée offre une approche dynamique et élément par élément pour l'apprentissage continu qui contraint sélectivement les mises à jour en fonction de l'importance des paramètres apprise, sans nécessiter de répétition de données ni de gel rigide des paramètres.

Résultats expérimentaux

Le cadre a été évalué sur des benchmarks d'apprentissage continu utilisant des grands modèles de langage (spécifiquement Llama-3.2-Instruct-3B) dans des configurations d'affinement supervisé complet et d'adaptation basée sur LoRA.

• Performance : La méthode a constamment surpassé les références d'apprentissage continu existantes (incluant les méthodes de régularisation, de répétition et de gel).
• Rétention vs Plasticité : Elle a atteint une rétention supérieure des performances sur les tâches apprises précédemment tout en maintenant des performances compétitives sur les nouvelles tâches.
• Observation : Les expériences ont confirmé que la méthode proposée réduit efficacement les interférences entre les tâches en préservant les sous-ensembles de paramètres spécifiques critiques pour les connaissances antérieures.

Importance et revendications

L'article revendique que, en allant au-delà des stratégies heuristiques (comme la répétition aléatoire ou le gel de couches) et en utilisant plutôt une estimation de l'importance basée sur l'attribution, l'apprentissage continu pour les LLM peut être rendu plus efficace et plus performant. L'importance réside dans :

• Conscience sémantique : La méthode prend explicitement en compte la distribution interne des connaissances au sein du modèle, distinguant entre les paramètres qui doivent être préservés et ceux qui peuvent être adaptés.
• Généralisabilité : Le cadre est applicable à la fois aux scénarios d'affinement de paramètres complets et d'affinement de paramètres efficaces (LoRA).
• Fondement théorique : Il comble le fossé entre l'explicabilité (méthodes d'attribution) et l'optimisation (apprentissage continu), offrant une manière fondée de atténuer l'oubli catastrophique basé sur les représentations apprises par le modèle lui-même.