FGGM: Fisher-Guided Gradient Masking for Continual Learning

Résumé Technique : Masquage de Gradient Guidé par la Fisher (FGGM) pour l'Apprentissage Continu

1. Énoncé du Problème

L'article traite de l'oubli catastrophique dans les grands modèles de langage (LLM) lors de l'apprentissage continu (CL). À mesure que les LLM sont adaptés à un flux de nouvelles tâches, ils ont tendance à écraser brutalement les paramètres critiques pour les tâches précédemment apprises, entraînant une perte des connaissances antérieures.

Les stratégies d'atténuation existantes font face à des limitations significatives :

• Les méthodes basées sur le rejeu (Replay-based) nécessitent de stocker ou de générer des données historiques, ce qui soulève des préoccupations en matière de confidentialité et d'évolutivité.
• Les méthodes de gel de paramètres (ex. LoRA, Prompt Tuning) figent souvent les paramètres de base, ce qui peut limiter les performances sur les tâches en aval.
• Les méthodes basées sur la régularisation comme EWC dépendent de données historiques, tandis que d'autres comme l'Orthogonal Gradient Descent (OGD) imposent des coûts de mémoire prohibitifs pour le réglage fin complet des LLM.
• MIGU, une méthode récente sans rejeu, sélectionne les paramètres en fonction des magnitudes de sortie empiriques, mais manque de fondement théorique pour estimer l'importance des paramètres.

2. Méthodologie : Cadre FGGM

Les auteurs proposent le Masquage de Gradient Guidé par la Fisher (FGment de FGGM), un cadre qui atténue l'oubli catastrophique en sélectionnant stratégiquement les paramètres pour les mises à jour à l'aide de l'information de Fisher diagonale sans nécessiter l'accès aux données historiques. Le cadre opère en deux phases :

A. Initialisation du Masque Guidé par la Fisher
Pour une nouvelle tâche $T_t$, FGGM estime les éléments diagonaux de la Matrice d'Information de Fisher (FIM) en utilisant les données de la nouvelle tâche. L'entrée diagonale $\hat{F}^{(t)}_i$ de la FIM quantifie l'importance du paramètre $\theta_i$ en mesurant le carré du gradient de la log-vraisemblance :
$$\hat{F}^{(t)}_i = \frac{1}{M_t} \sum_{j=1}^{M_t} \left( \frac{\partial \log p(y_j|x_j, \theta)}{\partial \theta_i} \right)^2$$
Pour gérer la distribution non stationnaire de l'importance des paramètres à travers les couches, FGGM utilise un seuillage adaptatif. Un masque binaire $M^{(t)}$ est généré où un paramètre est conservé (valeur 1) si son score de Fisher dépasse le $(1-\alpha)$-ième quantile des valeurs de Fisher empiriques, et masqué (valeur 0) sinon.

B. Normalisation du Masque via l'Agrégation de la Dimension d'Entrée (IA)
Une innovation clé est la normalisation des masques basée sur l'architecture du réseau de neurones. Pour les couches entièrement connectées avec une matrice de poids $W \in \mathbb{R}^{D_{out} \times D_{in}}$, les scores de Fisher sont agrégés sur la dimension d'entrée pour chaque neurone de sortie :
$$\hat{F}^{(t)}_r = \sum_{c=1}^{D_{in}} \hat{F}^{(t)}_{r,c}$$
Cette stratégie préserve l'intégrité fonctionnelle des neurones de sortie en tant qu'unités de calcul atomiques. L'article soutient que l'agrégation à travers les entrées (IA) est supérieure à l'agrégation à travers les sorties (OA) car elle empêche la dispersion des signaux de sensibilité spécifiques aux caractéristiques et maintient des frontières de tâches distinctes, alors que l'OA peut brouiller les distinctions de tâches et augmenter l'oubli.

C. Projection de Gradient
Pendant la rétropropagation, les gradients bruts $g^{(t)}$ sont multipliés élément par élément par le masque binaire $M^{(t)}$ :
$$\tilde{g}^{(t)} = g^{(t)} \odot M^{(t)}$$
Cela restreint les mises à jour uniquement aux paramètres critiques identifiés par l'information de Fisher, gelant efficacement les régions non critiques de l'espace des paramètres.

3. Contributions Clés

1. Nouveau Cadre : Introduction de FGGM, une méthode sans rejeu pour l'apprentissage continu des LLM qui repose sur l'information de Fisher théoriquement fondée plutôt que sur des observations de magnitude empiriques.
2. Estimation de l'Importance Théorique : Un mécanisme qui mesure directement la pertinence paramètre-tâche via l'information de Fisher, permettant un fenêtrage dynamique des gradients pour équilibrer la plasticité (acquisition de nouvelles capacités) et la stabilité (rétention des connaissances préexistantes).
3. Normalisation Architecturale : La proposition de l'Agrégation de la Dimension d'Entrée (IA) pour aligner la génération de masques avec la structure fonctionnelle des couches de propagation vers l'avant, assurant une sélection robuste des paramètres.
4. Validation Empirique : Démonstration que FGGM surpasse les lignes de base de l'état de l'art, y compris MIGU, sur des benchmarks standards sans compromettre l'adaptabilité du modèle.

4. Résultats Expérimentaux

Des expériences ont été menées sur le benchmark TRACE (couvrant les capacités générales et diverses tâches en aval) et sur des tâches de génération de code (HumanEval/BBH) en utilisant des modèles Qwen2 (échelles 1.5B et 7B).

• Capacités Générales (Stabilité) : Sur la métrique globale de l'agrégat (MMLU, BBH, TyDiQA, etc.), FGGM a atteint 55.75, surpassant MIGU (55.21) et dépassant nettement SFT (50.89) et LoRA (49.48). Notamment, FGGM a surpassé les méthodes de rejeu (REP, EWC) sur les métriques générales malgré l'absence d'accès aux données historiques, soulignant les avantages de l'approche en termes de confidentialité et d'évolutivité.
• Performance Globale TRACE (Plasticité) : FGGM a atteint 46.00 sur TRACE-OP, montrant une amélioration relative de 4,4 % par rapport à MIGU (44.08) et une amélioration relative de 9,6 % par rapport à SFT (49.22) dans la rétention des capacités générales tout en apprenant de nouvelles tâches.
• Génération de Code : Dans les expériences sur le benchmark HumanEval, FGGM a systématiquement obtenu une précision plus élevée sur tous les indicateurs de performance par rapport à SFT et MIGU, tout en démontrant simultanément un oubli réduit sur le benchmark BBH.
• Évolutivité (Scaling) : L'écart de performance entre FGGM et MIGU s'est creusé à mesure que la taille du modèle passait de 1.5B à 7B, indiquant la capacité de montée en charge supérieure de FGGM.
• Études d'Ablation :
  • Agrégation de Dimension : Le retrait de l'Agrégation de la Dimension d'Entrée (sans IA) a réduit la performance générale de 55.75 à 54.85. L'application de l'Agrégation de la Dimension de Sortie (OA) a provoqué une chute plus sévère (53.16), confirmant la nécessité de l'IA pour préserver les sensibilités spécifiques aux tâches.
  • Taux de Masquage ($\alpha$) : Un compromis a été observé où un $\alpha$ plus petit (plus de mises à jour) augmentait la plasticité (TRACE-OP) mais diminuait la stabilité (General). Les auteurs ont fixé $\alpha=0.7$ pour une comparaison équitable avec MIGU.

5. Signification et Revendications

L'article affirme que FGGM établit une solution efficace pour l'apprentissage continu dans les LLM en offrant une approche mathématiquement fondée de l'estimation de l'importance des paramètres. Contrairement aux méthodes basées sur la magnitude comme MIGU, FGGM utilise l'information de Fisher pour quantifier la contribution des paramètres à la perte de la tâche.

Les auteurs soulignent que FGGM atteint un équilibre dynamique entre stabilité et plasticité sans avoir besoin de données historiques, répondant ainsi aux goulots d'étranglement de confidentialité et d'évolutivité des méthodes de rejeu. Les résultats suggèrent que les stratégies de masquage de gradient fondées sur des principes sont un outil polyvalent et efficace pour maintenir la performance des LLM au fil du temps, particulièrement dans les scénarios où les données historiques sont indisponibles ou restreintes. L'article conclut que FGGM représente une approche de pointe pour la stabilité parmi les méthodes n'accédant pas aux données des tâches précédentes.