Grow, Don't Overwrite: Fine-tuning Without Forgetting

Ce papier présente une méthode d'expansion fonctionnelle qui élimine le compromis entre plasticité et stabilité dans le fine-tuning des modèles pré-entraînés, permettant d'acquérir de nouvelles compétences sans oublier les connaissances antérieures ni dégrader les performances.

L'essentiel

🧠 Le Problème : L'Amnésie Catastrophique

Imaginez un génie des langues, un expert qui connaît tout sur le monde : il peut écrire des poèmes, faire des calculs complexes et raconter des histoires drôles. C'est un modèle d'intelligence artificielle (IA) pré-entraîné.

Maintenant, vous voulez lui apprendre un métier très spécifique, comme diagnostiquer des maladies ou traduire du français en chinois.

Le problème classique (ce que l'article appelle l'oubli catastrophique), c'est que lorsque vous lui enseignez ce nouveau métier, son cerveau se "reconfigure" si violemment pour apprendre les nouvelles règles qu'il oublie tout ce qu'il savait avant.

• Il devient un excellent médecin, mais il oublie comment compter jusqu'à 10.
• Il devient un traducteur brillant, mais il ne sait plus écrire de poèmes.

C'est comme si vous forçiez un pianiste de concert à apprendre à jouer de la batterie : il devient bon sur les tambours, mais ses doigts oublient comment jouer du piano.

💡 La Solution : "Grandir sans effacer" (Grow, Don't Overwrite)

Les chercheurs de cet article (Dyah Adila et son équipe) ont trouvé une astuce géniale pour éviter ce problème. Au lieu de réécrire le cerveau du génie pour l'adapter, ils lui ajoutent une nouvelle pièce à son cerveau.

Voici comment ils font, avec une analogie simple :

1. L'Analogie du Restaurant

Imaginez un restaurant très populaire (le modèle pré-entraîné) avec une cuisine parfaite.

• L'ancienne méthode (Fine-tuning classique) : Pour servir un nouveau plat (ex: des sushis), le chef remplace tous les ustensiles de la cuisine par des outils à sushis. Résultat : il fait de superbes sushis, mais il ne sait plus faire de pizza car les fours et les rouleaux à pâte ont disparu.
• La nouvelle méthode (Growth) : Le chef construit une nouvelle cuisine adjacente exactement identique à l'ancienne.
  • Il copie les recettes de base (les poids pré-entraînés) dans cette nouvelle cuisine.
  • Il ajoute un petit ajustement mathématique (une "correction d'échelle") pour que, au moment où il ouvre, le goût des plats sortis de la nouvelle cuisine soit exactement le même que l'ancienne.
  • Le secret : Pendant que la nouvelle cuisine apprend à faire des sushis (en modifiant ses propres ingrédients), l'ancienne cuisine continue de faire des pizzas comme avant, sans être touchée.

2. Comment ça marche techniquement (sans les maths) ?

Le modèle est composé de blocs de calcul appelés "MLP".

1. Duplication : Ils prennent un bloc de calcul et le copient deux fois. Maintenant, le modèle a deux fois plus de "neurones" pour ce bloc.
2. Équilibrage : Pour que le modèle ne change pas de comportement au début, ils divisent par deux l'importance de la deuxième partie du bloc.
   • Résultat : Le modèle sort exactement la même réponse qu'avant. Il n'a rien perdu.
3. Apprentissage : Ensuite, ils laissent le modèle apprendre la nouvelle tâche. Comme il a maintenant plus de place (plus de paramètres), il peut apprendre le nouveau métier sans avoir besoin d'écraser les anciennes connaissances.

🚀 Les Résultats Magiques

L'article montre trois choses incroyables :

1. Zéro Oubli : Le modèle apprend la nouvelle tâche aussi bien que s'il avait tout réécrit, mais il garde 100% de ses anciennes compétences. Il est à la fois un expert en sushis et un expert en pizza.
2. Économie d'Énergie : On n'a pas besoin de doubler tout le cerveau du modèle. Ils ont découvert qu'en n'agrandissant que quelques couches spécifiques (comme n'agrandir que la cuisine du dessert), on obtient le même résultat que d'agrandir toute la maison. Cela économise beaucoup de temps de calcul et d'argent.
3. Adaptabilité : Plus la tâche est difficile (comme les maths complexes), plus il faut "agrandir" de parties du cerveau. Plus la tâche est simple, moins il faut de place. C'est comme si le modèle savait instinctivement combien de place il lui fallait.

🌟 En Résumé

Cette recherche propose une nouvelle façon d'entraîner les intelligences artificielles : au lieu de forcer le modèle à oublier son passé pour apprendre le futur, on lui donne simplement plus de place pour apprendre les deux.

C'est comme donner un nouveau cahier de notes à un étudiant brillant au lieu de lui faire effacer son ancien cahier. Il peut apprendre de nouvelles leçons sans jamais perdre ses anciennes connaissances.

Le mot de la fin : C'est une avancée majeure pour créer des IA qui sont à la fois des experts spécialisés et des généralistes polyvalents, sans sacrifier l'un pour l'autre.

Résumé technique

1. Problématique : L'Oubli Catastrophique

Le papier aborde le problème fondamental du oubli catastrophique lors de l'ajustement fin (fine-tuning) de grands modèles pré-entraînés (LLM) sur des tâches spécialisées.

• Le dilemme : Les méthodes d'optimisation standard écrasent les paramètres du modèle pour s'adapter aux nouvelles données, ce qui entraîne une dégradation sévère des connaissances fondamentales acquises lors du pré-entraînement (ex: un modèle spécialisé en physique quantique perdant sa capacité à faire des calculs arithmétiques de base).
• Limites des solutions existantes :
  • La régularisation (ex: EWC) impose un compromis zéro-sum : les ressources allouées à la rétention du passé empêchent l'apprentissage du futur.
  • Les méthodes de croissance de capacité (ajout de paramètres) existent, mais elles échouent souvent à concilier deux exigences : la stabilité (le modèle ne doit pas changer de comportement sur les données existantes au démarrage) et l'efficacité (les nouveaux paramètres doivent exploiter les connaissances pré-entraînées plutôt que de partir de zéro). Les méthodes actuelles soit ignorent les poids pré-entraînés (initialisation aléatoire), soit violent la contrainte de préservation de fonction.

2. Méthodologie : Expansion Fonctionnelle Préservatrice

Les auteurs proposent une méthode novatrice d'expansion du réseau qui garantit que le modèle étendu est mathématiquement identique au modèle original à l'initialisation, tout en permettant l'apprentissage de nouvelles compétences.

Le Mécanisme d'Expansion

La méthode cible spécifiquement les sous-modules MLP (Perceptrons Multicouches) au sein de l'architecture Transformer. Le processus se déroule en deux étapes pour chaque couche $n$ :

1. Duplication de la projection ascendante (Up-projection) :
   La matrice de poids $W^{(1)}_n$ (qui projette l'entrée vers l'espace latent intermédiaire de dimension $p$) est dupliquée. Si l'on choisit un facteur d'expansion $k=2$, la nouvelle matrice $\hat{W}^{(1)}_n$ est formée par la concaténation horizontale de la matrice originale avec elle-même, doublant ainsi la dimension interne à $2p$.
   $$\hat{W}^{(1)}_n = [W^{(1)}_n \quad W^{(1)}_n]$$

2. Correction par mise à l'échelle de la projection descendante (Down-projection) :
   Pour compenser cette duplication et garantir que la sortie finale reste inchangée, la matrice de poids $W^{(2)}_n$ (qui projette de $p$ vers la dimension cachée $h$) est également dupliquée verticalement, mais chaque copie est divisée par le facteur d'expansion $k$ (ici 2).
   $$\hat{W}^{(2)}_n = \begin{bmatrix} \frac{1}{2}W^{(2)}_n \\ \frac{1}{2}W^{(2)}_n \end{bmatrix}$$

Preuve de préservation de fonction :
La sortie du MLP étendu devient :
$$\text{Sortie} = \text{ReLU}(X \hat{W}^{(1)}_n) \times \hat{W}^{(2)}_n = [Y \quad Y] \times \begin{bmatrix} \frac{1}{2}W^{(2)}_n \\ \frac{1}{2}W^{(2)}_n \end{bmatrix} = \frac{1}{2}YW^{(2)}_n + \frac{1}{2}YW^{(2)}_n = YW^{(2)}_n$$
Le résultat est identique à celui du modèle original.

Stratégies d'Ajustement Fin

Deux variantes sont proposées pour l'entraînement des nouveaux paramètres :

• G-Freeze (Stratégie par défaut) : Seuls les nouveaux poids ajoutés sont entraînés. Les poids originaux sont gelés. Cela assure une stabilité maximale et élimine totalement l'oubli.
• G-Train : La matrice entière de projection ascendante étendue est entraînée, tandis que la projection descendante et les autres paramètres restent gelés. Cette variante est conçue pour des tâches cognitivement complexes (comme le raisonnement mathématique) où une plus grande plasticité est nécessaire.

3. Contributions Clés

1. Méthode d'expansion préservatrice : Une technique qui réutilise les connaissances pré-entraînées pour apprendre de nouvelles compétences sans dégrader les anciennes, résolvant le compromis plasticité/stabilité.
2. Élimination de l'oubli catastrophique : Le modèle conserve ses capacités originales tout en atteignant des performances équivalentes à un ajustement fin complet (SFT) sur la nouvelle tâche.
3. Efficacité modulaire et computationnelle : Il est démontré qu'expander uniquement un sous-ensemble ciblé de couches (environ 10 couches sur un modèle complet) suffit à égaler les performances d'une expansion complète, réduisant considérablement le coût computationnel. De plus, même avec une expansion complète, seuls ~60 % des paramètres sont entraînés (contre 100 % pour le SFT standard).

4. Résultats Expérimentaux

Les expériences ont été menées sur le modèle Gemma-1B (et validées sur des modèles 4B) avec des tâches variées : traduction, déduction scientifique, Q&A scientifique et raisonnement mathématique.

• Performance et Rétention : La méthode (G-Freeze) atteint des performances sur les nouvelles tâches comparables ou supérieures au SFT standard, tout en maintenant une précision quasi parfaite sur les tâches de base (mesurée via le benchmark WinoGrande). À l'inverse, le SFT standard montre une chute drastique des performances sur les tâches originales (oubli catastrophique).
• Efficacité des paramètres : L'expansion d'un sous-ensemble ciblé de 9 à 10 couches (sélectionnées par la magnitude des mises à jour de poids) offre les mêmes résultats que l'expansion de toutes les couches, réduisant le nombre de paramètres entraînables de ~60 % à ~30 %.
• Évolutivité : La performance sur les nouvelles tâches s'améliore avec le nombre de couches étendues. Les tâches complexes (MathQA) nécessitent une expansion plus large que les tâches simples (traduction).
• Stabilité des Représentations : L'analyse via les Vecteurs de Fonction (Function Vectors) montre que la méthode préserve la structure interne du modèle. Contrairement au SFT qui modifie radicalement les vecteurs de fonction (similarité cosinus de 0,28), la méthode proposée maintient une similarité élevée (0,95) et préserve les têtes d'attention causales originales.

5. Signification et Impact

Ce travail propose une alternative fondamentale aux approches de régularisation et de réplay pour le continual learning. En démontrant qu'il est possible d'augmenter la capacité du modèle tout en garantissant une identité mathématique initiale, les auteurs offrent une solution robuste au problème de l'oubli catastrophique.

L'approche est particulièrement significative car elle :

• Permet de spécialiser des modèles sans sacrifier leur polyvalence générale.
• Réduit les coûts d'entraînement en ciblant uniquement les couches pertinentes et en gelant la majorité des paramètres.
• Fournit une compréhension théorique sur la localisation des compétences dans les Transformers (les connaissances factuelles semblent localisées dans la couche de projection descendante, tandis que la plasticité pour le raisonnement complexe réside dans la projection ascendante).

En résumé, cette méthode permet de "grandir" le modèle pour apprendre de nouvelles tâches sans "écraser" ses connaissances antérieures, offrant une voie prometteuse pour le déploiement de modèles d'IA adaptatifs et stables.