🔢 mathematics

Optimizer-Model Consistency: Full Finetuning with the Same Optimizer as Pretraining Forgets Less

Ce papier introduit le concept de « cohérence optimiseur-modèle », démontrant que l'utilisation du même optimiseur pour le préentraînement et le fine-tuning complet réduit l'oubli catastrophique et améliore le compromis apprentissage-oubli par rapport à d'autres optimiseurs ou à LoRA, tout en révélant que des optimiseurs spécifiques comme Muon peuvent sous-performer dans les tâches de raisonnement en raison d'une tendance à la mémorisation par cœur.

Auteurs originaux : Yuxing Liu, Jianyu Wang, Tong Zhang

Publié 2026-05-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yuxing Liu, Jianyu Wang, Tong Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un étudiant brillant qui a passé des années à lire chaque livre d'une immense bibliothèque (c'est le Préentraînement). Il a acquis des connaissances générales, la grammaire et la manière de penser le monde. Maintenant, vous souhaitez lui enseigner une nouvelle compétence spécifique, comme résoudre des problèmes mathématiques ou écrire du code informatique (c'est le Finetuning Supervisé ou SFT).

Le grand défi est le suivant : comment lui enseigner cette nouvelle compétence sans qu'il oublie tout ce qu'il a appris dans la bibliothèque ? S'il se concentre trop intensément sur les nouvelles mathématiques, il risque d'oublier comment écrire une histoire simple. C'est ce qu'on appelle le « compromis apprentissage-oubli ».

Cet article découvre une règle surprenante sur la meilleure façon d'enseigner à cet étudiant, et elle concerne comment vous lui enseignez, et non seulement quoi lui enseigner.

La Découverte Principale : « Le Même Enseignant, Le Même Style »

Les auteurs ont découvert que la meilleure façon d'enseigner cette nouvelle compétence est d'utiliser le style d'enseignement exact (optimiseur) qui a été utilisé pendant les années de lecture dans la bibliothèque.

L'Analogie : Imaginez que l'étudiant a appris à lire en utilisant une méthode spécifique, disons la « Méthode A » (comme une façon précise de surligner le texte et de prendre des notes). Si vous essayez de lui enseigner les mathématiques en utilisant la « Méthode B » (une façon complètement différente de surligner et de prendre des notes), l'étudiant se perd. Il pourrait apprendre les mathématiques, mais il commence à oublier ses compétences en lecture parce que la nouvelle méthode entre en conflit avec la façon dont son cerveau est câblé après des années de pratique.
La Découverte : Si vous vous en tenez à la « Méthode A » pour le cours de mathématiques, l'étudiant apprend les mathématiques et conserve ses compétences en lecture intactes. L'article appelle cela la « Cohérence Optimiseur-Modèle ».

Pourquoi Cela Se Produit-il ? (La Théorie de la « Forme du Cerveau »)

L'article explique que différentes méthodes d'enseignement façonnent en réalité le cerveau de l'étudiant (les poids internes du modèle) de manières différentes.

Différentes Formes : Certaines méthodes d'enseignement (comme AdamW, la plus courante) entraînent le cerveau à être « éparse » ou « efficace », comme une bibliothèque où les livres sont soigneusement organisés avec de l'espace vide entre eux. D'autres méthodes (comme Muon, une méthode nouvelle et sophistiquée) entraînent le cerveau à être « dense », comme une bibliothèque où les livres sont serrés les uns contre les autres.
Le Décalage : Si vous entraînez le cerveau à être « éparse » pendant des années, puis que vous passez soudainement à une méthode d'enseignement « dense » pour les mathématiques, le cerveau doit se démener pour réorganiser toute sa structure. Ce remue-ménage le force à abandonner d'anciens livres (oubli).
La Correspondance : Si vous continuez à utiliser la méthode « éparse » pour les mathématiques, le cerveau se contente d'ajouter de nouveaux livres aux étagères existantes. Il n'a pas besoin de reconstruire la bibliothèque, il oublie donc moins.

La Surprise LoRA

Il existe un raccourci populaire appelé LoRA (Adaptation de Rang Inférieur). Considérez LoRA comme donner à l'étudiant un petit carnet séparé pour écrire les réponses aux mathématiques, sans toucher à ses livres principaux de la bibliothèque. Beaucoup pensaient que c'était la meilleure façon d'éviter l'oubli.

Le Twist de l'Article : Les auteurs ont découvert que bien que LoRA soit bon, le réentraînement complet (réécrire tout le cerveau) en utilisant la même méthode d'enseignement que précédemment est en fait encore meilleur.

L'Analogie : LoRA est comme porter un carnet séparé. Cela fonctionne, mais si vous utilisez le même style d'enseignement pour réécrire votre cerveau principal, vous pouvez intégrer les nouvelles mathématiques et conserver les anciennes compétences en lecture encore plus efficacement que simplement utiliser un carnet annexe.

Le Cas du « Mémorisateur par Cœur » (Muon)

L'article a également examiné une méthode d'enseignement avancée et spécifique appelée Muon.

Le Bon : Muon est excellent dans la phase de bibliothèque (Préentraînement). Il aide l'étudiant à mémoriser les faits de manière incroyable.
Le Mauvais : Lorsqu'il s'agit d'apprendre de nouvelles compétences de raisonnement (comme les mathématiques) avec très peu de données, Muon a tendance à être un « mémorisateur par cœur ». Il tente de mémoriser les problèmes mathématiques spécifiques qu'il voit plutôt que d'apprendre les modèles sous-jacents.
Le Résultat : Si vous utilisez Muon pour tout le parcours (bibliothèque + mathématiques), l'étudiant pourrait être excellent pour réciter des faits mais avoir du mal à résoudre de nouveaux problèmes mathématiques jamais vus. Il a mémorisé les exemples mais n'a pas appris la logique.

Résumé en Langage Courant

La Cohérence est la Clé : Pour apprendre une nouvelle compétence sans oublier les anciennes, continuez à utiliser le même algorithme d'apprentissage (optimiseur) que celui utilisé pour entraîner le modèle à l'origine.
Ne Changez Pas de Style : Changer d'algorithme d'apprentissage en cours de route force le modèle à réorganiser son « cerveau », ce qui lui fait perdre d'anciennes connaissances.
Réentraînement Complet > Raccourcis : Parfois, effectuer un réentraînement complet avec le bon algorithme est meilleur que d'utiliser des raccourcis comme LoRA, car cela s'aligne mieux avec la façon dont le cerveau du modèle a été construit à l'origine.
Méfiez-vous de la Sur-mémorisation : Certains algorithmes avancés (comme Muon) sont excellents pour mémoriser mais peuvent être moins bons pour apprendre de nouveaux modèles lorsque les données sont rares.

L'article conclut que si vous souhaitez le meilleur équilibre entre l'apprentissage de nouvelles choses et le souvenir des anciennes, restez fidèle au même enseignant avec lequel vous avez commencé.

Résumé Technique : Cohérence Optimisateur-Modèle

Énoncé du Problème

Dans le paradigme d'entraînement des Grands Modèles de Langage (LLM), les modèles subissent une phase de préentraînement sur des corpus massifs, suivie d'une phase de Fine-Tuning Supervisé (SFT) sur des ensembles de données plus petits et de haute qualité pour acquérir des compétences spécifiques. Un défi critique du SFT est le compromis apprentissage-oubli : le modèle doit apprendre de nouvelles connaissances spécifiques à la tâche tout en préservant les capacités linguistiques générales acquises lors du préentraînement.

Bien que divers optimiseurs (par exemple, AdamW, Muon) et des méthodes efficaces en paramètres (par exemple, LoRA) soient utilisés, il reste incertain quelle combinaison offre le meilleur équilibre entre l'apprentissage de nouvelles tâches et la minimisation de l'oubli catastrophique. La littérature existante propose des intuitions contradictoires ; par exemple, certains suggèrent que LoRA oublie intrinsèquement moins en raison de sa nature de faible rang, tandis que d'autres soulignent l'importance du choix de l'optimiseur. Cet article examine si le choix de l'optimiseur en SFT doit être découplé de ou aligné avec l'optimiseur utilisé lors du préentraînement.

Méthodologie

Les auteurs emploient une combinaison d'expériences empiriques et d'analyse théorique pour étudier la relation entre le choix de l'optimiseur et les performances du modèle lors du SFT.

Expériences Empiriques

Modèles et Ensembles de Données : Les expériences ont été menées sur GPT-2-small (préentraîné à partir de zéro) et Llama-2-7B. Le préentraînement a utilisé l'ensemble de données OpenWebText. Le SFT a été effectué sur trois tâches distinctes : MetaMathQA (raisonnement mathématique), Alpaca (suivi d'instructions) et Magicoder (génération de code).
Optimiseurs Comparés : L'étude compare AdamW, Muon (un optimiseur à structure matricielle) et SGD. Elle évalue également LoRA (Adaptation de Faible Rang) avec divers rangs ( $r=4, 8, 32, 64, 128, 256$ ).
Métrique d'Évaluation : Les auteurs définissent une frontière de Pareto pour visualiser le compromis apprentissage-oubli.
- Oubli : Mesuré par la perte de validation sur l'ensemble de données de préentraînement (OpenWebText) ou la baisse des benchmarks de capacités générales. Une perte plus faible indique moins d'oubli.
- Apprentissage : Mesuré par la perte de validation sur la nouvelle tâche SFT ou la précision spécifique à la tâche. Une perte plus faible/une précision plus élevée indique un meilleur apprentissage.
- Protocole : Pour chaque algorithme d'entraînement, une recherche en grille sur les taux d'apprentissage a été effectuée pour identifier la frontière de Pareto, garantissant une comparaison équitable des limites de l'algorithme plutôt que d'un seul réglage d'hyperparamètre.
Analyse Synthétique : Pour comprendre pourquoi certains optimiseurs se comportent différemment, les auteurs ont mené une expérience synthétique utilisant un corpus de langue corrompu. Ils ont mélangé l'ordre des tokens dans des séquences propres pour détruire les motifs linguistiques, forçant le modèle à s'appuyer sur la mémorisation par cœur. Cela leur a permis de distinguer la capacité d'un optimiseur à apprendre des motifs de sa tendance à mémoriser les données.

Analyse Théorique

L'article fournit un cadre théorique basé sur les normes induites par matrice (suivant Pethick et al., 2025).

Optimiseur comme Régularisateur : Les auteurs postulent que les optimiseurs ne convergent pas simplement vers une solution, mais façonnent les poids et les activations du modèle. Spécifiquement, un optimiseur dérivé d'une norme $\|\cdot\|_{\alpha, \beta}$ $∥ \cdot ∥_{α, β}$ régularise implicitement les activations d'entrée par $\|\cdot\|_\alpha$ $∥ \cdot ∥_{α}$ et les activations de sortie par $\|\cdot\|_\beta$ $∥ \cdot ∥_{β}$ .
- AdamW (dérivé de $A_{1,\infty}$ ) régularise les entrées via $\|\cdot\|_1$ , conduisant à des activations clairsemées (sparse).
- Muon (dérivé de $A_{2,2}$ ) régularise les entrées via $\|\cdot\|_2$ , conduisant à des activations plus denses.
Approximation de l'Oubli : En utilisant un développement de Taylor, l'augmentation de la perte de préentraînement (oubli) après le SFT est approximée comme proportionnelle à la norme quadratique attendue de la mise à jour des poids appliquée aux entrées de préentraînement ( $\mathbb{E}[\|\Delta W x\|_2^2]$ ).
Hypothèse de Cohérence : La théorie suggère que pour minimiser l'oubli, la mise à jour du SFT ( $\Delta W$ ) doit s'aligner sur la courbure du paysage de perte établi par le préentraînement. Cet alignement est atteint lorsque l'optimiseur du SFT appartient à la même famille (mêmes $\alpha, \beta$ ) que l'optimiseur de préentraînement.

Résultats Clés

1. Cohérence Optimisateur-Modèle

La découverte centrale est la Cohérence Optimisateur-Modèle : le fine-tuning complet avec le même optimiseur (ou famille d'optimiseurs) utilisé lors du préentraînement atteint systématiquement le meilleur compromis apprentissage-oubli.

Préentraînement AdamW : Lorsque AdamW est utilisé pour le préentraînement, le fine-tuning complet avec AdamW surpasse le fine-tuning complet avec Muon ou SGD, et surpasse également LoRA sur toutes les tâches (mathématiques, code, instructions).
Préentraînement Muon : De même, lorsque Muon est utilisé pour le préentraînement, le fine-tuning complet avec Muon offre le meilleur compromis par rapport à l'utilisation d'AdamW ou de SGD pour le SFT.
Comparaison avec LoRA : Contrairement à l'intuition selon laquelle LoRA oublie moins, l'analyse de la frontière de Pareto montre que pour n'importe quel point de contrôle LoRA, il existe un point de contrôle de fine-tuning complet (utilisant le même optimiseur) qui atteint à la fois un meilleur apprentissage (perte de tâche plus faible) et moins d'oubli (perte de préentraînement plus faible). Cela reste vrai lorsqu'un balayage approprié des taux d'apprentissage est considéré.

2. Performance de Muon sur les Tâches de Raisonnement

Bien que Muon produise souvent des points de contrôle préentraînés supérieurs (perte de préentraînement plus faible), ses performances se dégradent par rapport à AdamW lorsqu'il est affiné sur des tâches de raisonnement (par exemple, MetaMathQA).

Mémorisation vs Apprentissage de Motifs : L'expérience synthétique a révélé que Muon tend à mémoriser les données corrompues (sans motifs) plus rapidement que AdamW ou SGD.
Implication : En SFT, où les données sont rares, la tendance de Muon à privilégier la mémorisation par cœur plutôt que l'acquisition de motifs peut entraver l'apprentissage de compétences de raisonnement complexes, conduisant à une performance finale plus faible sur des tâches nécessitant une généralisation, malgré ses fortes métriques de préentraînement.

3. Le Rôle des Taux d'Apprentissage

L'article souligne que le compromis apprentissage-oubli est hautement sensible au taux d'apprentissage. Les études précédentes suggérant que LoRA oublie moins fixaient souvent le taux d'apprentissage à celui optimal pour la tâche. Lorsque le taux d'apprentissage est balayé, le fine-tuning complet peut atteindre un compromis supérieur simplement en abaissant le taux d'apprentissage, une stratégie que LoRA ne peut pas répliquer aussi efficacement dans ce contexte spécifique.

Importance et Revendications

L'article revendique l'établissement de la Cohérence Optimisateur-Modèle comme un principe fondamental pour l'entraînement des LLM :

Métrique Unifiée : Le compromis apprentissage-oubli à travers l'ensemble du pipeline préentraînement-SFT est une métrique plus complète pour évaluer un optimiseur que la performance de préentraînement seule.
Conseil Pratique : Pour minimiser l'oubli tout en maximisant l'apprentissage de la tâche, les praticiens devraient employer la même famille d'optimiseurs pour le SFT que celle utilisée pour le préentraînement.
Réévaluation de Muon : Bien que Muon soit un optimiseur de préentraînement puissant, son mécanisme de mise à jour (plein rang, régularisation $L_2$ ) peut le rendre sujet à une sur-mémorisation dans les régimes de SFT à faible quantité de données, en particulier pour les tâches de raisonnement. Cela suggère qu'une stratégie de fine-tuning dédiée, potentiellement différente, pourrait être requise pour les modèles préentraînés avec Muon afin de débloquer leur plein potentiel.
Insight Théorique : Ce travail comble le fossé entre la conception de l'optimiseur (normes) et le comportement du modèle (clairsemage des activations), offrant une explication théorique de l'importance de la cohérence dans le choix de l'optimiseur.

Les auteurs reconnaissent des limites, notant que les expériences ont été principalement menées sur des modèles plus petits (GPT-2, Llama-2-7B) en raison de contraintes computationnelles et que les preuves théoriques reposent sur des hypothèses simplificatrices (par exemple, Hessiennes bloc-diagonales). Ils suggèrent que les travaux futurs devraient étendre ces résultats à des modèles plus grands et explorer des optimiseurs spécifiquement conçus pour atténuer les tendances à la mémorisation des optimiseurs à structure matricielle lors du SFT.