💬 NLP

Sharpness-Aware Pretraining Mitigates Catastrophic Forgetting

Ce papier démontre que biaiser l'optimisation du préentraînement vers des minima plus plats, grâce à des méthodes telles que la minimisation de la netteté (Sharpness-Aware Minimization), des taux d'apprentissage élevés ou des périodes d'atténuation raccourcies, atténue considérablement l'oubli catastrophique et améliore les performances en aval à travers diverses tailles de modèles et tâches post-entraînement.

Auteurs originaux : Ishaan Watts, Catherine Li, Sachin Goyal, Jacob Mitchell Springer, Aditi Raghunathan

Publié 2026-05-06

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Ishaan Watts, Catherine Li, Sachin Goyal, Jacob Mitchell Springer, Aditi Raghunathan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous formiez un chef étoilé (le modèle d'IA) en le faisant goûter à des millions de plats différents (pré-entraînement). L'objectif est de faire de lui le meilleur chef possible avant de l'envoyer travailler dans une cuisine de restaurant spécifique (post-entraînement/affinage).

Pendant longtemps, les chercheurs ont pensé que la seule chose qui comptait était de faire goûter au chef le meilleur pendant cette phase de formation initiale. Ils supposaient que si le chef commençait comme un « généraliste » parfait, il deviendrait automatiquement un grand spécialiste plus tard, peu importe les changements survenant dans la cuisine.

Le Problème : Le Chef « Rigide »
Ce papier soutient que cette hypothèse est fausse. Il s'avère que certains chefs sont formés à être si rigoureusement parfaits dans le goût général qu'ils se brisent facilement lorsqu'on leur demande de faire quelque chose de nouveau.

Pensez-y comme à une balle posée dans une vallée.

L'Approche Standard (AdamW) : Cela entraîne le chef à s'asseoir dans une vallée très profonde, étroite et pointue. Il est très bon pour rester exactement là où il est. Mais si vous le poussez légèrement (comme lui demander d'apprendre une nouvelle recette ou de comprimer sa mémoire pour qu'elle tienne dans une poche plus petite), il roule immédiatement hors de la vallée. Il « oublie » tout ce qu'il savait.
La Solution du Papier (Sensible à la Pointe) : Cela entraîne le chef à s'asseoir dans une vallée large et plate. Il n'est peut-être pas au point le plus profond de la vallée, mais il est entouré de terrain plat. Si vous le poussez, il ne tombe pas ; il roule juste un peu et reste en sécurité. Il est « robuste ».

Ce que les Chercheurs Ont Fait
L'équipe a testé trois façons d'entraîner ces chefs de « vallée plate » plutôt que des chefs de « vallée pointue » :

La Méthode « Secousse » (SAM) : Ils ont utilisé une technique spéciale appelée Minimisation Sensible à la Pointe. Imaginez que pendant que le chef apprend, vous secouez doucement la table. Si le chef peut toujours goûter correctement la nourriture pendant que la table tremble, il apprend à être stable. Cela force le modèle à trouver ces vallées larges et plates.
La Méthode « Voie Rapide » (Taux d'Apprentissage Élevés) : Ils ont fait apprendre au chef plus vite et plus agressivement au début. C'est comme courir une course ; si vous courez assez vite, vous évitez naturellement de rester coincé dans de petits trous profonds sur la route.
La Méthode « Arrêt Rapide » (Recuit Plus Court) : Habituellement, l'entraînement se termine en ralentissant lentement le chef. Les chercheurs ont constaté que d'arrêter ce ralentissement tôt (en maintenant le rythme plus longtemps) aidait le chef à rester dans cette zone stable et plate.

Les Résultats
Ils ont testé cela sur des modèles de différentes tailles (du petit au moyen-grand) et ont constaté :

Moins d'Oubli : Lorsque ces modèles de « vallée plate » ont ensuite été invités à apprendre des tâches spécifiques (comme les mathématiques ou la programmation) ou que leur mémoire a été compressée (quantification) pour fonctionner plus vite, ils ont oublié beaucoup moins de leurs connaissances originales.
Le « Hack » « Mi-Entraînement » : Vous n'avez pas besoin d'utiliser cette méthode spéciale de « secousse » pendant tout le processus d'entraînement, ce qui est coûteux. Ils ont constaté que l'utiliser seulement pour les 10 % derniers de l'entraînement (la phase de « recuit ») apportait presque tous les avantages pour une fraction minuscule du coût.
Preuve du Monde Réel : Ils ont testé cela sur un grand modèle de 1 milliard de paramètres (OLMo-2-1B). Même si le modèle entraîné avec cette méthode commençait légèrement « plus faible » sur les tâches générales, il est devenu 31 % meilleur pour se souvenir de ses compétences après avoir appris les mathématiques, et 40 % meilleur pour conserver ses compétences après avoir été compressé pour l'efficacité.

La Grande Conclusion
Le papier conclut que nous ne devrions pas seulement entraîner l'IA à être la « meilleure » au départ. Nous devrions l'entraîner à être flexible et stable afin qu'elle ne se brise pas lorsque nous changeons son environnement plus tard.

C'est la différence entre entraîner un gymnaste à maintenir une pose parfaite et rigide (qui se brise si le sol penche) et l'entraîner à avoir un centre de gravité fort et équilibré (qui lui permet de s'adapter à n'importe quel nouveau mouvement sans tomber). En nous concentrant sur cet « équilibre » (platitude) plutôt que simplement sur la « perfection » (pointe), nous obtenons des modèles d'IA beaucoup meilleurs pour apprendre de nouvelles choses sans oublier les anciennes.

Résumé Technique : Le Préentraînement Sensible à la Netteté Atténue l'Oubli Catastrophique

Énoncé du Problème

Les stratégies d'optimisation de préentraînement actuelles sont généralement réglées pour maximiser la qualité du modèle de base, mesurée par la perte de préentraînement ou la performance sur des benchmarks, en partant du principe qu'un modèle de base plus fort produit un modèle plus performant après des modifications ultérieures telles que le fine-tuning (post-entraînement) ou la quantification. Cependant, des travaux récents indiquent que cette hypothèse peut échouer : prolonger le préentraînement au-delà d'un certain point peut améliorer la perte de préentraînement tout en dégradant les performances en aval après le post-entraînement.

Le problème central identifié est que l'évaluation du modèle de base ignore la stabilité des capacités d'un modèle sous mises à jour des paramètres. Les modèles hautement sensibles à ces mises à jour souffrent d'un « oubli catastrophique », perdant leurs capacités préentraînées indépendamment de leur force initiale. Cette sensibilité est liée à la géométrie du paysage de perte ; plus précisément, les modèles convergeant vers des minima « pointus » sont plus susceptibles de subir une dégradation des performances lorsque les paramètres sont perturbés lors de tâches en aval.

Méthodologie

Les auteurs examinent trois approches d'optimisation de préentraînement conçues pour biaiser le modèle vers des minima plus plats, réduisant ainsi la sensibilité aux perturbations locales des paramètres :

Minimisation Sensible à la Netteté (SAM) : Une méthode d'optimisation explicite qui pénalise la courbure de la perte. SAM cherche les paramètres $\theta$ qui minimisent la perte maximale dans un voisinage de rayon $\rho$ , trouvant efficacement des minima qui restent à faible perte sous de petites perturbations.
Taux d'Apprentissage de Crête Accrus : Une approche implicite basée sur le phénomène de « Bord de la Stabilité », où des taux d'apprentissage plus élevés sont supposés limiter implicitement la valeur propre maximale de l'Hessienne, réduisant ainsi la netteté de la perte.
Recuit du Taux d'Apprentissage Raccourci : Modification du calendrier du taux d'apprentissage pour réduire la durée de la phase de décroissance à la fin de l'entraînement, motivée par la découverte que la dynamique de la dernière étape influence significativement la géométrie finale de la solution.

L'étude évalue ces interventions sur des tailles de modèles allant de 20 M à 150 M paramètres et les valide à grande échelle sur un modèle de 1 M de paramètres (OLMo-2-1B). L'évaluation se concentre sur deux compromis principaux :

Compromis Apprentissage-Oubli : L'équilibre entre l'acquisition de nouvelles capacités (perte de fine-tuning) et le maintien des capacités préentraînées (perte de préentraînement après fine-tuning).
Compromis Compression-Oubli : La dégradation des capacités lorsque le modèle est compressé par quantification (par exemple, 4 bits).

Les auteurs analysent également l'Hessienne pour vérifier si ces méthodes réduisent effectivement la netteté directionnelle le long de la direction de fine-tuning et si l'approximation de Taylor du second ordre de la perte vaut pour les perturbations de fine-tuning.

Contributions et Résultats Clés

1. Amélioration du Compromis Apprentissage-Oubli

Sur plus de 80 exécutions de préentraînement et 3 500 expériences de fine-tuning, les auteurs constatent que les interventions sensibles à la netteté améliorent systématiquement le compromis apprentissage-oubli :

Performance SAM : Les modèles préentraînés avec SAM atteignent une frontière de Pareto supérieure par rapport à AdamW standard. Par exemple, sur le jeu de données StarCoder, SAM réduit l'oubli de 80 % pour une perte de fine-tuning équivalente.
Effets de Mise à l'Échelle : L'avantage de SAM sur AdamW augmente à mesure que le budget de tokens de préentraînement s'accroît. Alors que les points de contrôle AdamW deviennent de plus en plus sensibles avec plus d'entraînement (surapprentissage catastrophique), SAM atténue ce phénomène, montrant les bénéfices les plus forts dans les régimes à haut nombre de tokens.
Taille du Modèle : Les bénéfices persistent et augmentent même avec l'échelle du modèle (de 20 M à 150 M paramètres) lors du contrôle des ratios tokens-par-paramètre.

2. Robustesse au-delà du Fine-Tuning

La robustesse conférée par le préentraînement sensible à la netteté s'étend à d'autres perturbations en aval :

Quantification : Les modèles entraînés avec SAM présentent une dégradation des performances nettement moindre sous une quantification 4 bits. Dans les régimes à budget de tokens élevé, SAM génère 2 à 3 fois moins d'augmentation de perte induite par la quantification par rapport à la référence.
Perturbations Gaussiennes : Les modèles entraînés avec SAM sont moins sensibles au bruit gaussien isotrope ajouté aux poids, indiquant une géométrie locale plus robuste.

3. Méthodes Implicites et Évolutivité Pratique

Dynamique du Taux d'Apprentissage : Des taux d'apprentissage de crête plus élevés et des périodes de recuit plus courtes améliorent le compromis apprentissage-oubli, même lorsqu'ils entraînent une perte de préentraînement du modèle de base légèrement plus mauvaise.
Intervention en Cours d'Entraînement : Pour répondre au coût computationnel de SAM (qui double approximativement le calcul par étape), les auteurs proposent d'appliquer SAM uniquement pendant la phase de recuit du taux d'apprentissage.
- Dans des expériences sur OLMo-2-1B, l'application de SAM uniquement lors des 10 % finaux de l'entraînement (mi-entraînement) a réduit l'oubli de 31 % après un post-entraînement MetaMath et de 40 % après une quantification 4 bits, par rapport à la référence standard. Cette approche capture la majeure partie du bénéfice avec un calcul supplémentaire négligeable.

4. Analyse de l'Hessienne

L'article valide son intuition théorique en analysant l'Hessienne :

Approximation Quadratique : Le développement de Taylor du second ordre de la perte sert de borne supérieure raisonnable pour l'oubli, en particulier pour les modèles entraînés avec SAM.
Netteté Directionnelle : Tant SAM que des taux d'apprentissage de crête plus élevés réduisent explicitement la netteté directionnelle ( $\Delta_{FT}^\top H \Delta_{FT} / \|\Delta_{FT}\|^2$ ) le long de la direction de fine-tuning. La réduction de l'oubli est pilotée par cet aplatissement du paysage de perte plutôt que par une réduction de la taille de l'étape du fine-tuning.

Importance et Revendications

L'article affirme que la sensibilité des paramètres aux mises à jour post-entraînement est un lien critique, mais négligé, entre la dynamique de préentraînement et les performances en aval. Les auteurs soutiennent que la pratique standard d'optimisation uniquement pour la qualité du modèle de base est insuffisante.

Les revendications clés incluent :

Redéfinition des Objectifs de Préentraînement : Les recettes de préentraînement devraient être sélectionnées à la fois pour la qualité du modèle de base et pour une faible sensibilité aux décalages de paramètres en aval.
Optimisation pour le Pipeline : Le préentraînement des modèles de langage devrait être optimisé pour l'ensemble du pipeline de développement de modèles (incluant le fine-tuning, l'alignement et la compression) plutôt que pour le point de contrôle de base de manière isolée.
Impact Pratique : Les praticiens peuvent obtenir des bénéfices significatifs en robustesse en déployant des techniques sensibles à la netteté (comme SAM) de manière sélective lors de la phase tardive de l'entraînement (recuit) plutôt que tout au long du processus de préentraînement, rendant l'approche évolutive.

Les auteurs concluent que traiter l'adaptabilité et la faible sensibilité comme des critères d'évaluation de premier ordre peut rendre les modèles préentraînés de meilleurs points de départ pour les futures modifications, même si le modèle de base lui-même apparaît légèrement plus faible selon les métriques traditionnelles de perte de préentraînement.