🤖 machine learning

Super Weights in LLMs and the Failure of Selective Training

Cet article démontre que le concept de « Super Poids » ne se généralise pas à tous les LLM et que tenter d'entraîner ces paramètres critiques identifiés individuellement de manière isolée provoque un échec de performance catastrophique, prouvant ainsi qu'un ajustement fin efficace repose sur des décompositions structurées à l'échelle des couches plutôt que sur le ciblage de poids spécifiques à haute importance.

Auteurs originaux : Shreyas Subramanian, Adewale Akinfaderin, Akarsha Sehwag

Publié 2026-07-10

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shreyas Subramanian, Adewale Akinfaderin, Akarsha Sehwag

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un cerveau de robot géant et super intelligent (un grand modèle de langage) qui a déjà appris à lire, écrire et raisonner. Récemment, des scientifiques ont découvert quelques « boutons magiques » à l'intérieur de ce cerveau. Ils les ont appelés les Super Poids (Super Weights).

Voici le truc de dingue : si vous supprimez simplement l'un de ces boutons magiques, le cerveau du robot devient complètement incontrôlable. Ses performances chutent tellement qu'on dirait qu'il a oublié comment parler. Ce fut si choquant que tout le monde a supposé que ces boutons étaient les parties les plus importantes du cerveau.

Une question naturelle s'est alors posée : Si ces boutons sont si importants, que se passe-t-il si nous n'entraînons que ceux-là ?

L'idée était la suivante : « Gelons le reste du cerveau et laissons seulement ces Super Poids apprendre de nouvelles choses. Puisqu'ils sont les « stars », ils devraient être capables de corriger les erreurs du robot tout seuls, n'est-ce pas ? »

La réponse est un NON catégorique et retentissant.

En fait, l'article montre que tenter d'entraîner uniquement ces Super Poids est un désastre. C'est comme essayer de réparer le moteur d'une voiture en ne tournant que le volant. Peu importe vos efforts, la voiture n'avancera pas.

L'expérience des « Boutons Magiques »

Les chercheurs ont pris deux versions d'un modèle appelé OLMo (une avec 1 milliard de paramètres et une autre avec 7 milliards). Ils ont essayé d'apprendre au modèle une nouvelle tâche (répondre à des questions à choix multiples) en ne mettant à jour que les Super Poids.

Ils ont testé différentes quantités de boutons :

Ils ont entraîné seulement 100 Super Poids.
Ils en ont testé 1 000.
Ils ont même essayé avec 8 192 (soit 81 fois plus que le premier essai).

Le résultat ? La précision du modèle est tombée au niveau d'un choix aléatoire.

Pour le modèle de 1 milliard, il a obtenu environ 25 % de bonnes réponses (ce qui correspond à un choix au hasard sur une question à 4 choix).
Pour le modèle de 7 milliards, il est également descendu autour de 25–26 %.

Même en essayant d'être « gentils » en entraînant les Super Poids plus leurs voisins immédiats (un petit « voisinage » d'environ 36 000 paramètres), cela a quand même échoué. Le modèle n'arrivait tout simplement pas à apprendre.

Le rebondissement : « Ce ne sont pas les boutons, c'est la stratégie »

Vous pourriez vous dire : « D'accord, le problème est peut-être qu'ils n'entraînaient qu'un ensemble minuscule et éparpillé de boutons. Peut-être que si on entraînait n'importe quel petit ensemble de boutons, cela échouerait aussi. »

L'article dit : Non, ce n'est pas ça non plus.

Pour prouver cela, les chercheurs ont réalisé un test de contrôle astucieux. Ils ont choisi le même nombre de boutons (4 096), mais au lieu de choisir les boutons « Super », ils ont choisi des boutons aléatoires dans la même partie du cerveau.

Résultat : Le modèle s'est en fait amélioré ! Il a obtenu 64,18 % (dépassant la base de référence de 60,65 %).

Cela prouve que l'échec n'était pas dû au fait qu'ils entraînaient trop peu de paramètres. L'échec était spécifiquement dû au fait qu'ils ciblaient les Super Poids. Ces coordonnées spécifiques sont cassées pour un entraînement isolé.

Pourquoi échouent-ils ? L'analogie de l'amplificateur

Considérez les Super Poids comme des énormes boutons de volume dans un système de sonorisation. Ils sont tournés si haut qu'ils amplifient le signal de façon massive.

Si vous les supprimez : Le système de sonorisation devient silencieux (le modèle se brasse).
Si vous essayez de les ajuster seuls : C'est un cauchemar. Parce qu'ils sont déjà très forts, la moindre petite modification envoie le volume dans la stratosphère, provoquant des boucles de rétroaction et de la distorsion. Le système devient instable et plante.

L'article suggère que lorsque vous essayez d'entraîner ces boutons de manière isolée, les mathématiques deviennent incontrôlables. La « courbure » (la pente de la colline d'apprentissage) à ces endroits est si énorme que l'optimiseur (ce qui fait l'apprentissage) est confus et le modèle s'effondre.

Le vrai héros : LoRA

Alors, comment enseigne-t-on réellement de nouvelles choses à ces modèles sans les casser ? L'article pointe vers une méthode appelée LoRA (Low-Rank Adaptation).

Imaginez LoRA non pas comme un mécanicien essayant de réparer des boulons individuels, mais comme un chef d'orchestre dirigeant un orchestre.

Au lieu de toucher directement aux boutons des Super Poids, LoRA ajoute une couche de musique structurée et minuscule avant que le son n'atteigne les boutons.
Il met à jour chaque position dans les couches d'attention (l'« orchestre ») en utilisant une structure de bas rang, mais il n'entraîne qu'environ 0,16 % des paramètres totaux.
Le Résultat : Le modèle apprend parfaitement !
- Sur le modèle de 1 milliard, il a atteint 66,88 % de précision.
- Sur le modèle de 7 milliards, il a atteint 77,3 % de précision.

Plus cool encore ? Les chercheurs ont essayé de « geler » les parties de LoRA qui correspondaient aux emplacements des Super Poids (pour voir si ces endroits spécifiques étaient le problème). Cela n'avait aucune importance. Le modèle fonctionnait toujours très bien. Cela prouve que la structure de la mise à jour (le chef d'orchestre dirigeant l'ensemble de l'orchestre) est ce qui compte, et non l'emplacement spécifique des boutons.

Qu'en est-il de la « magie » de l'article original ?

L'article a également vérifié la découverte originale des Super Poids. L'étude précédente les avait trouvés en regardant un seul exemple. Le nouvel article en a vérifié 1 000.

Il a constaté que 9 boutons spécifiques étaient critiques dans 100 % des cas.
Cela confirme que les Super Poids sont des parties structurelles réelles du cerveau, et non de simples coups de chance liés à une question spécifique.

L'essentiel à retenir

L'article délivre un message clair : Ce n'est pas parce qu'une partie du cerveau est importante que vous pouvez l'entraîner seule.

Supprimer les Super Poids casse le modèle.
Entraîner les Super Poids seuls casse le modèle.
Entraîner un ensemble aléatoire de petites parties fonctionne assez bien.
Entraîner l'ensemble du système avec une approche structurée de bas rang (LoRA) fonctionne le mieux.

Il s'avère que la « magie » de ces modèles ne réside pas dans quelques boutons spéciaux que l'on peut ajuster. C'est dans le travail conjoint de tout le réseau. Vous ne pouvez pas simplement réparer le moteur en tournant une vis ; vous devez accorder toute la machine en harmonie.

Résumé technique : Les « Super Poids » dans les LLM et l'échec de l'entraînement sélectif

Énoncé du problème

Des recherches récentes (Yu et al., 2025) ont identifié des « Super Poids » (Super Weights) — des paramètres scalaires individuels dans les grands modèles de langage (LLM) dont la suppression provoque une dégradation des performances de plusieurs ordres de grandeur. Cette découverte a suggéré l'hypothèse suivante : si certains paramètres sont si critiques, alors les stratégies de fine-tuning qui ciblent et mettent à jour délibérément uniquement ces paramètres « importants » devraient être extrêmement efficaces, surpassant potentiellement les méthodes qui mettent à jour des sous-ensembles de paramètres aléatoires ou distribués.

Cet article remet en question cette hypothèse. Il examine si l'importance d'un paramètre (telle que définie par l'échec catastrophique lors de sa suppression) implique la capacité d'entraînement de ce paramètre de manière isolée. Les auteurs testent si l'entraînement des seuls Super Poids, ou de leurs voisinages locaux immédiats, peut adapter avec succès un modèle, ou si un entraînement aussi parcimonieux et spécifique aux coordonnées mène à un échec catastrophique.

Méthodologie

Les auteurs ont mené une suite complète d'expériences sur OLMo-1B et OLMo-7B, avec une réplication de l'élagage (pruning) sur 10 familles de modèles différentes (incluant des variantes de Llama, Phi, Mistral et Gemma).

1. Validation de la cohérence des Super Poids

Des travaux antérieurs ont identifié les Super Poids via une passe directe (forward pass). Les auteurs ont validé que ces poids sont des propriétés structurelles du modèle plutôt que des artefacts spécifiques aux entrées, en exécutant 1 000 échantillons aléatoires de WikiText-2. Ils ont constaté que 9 positions de poids spécifiques produisaient systématiquement les pics d'activation les plus importants sur 100 % des entrées, confirmant leur stabilité structurelle.

2. Réplication de l'élagage

Les auteurs ont répliqué les expériences d'élagage de Yu et al. (2025) sur plusieurs architectures. Ils ont mis à zéro les coordonnées des Super Poids identifiés et mesuré l'impact sur la perplexité et la précision (ARC-Easy, Winogrande). Ils ont également testé si un simple classement basé sur la magnitude pouvait identifier les Super Poids dans des modèles non couverts par l'article original.

3. Expériences d'entraînement sélectif

Le cœur de l'étude consistait à entraîner des sous-ensembles isolés de paramètres tout en gelant le reste :

Entraînement direct des Super Poids : Entraînement uniquement des $k$ meilleurs Super Poids ( $k \in \{100, 1000, 4096, 8192\}$ ).
Entraînement de voisinage : Entraînement des Super Poids plus tous les paramètres dans un rayon de 1 (formant des patchs de $3 \times 3$ ), augmentant le nombre de paramètres entraînables jusqu'à environ 36 864.
Contrôle aléatoire : Entraînement d'un nombre égal de positions choisies aléatoirement dans les mêmes couches (down proj), excluant les coordonnées des Super Poids, pour isoler l'effet de la parcimonie versus la sélection de coordonnées.
Variantes LoRA :
- LoRA Vanilla : Adaptation de bas rang standard sur les couches d'attention.
- LoRA-dproj-SW-freeze : Restriction des mises à jour LoRA aux positions d'attention dont les indices correspondent aux coordonnées des Super Poids dans les couches de projection descendante (MLP).
- LoRA- $\Delta W$ -SW-freeze : Gel des 1 000 positions de plus grande magnitude au sein de la matrice de mise à jour LoRA ( $\Delta W$ ) elle-même.

4. Analyse théorique

Les auteurs ont fourni des arguments théoriques concernant :

Dimensionnalité intrinsèque : Les mises à jour parcimonieuses alignées sur les coordonnées ne capturent qu'une fraction infime ( $k/N$ ) de l'espace de sous-dimensionnement (subspace) du fine-tuning par rapport aux décompositions de bas rang.
Dynamique de l'optimiseur : Les optimiseurs adaptatifs suppriment implicitement les mises à jour aux positions des Super Poids en raison de la courbure ( $M^2$ fois plus grande, où $M$ est le rapport d'amplification de l'activation) au niveau de ces emplacements aberrants (outliers).

Résultats clés

1. Échec de l'entraînement isolé des Super Poids

L'entraînement des Super Poids de manière isolée a entraîné un effondrement complet des performances, faisant chuter la précision au niveau du choix aléatoire (~25 % pour ARC-Easy à 4 choix, ~50 % pour Winogrande à 2 choix) sur OLMo-1B et OLMo-7B.

L'augmentation du nombre de paramètres entraînés de 100 à 8 192 n'a apporté aucune amélioration.
L'extension aux voisinages locaux (jusqu'à 36 864 paramètres) a également échoué à restaurer les performances.
La perte d'entraînement (training loss) a diminué pendant l'optimisation, mais la perplexité de validation a explosé, indiquant un surapprentissage (overfitting) sur les données d'entraînement sans généralisation.

2. Spécificité de l'échec

L'échec est spécifique aux coordonnées des Super Poids, et non à la parcimonie ou au type de module :

Contrôle aléatoire : L'entraînement d'un nombre égal de positions choisies aléatoirement dans les mêmes couches de projection descendante a amélioré la précision par rapport à la ligne de base (64,18 % contre 60,65 % pour OLMo-1B).
Contrôle de bas rang : L'application d'une mise à jour de bas rang de rang 8 à la couche de projection descendante a également réussi (68,77 %).
Conclusion : L'effondrement est causé par le ciblage des coordonnées spécifiques des Super Poids, ce qui brise la structure relationnelle sur laquelle le modèle pré-entraîné repose.

3. Robustesse de LoRA

LoRA Vanilla a réussi avec 0,16 % des paramètres, atteignant 66,88 % (OLMo-1B) et 77,3 % (OLMo-7B).
Restrictions positionnelles : Le gel des positions de mise à jour de l'attention correspondant aux coordonnées des Super Poids (LoRA-dproj-SW-freeze) n'a eu aucun effet mesurable sur la performance. Une ablation sur 10 graines (seeds) a confirmé des résultats statistiquement indiscernables ( $p > 0,05$ ) entre le LoRA vanilla et la variante restreinte.
Criticité interne de LoRA : Le gel des positions de plus grande magnitude au sein de la matrice de mise à jour LoRA ( $\Delta W$ ) n'a également eu aucun effet, contrastant avec l'échec catastrophique du gel des Super Poids du modèle de base.

4. Généralisation de l'élagage

Bien que l'élagage des Super Poids ait causé une dégradation catastrophique dans OLMo, Phi-3, Mistral et Llama-3-8B (en utilisant les coordonnées originales), l'identification par simple magnitude a échoué à identifier les poids critiques dans d'autres modèles (ex: Llama-3.1, Qwen2.5, Gemma-2). Cela suggère que les Super Poids sont des outliers d'activation spécifiques à chaque famille de modèles, et non définis universellement par la magnitude seule.

Signification et affirmations

L'article établit que l'importance d'un paramètre n'implique pas sa capacité d'entraînement de manière isolée. Les auteurs soutiennent que :

Structurel vs Entraînable : Les Super Poids agissent comme des amplificateurs à gain élevé fixes. Modifier ces poids de manière isolée brise la structure coordonnée du réseau. Un fine-tuning efficace nécessite de mettre à jour les représentations qui alimentent ces poids (via les couches d'attention dans LoRA) plutôt que les poids eux-mêmes.
Coordination plutôt que Parcimonie : Le succès du PEFT repose sur des décompositions structurées sur l'ensemble des couches (comme la structure de bas rang de LoRA) plutôt que sur le ciblage de poids individuellement importants. LoRA réussit car sa factorisation de bas rang coordonne les mises à jour à travers toute la couche, préservant la structure relationnelle, là où l'entraînement parcimonieux isole les paramètres et perturbe ces dépendances.
Dynamique de l'optimiseur : L'analyse théorique suggère que les optimiseurs adaptatifs protègent implicitement les Super Poids en supprimant les mises à jour dues à une courbure élevée. L'entraînement explicite de ces positions outrepasse cette protection, menant à l'instabilité et à l'effondrement.

Les auteurs concluent que les futures méthodes de PEFT devraient tirer leur efficacité de décompositions structurées à l'échelle de la couche plutôt que de tenter d'identifier et de mettre à jour des paramètres « critiques » individuels.