💬 NLP

Super-Tuning: From Activation-Aware Pruning to Sparse Fine-Tuning

Ce document propose Super et Supra, des méthodes de réglage fin efficace en paramètres par parcimonie qui exploitent des signaux d'élagage sensibles à l'activation pour sélectionner des paramètres entraînables fixes, démontrant que la combinaison de ces supports parcimonieux avec des adaptateurs de faible rang comme LoRA permet d'atteindre une précision de réglage fin de modèles de langage de grande taille supérieure aux configurations existantes.

Auteurs originaux : Ivan Ilin, Philip Zmushko, Peter Richtárik

Publié 2026-07-13

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ivan Ilin, Philip Zmushko, Peter Richtárik

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un cerveau de robot géant et super intelligent (un Grand Modèle de Langage) qui sait presque tout. Mais il est si énorme et lourd que vous ne pouvez pas simplement le transporter avec vous pour lui apprendre un nouveau tour, comme résoudre des problèmes de mathématiques. Habituellement, pour lui apprendre quelque chose de nouveau, vous devriez ajuster chacun de ses milliards de minuscules engrenages. Cela prend un temps infini, coûte une fortune en électricité et nécessite un ordinateur de la taille d'une petite maison.

Entrez en scène Super-Tuning, une nouvelle façon d'enseigner à ces cerveaux géants qui ressemble à l'utilisation d'un « projecteur » plutôt qu'à celle d'une « masse ».

Le Problème : Pourquoi ne pas tout réparer ?

Considérez le cerveau du robot comme une immense bibliothèque avec des milliards de livres. Si vous voulez lui apprendre un nouveau tour de mathématiques, l'ancienne méthode (le Fine-Tuning Complet) revient à réécrire chaque livre de la bibliothèque. C'est épuisant et coûteux.

Pour gagner du temps, les scientifiques ont inventé le PEFT (Fine-Tuning à Paramètres Efficients). C'est comme dire : « Réécrivons seulement quelques post-it sur quelques pages au lieu de réécrire toute la bibliothèque. » La méthode des post-it la plus célèbre s'appelle LoRA, qui ajoute une petite couche de notes flexibles aux livres. Cela fonctionne bien, mais les auteurs de cet article se sont demandé : Pouvons-nous faire encore mieux en étant plus sélectifs sur les pages qui recevront les post-it ?

La Grande Idée : La stratégie du « Projecteur »

Les auteurs, Ivan, Philip et Peter, ont posé une question intelligente : « Et si nous utilisions les mêmes indices qui nous disent quelles parties du cerveau sont inutiles (l'élagage ou pruning) pour déterminer quelles parties sont les plus utiles à ajuster ? »

Ils ont proposé deux nouvelles méthodes : Super et Supra.

1. Super : La stratégie du « Coin Calme »

Imaginez que vous parcourez la bibliothèque et que vous regardez la quantité de poussière sur chaque livre et la fréquence à laquelle les gens le touchent.

L'ancienne méthode (Élagage/Pruning) : Généralement, les gens jettent les livres poussiéreux et rarement touchés parce qu'ils pensent que ces livres n'ont pas d'importance.
La méthode Super : Les auteurs ont réalisé que ces livres poussiéreux et rarement touchés sont peut-être l'endroit parfait pour écrire de nouvelles notes de mathématiques ! Pourquoi ? Parce que modifier un livre que personne ne lit ne cassera pas l'histoire principale de la bibliothèque, mais cela pourrait être l'endroit idéal pour ajouter un nouveau tour de mathématiques.

Ils ont utilisé un « compteur de poussière » spécial (appelé score Wanda) qui examine deux choses :

À quel point le livre est « lourd » (son poids).
À quel point il est secoué par le vent (l'activation lors d'un test rapide).

Au lieu de choisir les livres les plus actifs, Super choisit les plus calmes (le « BottomK » ou les scores les plus bas) pour être les seuls autorisés à apprendre. C'est comme dire : « Laissons seulement les pages les plus calmes et les plus poussiéreuses de la bibliothèque recevoir les nouveaux post-it. »

Le Résultat : Dans leurs tests de mathématiques, cette stratégie du « coin calme » a fonctionné de manière surprenante. Sur un modèle de 1 milliard de paramètres, il a obtenu une précision moyenne de 55,46 %, ce qui est meilleur que de choisir des pages au hasard, bien que légèrement inférieur à la méthode LoRA standard (qui a atteint 61,07 %).

2. Supra : Le « Power-Up » Hybride

Les auteurs ont ensuite demandé : « Et si nous combinions la stratégie du "coin calme" avec les "post-it" standards (LoRA) ? »

Rencontrez Supra. Imaginez que vous avez un budget de 5,6 millions de « jetons d'apprentissage » (pour le petit modèle) ou 21,0 millions (pour le plus gros).

Supra divise ce budget. Il utilise une partie des jetons pour ajuster les « pages calmes et poussiéreuses » (la partie Super) et le reste pour ajouter les « post-it » flexibles (la partie LoRA).
Ils ont testé différents partages. Pour le plus petit modèle, le meilleur mélange était de 80 % du budget sur les « pages calmes » et 20 % sur les post-it. Cette combinaison (Supra) a atteint une précision moyenne de 62,23 %, battant la méthode LoRA standard de 1,16 point de pourcentage.

Pour le modèle plus gros de 8 milliards de paramètres, les résultats étaient un peu différents. La meilleure performance est venue d'une version qui utilisait simplement les « pages calmes » basées sur la taille des poids (en ignorant le compteur de poussière), atteignant 79,12 % de précision. Cela suggère que pour les modèles plus grands, choisir simplement les pages les plus « légères » pourrait suffire, et que l'ajout du complexe « compteur de poussière » n'aide pas toujours.

Ce qu'ils ont écarté (Les zones d'exclusion)

Le papier est très prudent sur ce qu'il ne prétend pas :

Ce n'est pas de la magie : Ils précisent explicitement que leur méthode n'est pas une « percée » qui résout tout. C'est juste une nouvelle façon de choisir quels engrenages tourner.
Pas de choix « Top » : Ils ont essayé de choisir les pages les plus actives (TopK), mais cela a généralement moins bien performé que de choisir les plus calmes (BottomK). L'idée selon laquelle « les livres les plus bruyants sont les meilleurs à modifier » a donc été écartée dans leurs expériences.
Pas de changements « Dynamiques » : Leur méthode choisit les pages une seule fois avant le début de l'entraînement et ne les change jamais. Ils admettent qu'une méthode capable de changer d'avis et de choisir différentes pages pendant l'apprentissage pourrait être meilleure, mais ils ne l'ont pas testée.
Pas une garantie : Les résultats sont basés sur une seule « graine » (un point de départ aléatoire spécifique). Les auteurs suggèrent que les résultats sont prometteurs mais admettent qu'ils n'ont pas prouvé que cela fonctionne 100 % du temps dans tous les scénarios possibles.

À quel point sont-ils sûrs ?

Les auteurs sont mesurés et prudents. Ils disent que leurs résultats « suggèrent » que des idées simples inspirées de l'élagage peuvent bien fonctionner. Ils ne prétendent pas avoir « résolu » le problème du fine-tuning.

Ils ont prouvé (mesuré) que sur des tests de mathématiques spécifiques (comme Math17K), leur méthode hybride (Supra) a obtenu la précision moyenne la plus élevée parmi les configurations testées pour le modèle 1B.
Ils ont mesuré que pour le modèle 8B, une approche simple de « magnitude uniquement » (regardant seulement la taille des poids) était tout aussi efficace que leur approche plus complexe de « compteur de poussière ».
Ils ont simulé l'efficacité et ont trouvé que, bien que leur méthode économise de l'espace sur les « post-it » (taille du checkpoint), elle ne rend pas nécessairement l'entraînement plus rapide sur les ordinateurs actuels car l'ordinateur doit toujours effectuer une partie du travail lourd en arrière-plan.

Ce qu'il faut retenir

Considérez le Super-Tuning comme un bibliothécaire ingénieux qui réalise que pour enseigner un nouveau tour de mathématiques à un cerveau géant, il n'est pas nécessaire de crier dans toute la bibliothèque. Il suffit de chuchoter dans les coins les plus calmes et les plus poussiéreux. Parfois, mélanger ce chuchotement avec quelques post-it standards (Supra) donne les meilleurs résultats.

C'est une astuce simple et peu coûteuse qui suggère que nous avons peut-être regardé les mauvaises parties du cerveau jusqu'à présent. Mais, comme les auteurs le préviennent, ce n'est que le début, et nous devons tester davantage pour être certains que cela fonctionne partout.

Résumé technique : Super-Tuning : De l'élagage sensible à l'activation au fine-tuning parcimonieux

Problématique

Le réglage fin (fine-tuning) des grands modèles de langage (LLM) est coûteux en termes de calcul en raison des exigences de mémoire, de calcul et de stockage associées aux mises à jour complètes des paramètres. Bien que les méthodes de réglage fin efficace en paramètres (PEFT) comme LoRA (Low-Rank Adaptation) aient atténué ces coûts en ne mettant à jour qu'une petite fraction des paramètres, il est nécessaire de développer des méthodes capables d'optimiser davantage les stratégies d'adaptation. Plus précisément, l'article examine si les signaux de saillance initialement développés pour l'élagage (identification des poids à supprimer) peuvent être réutilisés pour identifier où le modèle doit s'adapter lors du réglage fin. L'objectif est de déterminer si des métriques d'ordonnancement simples, sans entraînement, peuvent fournir des supports parcimoneux fixes efficaces pour le PEFT, potentiellement en combinaison avec des adaptateurs de bas rang (low-rank adapters).

Méthodologie

L'article présente deux méthodes principales : Super et Supra.

1. Super : Fine-tuning parcimonieux via un ordonnancement sensible à l'activation

Super est une méthode de PEFT parcimonieuse qui sélectionne un sous-ensemble fixe et restreint de poids à mettre à jour, sans nécessiter de calculs de gradients ou d'étapes d'entraînement supplémentaires pour la sélection des poids.

Métrique de score : Il utilise un score de magnitude pondéré par l'activation de type Wanda. Pour un poids $W_{ij}$ , le score est calculé comme $A_{ij} = |W_{ij}| \cdot \|X_{j:}\|_2$ , où $X_{j:}$ est le vecteur d'activation d'entrée pour la colonne correspondante, dérivé d'un seul passage de calibration à travers un petit jeu de données (par exemple, C4).
Stratégie de sélection : La méthode aplatit ces scores au sein de chaque couche et sélectionne un support parcimonieux fixe basé sur un budget de paramètres cible. L'article explore deux régimes :
- TopK : Sélection des poids ayant les scores les plus élevés.
- BottomK : Sélection des poids ayant les scores les plus bas.
Entraînement : Une fois le masque généré, seuls les poids sélectionnés sont mis à jour (initialisés à un delta nul), tandis que le reste du modèle demeure gelé.
Baseline : Les auteurs implémentent également une baseline de type PaFi basée uniquement sur la magnitude (utilisant $|W_{ij}|$ sans pondération par l'activation) pour isoler l'effet de la pondération par l'activation de l'a priori de la magnitude pré-entraînée.

2. Supra : Hybridation de l'adaptation parcimonieuse et de bas rang

Supra est une stratégie hybride qui combine les mises à jour parcimonieuses de Super avec LoRA.

Architecture : La matrice de poids adaptée est définie par $\tilde{W} = W + (M \odot U) + \gamma LR$ , où $M \odot U$ représente la mise à jour parcimonieuse sur un support fixe $M$ , et $LR$ représente la mise à jour LoRA de bas rang.
Allocation du budget : La méthode opère sous un budget strict de paramètres scalaires correspondants. Une fraction $\lambda$ du budget est allouée à la composante de bas rang, et le reste à la composante parcimonieuse.
Conversion de rang : Une règle simple et transparente convertit la fraction de budget $\lambda$ en un rang LoRA $r_i$ pour chaque couche : $r_i = \lfloor \lambda T_i / (c_i + b_i) \rfloor$ , où $T_i$ est le budget de la couche. Cela évite l'allocation de rang adaptative ou apprise.

Contributions clés

Super : Une méthode de fine-tuning parcimonieux qui ne met à jour qu'un petit ensemble de poids sélectionnés via un score de magnitude pondéré par l'activation (de type Wanda) et sans entraînement. Elle démontre que de tels scores peuvent définir des supports parcimoneux fixes utiles sans statistiques de gradient.
Supra : Une stratégie de PEFT hybride qui intègre les mises à jour parcimonieuses sélectionnées par Wanda avec LoRA sous un budget explicite de paramètres scalaires correspondants.
Évaluation par correspondance de budget : Les auteurs introduisent une règle de conversion de budget transparente pour comparer équitablement les méthodes parcimonieuses, de bas rang et hybrides en garantissant qu'elles utilisent le même nombre de paramètres scalaires entraînables.
Validation empirique : L'article évalue ces méthodes par rapport à LoRA, SIFT, RoSA et des supports parcimoneux aléatoires sur des tâches de raisonnement arithmétique en utilisant Llama-3.2-1B et Meta-Llama-3-8B.

Résultats expérimentaux

Les expériences ont été menées sur le jeu de données Math17K, évaluant la performance sur six benchmarks arithmétiques (AddSub, MultiArith, SingleEq, GSM8K, AQuA, SVAMP) sous un budget équivalent à un rang $r_0 = 8$ .

Llama-3.2-1B (Modèle de 1B) :
- La meilleure configuration est Supra (BottomK, $\lambda=0.8$ ), atteignant une précision moyenne de 62,23 %.
- Elle surpasse la meilleure baseline externe, LoRA (61,07 %), de 1,16 point de pourcentage.
- La méthode Super (BottomK) seule (parcimonieuse) atteint 55,46 %, performant en dessous de LoRA mais mieux que les variantes TopK.
Meta-Llama-3-8B (Modèle de 8B) :
- Le meilleur résultat est obtenu par Supra-Mag (BottomK, $\lambda=0.3$ ), qui utilise une sélection basée uniquement sur la magnitude, atteignant une précision moyenne de 79,12 %.
- Ce résultat est presque à égalité avec la baseline parcimonieuse basée uniquement sur la magnitude (79,02 %) et surpasse la variante la plus forte de Supra basée sur Wanda (78,66 %) ainsi que les baselines externes comme SIFT (RandK) et LoRA.
- Notamment, sur le modèle 8B, l'approche basée uniquement sur la magnitude (type PaFi) s'est avérée très efficace, suggérant que les supports de poids pré-entraînés à faible score sont robustes même sans pondération par l'activation dans ce contexte spécifique.
Efficacité : Les mesures au niveau de l'implémentation indiquent que, bien que les méthodes parcimonieuses réduisent la taille des checkpoints et le stockage de l'état de l'optimiseur, elles ne procurent pas nécessairement de gain de vitesse (wall-clock speedup) dans les implémentations actuelles en raison de la nature dense des multiplications de matrices et des calculs de gradients pour les entrées sélectionnées. Cependant, elles offrent des économies de stockage significatives.

Signification et affirmations

L'article affirme que des ordonnancements simples, inspirés de l'élagage, peuvent fournir des supports parcimoneux fixes utiles pour le PEFT, particulièrement lorsqu'ils sont combinés avec des adaptateurs de bas rang.

Réutilisation des signaux d'élagage : Le travail démontre que les métriques de saillance conçues pour supprimer des poids (comme Wanda) peuvent identifier efficacement les poids qui sont sûrs et efficaces pour l'entraîner pour l'adaptation, surtout en sélectionnant les poids à score le plus bas (BottomK).
Complémentarité : Les résultats suggèrent que les adaptations parcimonieuses et de bas rang sont complémentaires. Combiner un support parcimonieux fixe (sélectionné via un passage de calibration peu coûteux) avec LoRA peut produire une performance qui égale ou dépasse les standards du PEFT sous le même budget de paramètres.
Sélection sans entraînement : Un avantage clé souligné est que ces méthodes ne nécessitent pas de calculs de gradients ou de multiples phases d'entraînement pour déterminer le masque d'adaptation, s'appuyant plutôt sur un seul passage de calibration ou sur les magnitudes des poids pré-entraînés.

Les auteurs maintiennent un ton modeste, notant que les résultats sont basés sur des expériences à graine unique et des tâches spécifiques de raisonnement arithmétique. Ils reconnaissent que la préférence pour le "BottomK" est un constat empirique dans leur cadre plutôt qu'une règle universelle, et que les gains d'efficacité de l'implémentation actuelle concernent principalement le stockage plutôt que la vitesse d'exécution.