🤖 machine learning

Finding Sparse Subnetworks in One Training Cycle via Progressive Magnitude-Based Pruning

Cet article propose et valide une méthode à cycle d'entraînement unique appelée élagage progressif basé sur la magnitude, qui augmente progressivement la parcimonie pendant l'entraînement et démontre une précision supérieure à des niveaux de parcimonie élevés par rapport aux bases itératives et basées sur l'initialisation comme l'Hypothèse du Ticket de Loterie, SNIP et GraSP.

Auteurs originaux : Romana Qureshi, Hafida Benhidour, Said Kerrache, Nahlah Aljeraisy

Publié 2026-06-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Romana Qureshi, Hafida Benhidour, Said Kerrache, Nahlah Aljeraisy

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un étudiant massif et trop enthousiaste qui essaie d'apprendre un sujet. Cet étudiant possède un cerveau rempli de milliards de connexions, mais beaucoup d'entre elles ne sont que du « bruit » — elles ne l'aident pas réellement à résoudre le problème. En fait, avoir trop de connexions rend l'étudiant lent, maladroit et difficile à transporter (comme essayer de faire entrer une bibliothèque géante dans un sac à dos).

Ce document traite d'une nouvelle façon efficace d'apprendre à cet étudiant comment être intelligent mais petit, le tout en une seule année scolaire, plutôt que de lui faire répéter toute l'année encore et encore.

Voici la décomposition de leur approche en utilisant des analogies simples :

Le Problème : Le « Ticket de Loterie » est trop coûteux

Les scientifiques ont découvert précédemment quelque chose appelé la « Hypothèse du Ticket de Loterie ». Ils ont découvert qu'à l'intérieur d'un réseau neuronal géant et désordonné (le cerveau de l'étudiant), il existe un minuscule et parfait « ticket gagnant » (un sous-réseau petit et efficace) qui pourrait résoudre le problème aussi bien que le géant.

Cependant, trouver ce ticket gagnant revenait à chercher une aiguille dans une botte de foin en construisant une nouvelle botte de foin, en la vérifiant, en la jetant, puis en construisant une nouvelle botte. L'ancienne méthode nécessitait de :

Entraîner le réseau géant.
Découper les parties faibles.
Réinitialiser les parties restantes pour les remettre comme au tout début.
Recommencer et entraîner à nouveau.
Répéter ce cycle de nombreuses fois.

Cela prenait énormément de temps et de puissance de calcul, ce qui annulait l'intérêt de vouloir rendre le modèle plus petit et plus rapide.

La Solution : Le « Jardinier Progressif »

Les auteurs proposent une nouvelle méthode appelée Élagage Progressif Basé sur la Magnitude. Au lieu de réinitialiser le jardin et de recommencer, ils agissent comme un jardinier qui taille une plante pendant qu'elle pousse.

Voici comment leur méthode en « un seul cycle » fonctionne :

Le Calendrier Linéaire (La Taille Douce) : Imaginez que l'étudiant suit un cours de 200 jours. Au lieu de couper 50 % des connexions au premier jour, les auteurs commencent à en couper un tout petit peu chaque jour. À la fin du cours, ils ont doucement supprimé 90 % des connexions. Cela donne au réseau le temps de s'ajuster et d'apprendre à fonctionner avec moins de connexions, plutôt que de subir le choc d'une coupe massive et soudaine.
La Règle de la Magnitude (Couper le plus Faible) : Comment décident-ils de ce qu'il faut couper ? Ils regardent la « force » (la magnitude) de chaque connexion. Si une connexion est faible (proche de zéro), c'est comme une petite branche qui ne supporte pas beaucoup de poids. Ils coupent d'abord les branches les plus faibles.
Pas de Repousse (La Porte à Sens Unique) : Une fois qu'une connexion est coupée, elle reste coupée. Ils ne la laissent pas repousser. Cela garde le processus simple et garantit que le réseau devient de plus en plus petit, sans jamais redevenir plus grand.
La Vérification « Active » : Ils ne regardent que les connexions qui sont encore en vie pour décider de ce qu'il faut couper ensuite. Ils ignorent celles qui sont déjà mortes (mises à zéro). Cela garantit qu'ils coupent toujours les liens restants les plus faibles.

Les Résultats : Petit mais Puissant

Les auteurs ont testé ce « Jardinier Progressif » sur des tests standards (comme la reconnaissance de chiffres manuscrits ou de petites images) et l'ont comparé aux anciennes méthodes de « réinitialisation et réentraînement ».

Vitesse : Ils l'ont fait en un seul cycle d'entraînement. Pas de réinitialisation, pas de redémarrage.
Performance : Étonnamment, leur méthode en « un coup » était souvent meilleure que les anciennes méthodes qui prenaient de nombreux cycles.
- Sur un test standard (CIFAR-10), leur méthode a obtenu 95,12 % de précision avec un réseau très creux, alors que l'ancienne méthode du « Ticket de Loterie » n'obtenait que 90,5 % avec une parcimonie similaire.
- Même lorsqu'ils ont tout coupé (ne laissant que 2 % des connexions), leur méthode était toujours plus performante que la concurrence.

Le « Point d'Équilibre »

Le document a également analysé jusqu'à quel point ils pouvaient couper avant que l'étudiant ne commence à échouer. Ils ont trouvé un « point d'équilibre » entre 70 % et 85 % de parcimonie (ce qui signifie que 70 à 85 % des connexions ont disparu).

Dans cette plage, la performance de l'étudiant n'a presque pas chuté (moins de 0,1 % de différence par rapport au réseau complet et géant).
C'est comme retirer 8 livres sur 10 d'une bibliothèque, mais l'étudiant peut toujours répondre à toutes les questions aussi bien qu'avant.

L'Essentiel

Ce document affirme que vous n'avez pas besoin de passer par le processus épuisant de « entraîner, couper, réinitialiser, réentraîner » pour trouver un réseau neuronal petit et efficace. Au lieu de cela, vous pouvez simplement tailler progressivement les parties faibles pendant que le réseau apprend, et vous obtiendrez un modèle minuscule, rapide et hautement précis en moitié moins de temps (ou moins).

C'est une façon plus simple et plus rapide de réduire la taille des modèles d'IA sans perdre leur intelligence.

Résumé technique : Trouver des sous-réseaux parcimonieux en un seul cycle d'entraînement via l'élagage progressif basé sur la magnitude

1. Énoncé du problème

Les réseaux de neurones profonds ont atteint un succès remarquable en vision par ordinateur et en traitement du langage naturel, mais ils font face à des défis de déploiement importants dans les environnements à ressources limitées (mobiles, edge, IoT) en raison de leurs exigences computationnelles et de mémoire. L'élagage (pruning) des réseaux de neurones offre une solution en supprimant les paramètres les moins importants afin de réduire la taille du modèle tout en préservant les performances prédictives.

Cependant, les paradigmes existants souffrent de limitations spécifiques :

Élagage itératif (ex: Hypothèse du Ticket de Loterie - LTH) : Bien que la LTH démontre l'existence de « tickets gagnants » parcimonieux au sein des réseaux denses, leur recherche nécessite plusieurs cycles d'entraînement complets (entraînement, élagage, réinitialisation des poids à l'initialisation, réentraînement). Cela introduit un surcoût computationnel substantiel qui compromet les objectifs d'efficacité de l'élagage.
Élagage basé sur l'initialisation (ex: SNIP, GraSP) : Ces méthodes élagent avant le début de l'entraînement en se basant sur la sensibilité des connexions ou le flux de gradient. Bien que moins coûteuses en calcul, elles s'engagent dans une structure parcimonieuse fixe avant que l'importance des poids ne puisse évoluer durant l'apprentissage.
Entraînement parcimonieux dynamique : Les méthodes qui permettent à la connectivité de changer via l'élagage et la repousse (regrowth) introduisent une complexité de mise en œuvre et nécessitent un réglage minutieux des programmes de repousse.

Le problème central abordé est l'absence d'une méthode d'élagage efficace en un seul cycle, capable d'identifier des sous-réseaux parcimonieux performants sans le coût computationnel d'un réentraînement itératif ou la rigidité de l'élagage pré-entraînement.

2. Méthodologie

Les auteurs proposent l'Élagage Progressif Basé sur la Magnitude, une méthode qui identifie des sous-réseaux parcimonieux au cours d'un seul cycle d'entraînement en augmentant progressivement la parcimonie.

Mécanisme central

Calendrier de parcimonie linéaire : La méthode emploie un calendrier linéaire pour augmenter la parcimonie d'une valeur initiale ( $s_i$ ) vers une valeur cible ( $s_f$ ) sur une phase d'élagage désignée (époques $t_{start}$ à $t_{end}$ ).
Seuil adaptatif : À chaque époque durant la phase d'élagage, un seuil de magnitude globale ( $\theta_t$ ) est calculé en se basant uniquement sur les poids actuellement actifs (non élagués). Cela garantit que le seuil reflète l'évolution de la distribution des poids plutôt que d'être biaisé par les poids mis à zéro par l'élagage.
Élagage monotone (sans repousse) : La méthode impose une contrainte de monotonie stricte : une fois qu'un poids est élagué, il reste définitivement inactif. Le nouveau masque est l'intersection du masque candidat (basé sur le seuil actuel) et du masque précédent. Cela élimine le besoin de mécanismes complexes de repousse de connexions.
Application de masque à plusieurs étapes : Pour garantir que les poids élagués ne reçoivent pas de mises à jour de gradient et ne dérivent pas de zéro à cause du momentum de l'optimiseur, les masques sont appliqués à trois étapes :
1. Pré-Forward : Mise à zéro des poids avant la passe avant.
2. Masquage de gradient : Mise à zéro des gradients pendant la rétropropagation.
3. Post-Optimiseur : Remise à zéro des poids après l'étape de l'optimiseur pour contrer les effets de momentum.

Phases d'entraînement

Le processus d'entraînement comprend :

Warm-up (Optionnel) : Entraînement sans élagage pour permettre aux magnitudes des poids de se stabiliser.
Élagage progressif : Augmentation graduelle de la parcimonie en utilisant le calendrier linéaire.
Affinage (Fine-tuning) : Entraînement continu à la parcimonie cible pour optimiser l'architecture parcimonieuse finale.

3. Principales contributions

L'article présente quatre contributions principales :

Évaluation systématique : La méthode est évaluée sur des architectures ResNet, de type VGG et LeNet sur CIFAR-10 et MNIST, incluant une validation statistique avec cinq graines aléatoires pour ResNet-18.
Comparaisons directes avec les bases de référence : Les auteurs fournissent des comparaisons directes avec des méthodes d'élagage itératives (LTH) et basées sur l'initialisation (SNIP, GraSP) représentatives, dans des configurations étroitement alignées.
Simplicité et efficacité : L'étude démontre qu'un calendrier de parcimonie linéaire avec un élagage monotone permet d'obtenir de bons résultats sans fonctions de programmation complexes ou mécanismes de repousse de poids.
Analyse du compromis Parcimonie-Précision : Une analyse détaillée à travers sept niveaux de parcimonie (70 % à 95 %) identifie une plage de fonctionnement favorable où la dégradation de la précision est minimale.

4. Résultats expérimentaux

Les expériences ont été menées sur CIFAR-10 et MNIST en utilisant des architectures ResNet-18, VGG-like, VGG-19 et LeNet-300-100.

Performance par rapport aux bases de référence

ResNet-18 (CIFAR-10) : À 72,9 % de parcimonie, la méthode proposée a atteint 95,12 % de précision, surpassant significativement le résultat LTH rapporté de 90,5 %, tout en ne nécessitant qu'un seul cycle d'entraînement.
VGG-like (CIFAR-10) : À 97 % de parcimonie, la méthode a atteint 93,13 % de précision, dépassant le résultat SNIP rapporté d'environ 92,0 %.
VGG-19 (CIFAR-10) : À 97,97 % de parcimonie, la méthode a atteint 93,44 % de précision, surpassant le résultat GraSP rapporté de 92,19 % à 98 % de parcimonie.
LeNet-300-100 (MNIST) : La méthode a surpassé les bases de référence LTH et SNIP à 78,9 % et 98 % de parcimonie respectivement, démontrant une généralisation aux réseaux entièrement connectés.

Compromis Parcimonie-Précision

Plage de fonctionnement : Pour ResNet-18 sur CIFAR-10, la précision reste à moins de 0,1 point de pourcentage de la base dense (95,27 %) pour des niveaux de parcimonie compris entre 70 % et 85 %.
Parcimonie élevée : À 90 % de parcimonie, la précision ne chute que légèrement à 95,06 %. Une dégradation plus notable survient à 95 % de parcimonie (93,86 %).
Efficacité : À 80 % de parcimonie, le modèle conserve 95,24 % de précision (une baisse de 0,03 pp) tout en réduisant les paramètres par 5 (ne conservant que 20 %).

Étude d'ablation

L'étude a confirmé que le critère d'élagage basé sur la magnitude est le facteur le plus critique, car un élagage aléatoire a entraîné une chute de précision de 2,73 %. Bien que le warm-up et l'affinage aient apporté des gains marginaux, le cœur de la méthode est resté compétitif sans eux.

5. Signification et affirmations

L'article affirme que l'élagage progressif basé sur la magnitude offre une alternative pratique en un seul cycle aux paradigmes d'élagage établis. Sa signification réside dans :

Efficacité computationnelle : Elle élimine le besoin de multiples cycles d'entraînement requis par les méthodes itératives comme la LTH.
Adaptabilité : Contrairement aux méthodes basées sur l'initialisation, elle permet au masque d'élagage de s'adapter à mesure que l'importance des poids évolue durant l'entraînement.
Simplicité de mise en œuvre : En évitant la repousse de connexions et les programmations complexes, elle réduit la charge de mise en œuvre par rapport à l'entraînement parcimonieux dynamique.
Robustesse : La méthode atteint des performances compétitives ou supérieures à travers diverses architectures (ResNet, VGG, LeNet) et des niveaux de parcimonie extrêmes (jusqu'à ~98 %).

Les auteurs concluent que, dans les conditions évaluées, cette approche offre une solution équilibrée et efficace pour la sparsification des réseaux de neurones, en faisant une base viable pour un déploiement pratique où les ressources computationnelles sont limitées. L'article reconnaît les limites concernant l'élagage non structuré (qui peut ne pas générer d'accélération matérielle sans support de calcul parcimonieux) et la nécessité de tests futurs sur des ensembles de données plus larges (ex: ImageNet) et des architectures modernes (ex: Transformers).