🤖 machine learning

Neural network relief: a pruning algorithm based on neural activity

Cet article propose un algorithme d'élagage itératif inspiré par la connectivité éparse du cerveau humain, qui utilise une métrique d'importance basée sur l'activité neuronale pour identifier et désactiver les connexions non importantes, atteignant ainsi une compression de paramètres significative tout en maintenant une précision comparable à travers diverses architectures de réseaux de neurones profonds et ensembles de données.

Auteurs originaux : Aleksandr Dekhovich, David M. J. Tax, Marcel H. F. Sluiter, Miguel A. Bessa

Publié 2026-08-03

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Aleksandr Dekhovich, David M. J. Tax, Marcel H. F. Sluiter, Miguel A. Bessa

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un puzzle géant et complexe. Vous avez devant vous une boîte massive contenant des milliers de pièces, mais lorsque vous vous asseyez réellement pour construire l'image, vous n'avez besoin que d'une petite poignée d'entre elles. Le reste n'est que du désordre, qui prend de la place et rend la recherche des bonnes pièces plus difficile. C'est exactement la situation à laquelle sont confrontés les « réseaux de neurones profonds » (DNN) modernes, ces cerveaux informatiques super intelligents derrière la reconnaissance d'images ou les assistants vocaux. Ces cerveaux numériques sont construits avec des millions de petites connexions, mais les chercheurs ont remarqué que pour une tâche donnée, la plupart de ces connexions ne font rien du tout. Elles sont surchargées et suréquipées.

La grande question que les scientifiques se posent est la suivante : comment peut-on éliminer le gras sans couper le muscle ? Nous voulons réduire la taille de ces réseaux géants pour qu'ils s'exécutent plus rapidement et utilisent moins de mémoire, sans qu'ils oublient comment résoudre le puzzle. Ce papier que vous allez lire s'attaque à ce problème en examinant comment ces cerveaux informatiques « pensent » réellement pendant leur travail. Au lieu de simplement deviner quelles connexions sont inutiles, les auteurs proposent une nouvelle façon d'écouter l'activité du cerveau, de trouver les parties les plus silencieuses et de les éteindre doucement. C'est comme un concierge intelligent qui ne se contente pas de balayer toute la pièce, mais qui vérifie soigneusement quelles lumières sont éteintes pour les éteindre définitivement, laissant les plus brillantes et actives faire le gros du travail.

La stratégie de « Soulagement de Réseau de Neurones »

Découvrez NNrelief, un nouvel algorithme d'élagage (un mot savant pour « taille ») qui agit comme un chef d'orchestre très attentif. Dans un réseau de neurones profond typique, chaque musicien (ou neurone) joue, même s'il ne fait que fredonner discrètement. L'objectif de NNrelief est de trouver les musiciens qui ne contribuent pas vraiment à la chanson et de leur demander de faire une pause, tout en veillant à ce que la musique reste parfaite.

L'ancienne méthode vs la nouvelle méthode

Pendant longtemps, la méthode standard pour élaguer ces réseaux était basée sur la magnitude. Imaginez que vous avez un groupe de cordes reliant deux points. L'ancienne méthode disait : « Coupez les cordes les plus fines ! ». L'idée était qu'une corde fine (un petit nombre, ou « poids ») ne pouvait pas supporter beaucoup de poids, elle devait donc être inutile.

Mais les auteurs de ce papier soutiennent que c'est un peu comme juger la contribution d'une personne à une équipe uniquement par la force de ses cris. Une personne peut avoir un mégaphone (un poids énorme) mais chuchoter (un signal faible), ce qui signifie qu'elle n'aide pas vraiment beaucoup. Inversement, quelqu'un avec une voix normale peut crier les bons mots au bon moment.

NNrelief change la donne. Au lieu de simplement regarder la taille de la corde (le poids), il regarde combien de signal passe réellement à travers elle. Il demande : « Quelle quantité d'information cette connexion transporte-t-elle réellement en ce moment ? » Si une connexion transporte un signal faible, même si la corde est épaisse, elle est écartée. Si une connexion transporte un signal fort, même si la corde est fine, elle reste.

Comment ça marche : le « score d'importance »

L'équipe a créé un tour de magie mathématique appelé score d'importance. Voyez cela comme un « compteur de contribution » pour chaque connexion individuelle dans le réseau.

Ils observent le réseau résoudre un problème (comme identifier la photo d'un chat).
Ils calculent quelle « énergie » ou quel « signal » circule à travers chaque connexion.
Ils classent les connexions de la plus importante à la moins importante.
Ils fixent un objectif : « Garder les 95 % du signal supérieurs ».
Ils coupent tout ce qui tombe en dessous de cette ligne.

Le plus cool ? Ils ne coupent pas un nombre fixe de connexions (comme « couper 50 % »). Ils coupent en fonction de l'activité. Cela signifie que le réseau décide de lui-même de combien de connexions il a besoin pour maintenir un signal fort.

L'effet de « soulagement »

Lorsqu'ils ont fait cela, quelque chose de fascinant s'est produit. Le réseau n'est pas seulement devenu plus petit ; il est devenu plus équilibré. Avant l'élagage, certaines connexions hurlaient d'importance tandis que d'autres étaient silencieuses. Après l'élagage, les connexions restantes ont toutes commencé à avoir approximativement le même niveau d'importance. Les auteurs appellent cela le « Neural Network Relief » (Soulagement de Réseau de Neurones). C'est comme une équipe où chacun tire sa part du poids, plutôt que d'avoir quelques superstars et beaucoup de poids morts. Le réseau devient une machine agile et efficace où chaque connexion restante fait quelque chose d'utile.

Les résultats : de grands gains, de petites pertes

L'équipe a testé cela sur plusieurs architectures de réseaux célèbres (LeNet, VGG et ResNet) en utilisant des ensembles de données d'images standards comme MNIST (chiffres manuscrits), CIFAR-10/100 (petites images colorées) et Tiny-ImageNet.

Voici ce qu'ils ont trouvé :

Pour les réseaux VGG : Ils ont réussi à réduire la taille du réseau de plus de 50 fois (en gardant moins de 2 % des paramètres d'origine) sur le jeu de données CIFAR-10, avec presque aucune baisse de précision. Sur le jeu de données Tiny-ImageNet, ils ont obtenu une compression de plus de 40 fois (en gardant seulement 2,32 % des paramètres) avec une baisse de précision infime de seulement 0,03 %.
Pour les réseaux ResNet : Ils ont obtenu un pourcentage élevé de paramètres élagués, spécifiquement 76,2 % de paramètres conservés (ce qui signifie environ 23,8 % ont été élagués) pour ResNet-56 sur CIFAR-10, tout en gardant une précision très proche de l'original.
La surprise de l'optimiseur : Ils ont testé deux différents « entraîneurs » (optimiseurs) appelés Adam et SGD. Sur les réseaux VGG, Adam était beaucoup plus agressif, coupant plus de connexions que SGD. Cependant, sur les réseaux ResNet, les deux entraîneurs ont performé de manière similaire, suggérant que le type de réseau compte autant que la méthode d'entraînement.

Ce qu'ils n'ont pas fait

Il est important de noter ce que ce papier ne prétend pas. Les auteurs déclarent explicitement que leur objectif n'était pas de minimiser le nombre de calculs mathématiques (FLOPs) requis par le matériel informatique actuel, même s'ils ont constaté une certaine réduction. Leur objectif principal était le nombre de connexions et le « signal » qu'elles transportent. Ils n'ont pas non plus prétendu avoir résolu le problème de l'« apprentissage continu » (apprendre de nouvelles tâches sans oublier les anciennes), bien qu'ils suggèrent que leur méthode est une étape cruciale vers cet objectif futur.

Ce qu'il faut retenir

Ce papier suggère que nous n'avons pas besoin de deviner quelles parties d'un réseau de neurones sont inutiles. En écoutant l'activité réelle des neurones, nous pouvons tailler le gras avec une précision chirurgicale. Le résultat est un réseau plus petit, plus simple, et étonnamment robuste. C'est un peu comme découvrir que l'on peut conduire une voiture tout aussi vite avec un moteur beaucoup plus petit, tant qu'on le règle sur le bon rythme. L'approche de « Neural Network Relief » montre que parfois, le moins est vraiment le mieux, à condition de savoir exactement ce qu'il faut lâcher.

Résumé technique : Neural Network Relief : Un algorithme d'élagage basé sur l'activité neuronale

Énoncé du problème
Les réseaux de neurones profonds (DNN) actuels sont généralement surparamétrés, utilisant la majorité de leurs connexions neuronales lors de l'inférence pour une tâche donnée. En revanche, le cerveau humain développe des régions spécialisées et effectue l'inférence en utilisant seulement une petite fraction de ses connexions. Les auteurs identifient la nécessité de traiter le surparamétrage des DNN en trouvant le nombre minimal de connexions capables de résoudre une tâche spécifique avec une précision comparable. Bien que les méthodes d'élagage existantes reposent souvent sur des ratios prédéfinis de suppression de paramètres ou sur les magnitudes des poids, ces approches peuvent entraîner des chutes de précision drastiques si le ratio d'élagage est trop élevé ou peuvent ne pas tenir compte de la contribution réelle d'une connexion au signal du neurone.

Méthodologie
Le papier propose « NNrelief », une stratégie d'élagage itérative qui désactive les connexions non importantes en se basant sur une nouvelle métrique de score d'importance. Contrairement aux approches basées sur la magnitude, cette méthode évalue le comportement local des connexions en considérant à la fois la magnitude du poids et la force du signal d'entrée (activité neuronale).

Métrique du score d'importance :
- Couches entièrement connectées (Fully Connected) : L'importance d'une connexion entre un neurone $i$ (couche $l-1$ ) et un neurone $j$ (couche $l$ ) est définie comme la valeur absolue du produit du poids $w_{ij}^{(l)}$ et de l'activation d'entrée $x_i^{(l-1)}$ , normalisée par l'importance totale de toutes les entrées du neurone $j$ (incluant le biais). Cela quantifie la contribution relative d'une connexion spécifique au signal total du neurone.
- Couches convolutives : La métrique est adaptée pour les noyaux (kernels) et les biais. L'importance d'un noyau est calculée sur la base de la norme de Frobenius de la convolution entre le noyau et les cartes de caractéristiques d'entrée, moyennée sur l'ensemble du jeu de données, et normalisée par l'importance totale du filtre.
Processus d'élagage :
- L'algorithme opère de manière itérative. Pour chaque couche, les scores d'importance sont calculés pour toutes les connexions entrantes (ou noyaux) en utilisant un sous-ensemble de données d'entraînement.
- Les connexions sont triées par importance. L'algorithme détermine un seuil tel que la somme des scores d'importance les plus élevés atteint un ratio de rétention $\alpha$ prédéfini (par exemple, 0,95).
- Les connexions inférieures à ce seuil sont élaguées (mises à zéro).
- Le réseau est réentraîné après les itérations d'élagage. Les auteurs précisent explicitement qu'ils effectuent un élagage itératif en réentraînant le réseau à partir de paramètres aléatoires initiaux pour les expériences LeNet, et de la même manière, en réentraînant à partir d'initialisations aléatoires pour les architectures VGG et ResNet plutôt que d'utiliser le fine-tuning.
Bornes théoriques : Le papier dérive des bornes d'erreur pour la différence de signal avant et après l'élagage. Il démontre que l'erreur d'approximation d'un neurone diminue à mesure que le paramètre de rétention $\alpha$ augmente, à condition que la fonction d'activation soit lipschitzienne.

Contributions clés

Élagage basé sur l'activité neuronale : Une nouvelle métrique qui désactive les connexions contribuant faiblement au signal de la couche suivante, plutôt que de simplement supprimer les petits poids. Cela contraste avec l'élagage basé sur la magnitude, qui suppose que les petits poids sont insignifiants indépendamment du signal d'entrée.
Élagage adaptatif : Contrairement aux méthodes qui élaguent un pourcentage fixe de paramètres, NNrelief détermine de manière adaptative le nombre de connexions à supprimer en se basant sur la distribution des scores d'importance afin de maintenir un certain niveau de signal.
Concept de Neural Network Relief : Les auteurs observent que la stratégie d'élagage conduit à une « homogénéisation » de l'importance des connexions parmi les neurones restants. Ce concept, nommé « neural network relief » (soulagement du réseau de neurones), suggère de distribuer l'importance uniformément parmi moins de connexions plutôt que de compter sur quelques connexions hautement dominantes.
Analyse d'erreur : La dérivation de bornes théoriques montrant que la perturbation du signal introduite par l'élagage est contrôlée par le paramètre de rétention $\alpha$ .

Résultats expérimentaux
Les auteurs ont évalué NNrelief sur les architectures LeNet, VGG et ResNet à travers les jeux de données MNIST, CIFAR-10/100 et Tiny-ImageNet, en utilisant les optimiseurs Adam et SGD.

LeNet (MNIST) : La méthode a obtenu une précision comparable aux algorithmes de pointe (SOTA) (ex. : DNS, L-OBS) tout en conservant environ 1,5 % des paramètres pour LeNet-300-100 et 0,65 % pour LeNet-5.
VGG (CIFAR-10/100, Tiny-ImageNet) :
- Sur CIFAR-10, l'approche a réduit les paramètres à moins de 2 % de l'original (atteignant environ 52x de compression) avec seulement une baisse de 0,1 % de la précision pour l'architecture de type VGG (une version adaptée de VGG-16 avec une couche entièrement connectée de moins). Le papier note que ce niveau de compression spécifique a été atteint pour une structure de type VGG, et non pour le VGG-13 standard. La méthode a surpassé le SOTA tant en termes de rétention de paramètres que de réduction de FLOPs pour cette configuration.
- Sur Tiny-ImageNet, la méthode a atteint plus de 40x de compression (conservant ~2,3 % des paramètres) avec une perte de précision négligeable (0,03 %) en utilisant l'optimiseur Adam.
- L'optimiseur Adam a généralement produit des taux de compression plus élevés que SGD pour les architectures VGG, bien que SGD ait parfois maintenu une précision légèrement supérieure.
ResNet (CIFAR-10/100, Tiny-ImageNet) :
- Pour ResNet-20 et ResNet-56 sur CIFAR-10, la méthode a élagué plus de 60-76 % des paramètres avec une précision comparable aux méthodes SOTA.
- Sur CIFAR-100, la méthode a obtenu une compression significative (ex. : ~68 % de paramètres élagués pour ResNet-56) avec une dégradation minimale de la précision.
- Contrairement à VGG, la différence de sparsité entre Adam et SGD est moins prononcée pour les ResNets. Les auteurs attribuent cela aux connexions de saut (skip connections) qui permettent aux signaux de passer sans entrave, rendant plus difficile pour l'optimiseur de distinguer les activations significatives dans les blocs résiduels.

Signification et affirmations
Le papier affirme que NNrelief offre une alternative robuste à l'élagage basé sur la magnitude en se concentrant sur la contribution réelle des connexions à la propagation du signal du réseau. Les auteurs soutiennent que leur approche :

Atteint une compression de paramètres nettement plus élevée (plus de 50 fois pour le type VGG sur CIFAR-10 et plus de 40 fois sur Tiny-ImageNet) par rapport aux algorithmes SOTA tout en maintenant une précision comparable.
Est efficace à travers différentes architectures (LeNet, VGG, ResNet) et optimiseurs (Adam, SGD).
Fournit un mécanisme pour « libérer » des connexions pour d'autres tâches, servant d'étape vers des stratégies d'apprentissage continu.
Bien qu'elle ne soit pas explicitement conçue pour minimiser les FLOPs pour les implémentations matérielles actuelles, elle s'en sort raisonnablement bien à cet égard par rapport aux méthodes existantes.

Les auteurs concluent que les sous-réseaux résultants propagent la majeure partie du signal d'origine en utilisant moins de paramètres et présentent une distribution d'importance homogénéisée, validant ainsi le concept de « neural network relief ».