🤖 machine learning

Growing Networks with Autonomous Pruning

Cet article présente GNAP, une méthode d'apprentissage profond qui ajuste dynamiquement sa taille et son nombre de paramètres durant l'entraînement grâce à des mécanismes de croissance et d'élagage autonomes, permettant d'obtenir des réseaux de neurones extrêmement parcimonieux tout en maintenant une haute précision sur des tâches de classification d'images.

Auteurs originaux : Charles De Lambilly, Stefan Duffner

Publié 2026-03-23

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Charles De Lambilly, Stefan Duffner

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🌱 GNAP : Le Jardinier Numérique qui Apprend à Tailler

Imaginez que vous vouliez construire une maison très efficace pour ranger vos affaires.

La méthode classique (les réseaux de neurones traditionnels) : Vous construisez d'abord un immense château avec 100 chambres, même si vous n'avez que 5 valises. Ensuite, vous essayez de supprimer les murs inutiles. C'est cher, long, et vous risquez de vous tromper sur la taille de départ.
La méthode GNAP : Vous commencez par une petite cabane en bois. Au fur et à mesure que vous apprenez à ranger vos valises, si la cabane est trop petite, vous ajoutez une pièce. Mais attention : dès qu'une pièce devient inutile ou encombrante, vous la démolissez instantanément.

C'est exactement ce que fait GNAP (Réseaux en Croissance avec Élagage Autonome). C'est un algorithme intelligent qui grandit et se taille tout seul pendant qu'il apprend.

1. Le Problème : Trop de "Gras" dans les cerveaux artificiels

Aujourd'hui, les intelligences artificielles (comme celles qui reconnaissent des chats sur des photos) sont souvent énormes. Elles contiennent des millions de paramètres (des "poids" ou des connexions). C'est comme si un cerveau humain avait des milliards de neurones, alors que pour faire une tâche simple, il n'en a besoin que de quelques milliers.

Le gâchis : Entraîner ces géants coûte cher en énergie et en temps.
Le risque : Ils apprennent par cœur (ils "trichent") au lieu de comprendre vraiment.

2. La Solution GNAP : Grandir et Se Tailler en même temps

Les auteurs, Charles et Stefan, ont créé un système qui combine deux actions opposées mais complémentaires :

A. La Croissance (Le "Growth")
Imaginez un enfant qui apprend à marcher. Au début, il a besoin de beaucoup d'aide. Si l'enfant bute souvent, on lui donne un peu plus de force ou de coordination.

Dans GNAP, le réseau commence petit.
Si le réseau est bloqué (il ne progresse plus), l'algorithme dit : "On a besoin de plus de cerveau !" et il ajoute automatiquement de nouvelles couches ou de nouveaux neurones.
L'astuce : Il n'ajoute pas n'importe comment. Il utilise une technique mathématique (l'orthogonalité) pour s'assurer que les nouveaux neurones apportent quelque chose de nouveau et ne répètent pas ce que les autres font déjà. C'est comme engager un nouvel employé qui a des compétences que l'équipe n'a pas encore.

B. L'Élagage Autonome (Le "Pruning")
C'est la partie la plus magique. Entre les moments où on ajoute des pièces, le réseau se "nettoie" tout seul.

Chaque connexion dans le réseau a un petit interrupteur (une "porte").
Pendant l'entraînement, le réseau essaie de minimiser ses erreurs. S'il se rend compte qu'une connexion ne sert à rien pour faire la bonne prédiction, il ferme l'interrupteur.
Si l'interrupteur est fermé, la connexion est supprimée. Le réseau devient plus léger, plus rapide, et consomme moins d'énergie.
L'autonomie : Le réseau décide lui-même quelles connexions garder et lesquelles jeter, sans qu'un humain ait besoin de dire "coupe ça". C'est comme un jardinier qui taille ses haies : il enlève les branches mortes pour que la plante soit plus belle et plus forte.

3. Comment ça marche en pratique ?

Le processus ressemble à une boucle infinie :

Entraînement : Le réseau apprend à classer des images (comme des chats ou des voitures).
Vérification : Il regarde s'il stagne.
Si ça stagne : Il ajoute des neurones (il grandit).
Pendant l'apprentissage : Il coupe constamment les connexions inutiles (il s'élague).
Résultat : À la fin, on obtient un réseau qui est extrêmement petit (très peu de paramètres) mais qui est très intelligent (très précis).

4. Les Résultats : Des géants devenus des nains intelligents

Les chercheurs ont testé cette méthode sur des bases de données d'images célèbres (MNIST pour les chiffres, CIFAR pour des objets).

Sur MNIST : Ils ont obtenu une précision de 99,44 % avec seulement 6 200 paramètres. C'est minuscule ! (Pour comparaison, un réseau classique en aurait des millions).
Sur CIFAR10 : Ils ont atteint 92,2 % de réussite avec seulement 157 800 paramètres.

C'est comme si vous aviez un cerveau capable de reconnaître des objets complexes, mais qui tiendrait dans la mémoire d'une vieille calculatrice.

En résumé

GNAP, c'est l'art de ne pas gaspiller.
Au lieu de construire un château et d'essayer de le réduire, on construit une maison pièce par pièce, en ne gardant que ce qui est strictement nécessaire. C'est une méthode qui rend l'intelligence artificielle plus écologique (moins d'énergie), plus rapide et plus efficace.

C'est comme si l'IA apprenait à dire : "Je n'ai pas besoin de tout savoir, juste de ce qui est utile pour réussir." 🧠✨

1. Problématique

Les réseaux de neurones convolutifs (CNN) modernes atteignent des performances élevées en vision par ordinateur, mais au prix d'un nombre massif de paramètres, ce qui entraîne des coûts de calcul importants et des risques de surapprentissage (overfitting). Deux approches principales existent pour optimiser ces architectures :

Le Pruning (Élagage) : Entraîner un réseau sur-paramétré puis supprimer les poids inutiles. Cependant, cela nécessite de définir manuellement une architecture initiale (souvent sous-optimale) et le processus d'entraînement du réseau dense reste coûteux.
Les Réseaux Croissants (Growing Networks) : Commencer avec un petit réseau et ajouter des neurones progressivement. Le défi majeur ici est d'éviter l'ajout de redondance, ce qui peut conduire à des réseaux plus grands que nécessaire sans gain de performance.

L'objectif de cet article est de surmonter ces limites en combinant croissance et élagage dans un processus d'optimisation unique, permettant au réseau de modifier sa topologie et sa taille automatiquement pendant l'entraînement pour trouver le meilleur compromis entre précision et parcimonie (nombre de paramètres).

2. Méthodologie : GNAP (Growing Networks with Autonomous Pruning)

L'approche proposée, GNAP, repose sur une alternance dynamique entre des phases de croissance et des phases d'entraînement avec élagage autonome.

A. Architecture Dynamique

Inspiration DenseNet : GNAP s'inspire des DenseNets où chaque couche est connectée à toutes les couches suivantes au sein d'un "bloc".
Flexibilité : Contrairement aux architectures fixes, GNAP permet des connexions denses et flexibles. Le nombre de blocs est fixe, mais la largeur (nombre de canaux/neurones) et le nombre de couches convolutives par bloc varient dynamiquement.
Connexions : Toutes les couches peuvent être connectées à toutes les couches précédentes, maximisant les choix architecturaux possibles.

B. Élagage Autonome (Autonomous Pruning)

L'élagage est réalisé via la descente de gradient, inspirée de la méthode de [17], mais adaptée pour GNAP :

Portes (Gating) : Chaque poids (ou chaque noyau convolutif pour l'élagage structuré) est associé à une variable de porte (gate) paramétrable.
Distribution Gumbel-Softmax : Lors du passage avant (forward pass), la porte est échantillonnée à partir d'une distribution Gumbel-Softmax (différentiable), permettant d'ouvrir ou de fermer la connexion de manière probabiliste.
Fonction de Perte : La perte totale $L$ est la somme de la perte de prédiction (classification) et d'une pénalité de parcimonie :
$L = L_{pred} + \alpha \cdot ||g||_1$
où $||g||_1$ est la somme des portes ouvertes. L'objectif est de minimiser la perte de prédiction tout en tendant vers une densité de poids nulle (le plus petit nombre de paramètres possible).
Élagage Structuré et Non-Structuré : La méthode permet de supprimer soit des poids individuels (non-structuré), soit des noyaux de convolution entiers (structuré), ce qui est crucial pour l'efficacité matérielle.

C. Phases de Croissance

Le réseau grandit uniquement lorsqu'il atteint un point de saturation :

Critère de déclenchement : Une phase de croissance est lancée lorsque la variation relative du nombre de portes ouvertes devient inférieure à un seuil $\theta$ (indiquant que l'élagage ne réduit plus significativement le réseau).
Où ajouter : Des neurones sont ajoutés à chaque couche et un nouveau bloc est ajouté à la fin de chaque bloc existant. L'idée est de donner au réseau le maximum de possibilités, laissant l'élagage ultérieur éliminer le superflu.
Initialisation des poids :
- Connexions internes aux nouveaux neurones : Initialisation aléatoire gaussienne.
- Connexions vers les neurones existants : Initialisée à zéro pour éviter de perturber les poids déjà appris.
- Connexions des anciens vers les nouveaux : Une stratégie innovante basée sur la Décomposition en Valeurs Singulières (SVD) est utilisée. Les nouveaux poids sont initialisés pour être orthogonaux aux poids existants, maximisant ainsi l'apport d'information nouvelle sans redondance.

D. Procédure d'Entraînement

L'algorithme alterne entre :

Entraînement par gradient : Optimisation conjointe des poids et des portes de l'architecture actuelle.
Arrêt précoce adaptatif : Sauvegarde du modèle non seulement sur la précision, mais aussi sur le nombre de liens actifs (privilégiant les modèles plus petits pour une précision équivalente).
Croissance : Ajout de neurones lorsque le critère de saturation est atteint (jusqu'à un certain pourcentage des époques totales).
Phase de raffinement : À la fin, une phase finale avec un poids de pénalité de parcimonie accru permet de converger vers un réseau ultra-élagé.

3. Contributions Clés

Nouvelle Stratégie d'Entraînement : Une méthode qui ajuste dynamiquement la taille et la topologie du réseau via une alternance croissance/élagage, éliminant le besoin de définir une architecture initiale sur-paramétrée.
Architecture CNN Flexible : Une architecture spécifique permettant des connexions denses et des connexions croisées entre n'importe quelles couches, favorisant l'émergence de réseaux très parcimonieux.
Initialisation Orthogonale : Une méthode d'initialisation des poids des nouveaux neurones basée sur la SVD pour garantir qu'ils apportent une information complémentaire aux poids existants.
Élagage Unifié : Capacité à gérer à la fois l'élagage non-structuré (poids) et structuré (noyaux) dans le même cadre d'optimisation.

4. Résultats Expérimentaux

Les auteurs ont évalué GNAP sur trois benchmarks : MNIST, CIFAR10 et CIFAR100.

Performance et Efficacité :
- MNIST : 99,44 % de précision avec seulement 6,2 k paramètres (élagage non-structuré).
- CIFAR10 : 92,2 % de précision avec 157,8 k paramètres.
- CIFAR100 : 66,56 % de précision avec ~180 k paramètres.
Comparaison avec l'État de l'Art (SOTA) :
- GNAP surpasse ou égale la plupart des méthodes de pruning (SNIP, GraSP, LTH, RigL) et des réseaux denses compressés, souvent avec beaucoup moins de paramètres.
- Contrairement à des méthodes comme SNIP ou GraSP qui dépendent d'une architecture de base fixe (ex: ResNet32, VGG19), GNAP construit son architecture de zéro à partir d'un modèle très petit.
Analyse de la Croissance :
- Les graphiques montrent que les phases de croissance aident le modèle à explorer de meilleures solutions, permettant paradoxalement de réduire la taille finale du modèle tout en augmentant la précision.
- Le réseau converge vers un comportement déterministe où les portes sont soit totalement ouvertes, soit totalement fermées, indiquant une élimination efficace des redondances.

5. Signification et Perspectives

Signification :
GNAP démontre qu'il est possible d'entraîner des réseaux de neurones extrêmement parcimonieux sans sacrifier la précision, en automatisant entièrement le processus de conception d'architecture. Cela réduit considérablement les besoins en calcul et en stockage, rendant le déploiement de modèles complexes sur des dispositifs embarqués plus viable. L'approche prouve que la croissance et l'élagage ne sont pas opposés, mais complémentaires pour trouver la "forme" optimale du réseau.

Perspectives Futures :
Les auteurs envisagent d'explorer des stratégies plus sophistiquées pour décider quand, où et combien de neurones ajouter, ainsi que l'adaptation de GNAP pour l'apprentissage continu (continual learning) et les données non-i.i.d. (non indépendantes et identiquement distribuées).