Résumé Technique : Sur la Stabilité de la Croissance dans la Plasticité Structurelle

Énoncé du Problème

Les pipelines d'apprentissage profond standard fixent généralement l'architecture du réseau avant l'entraînement. En revanche, la plasticité structurelle permet la modification des architectures durant l'entraînement, principalement via deux opérateurs : l'élagage (réduction de la capacité) et la croissance (ajout de capacité). Si l'élagage est bien établi et souvent lié à l'Hypothèse du Billet de Loterie (LTH), la croissance est moins comprise. L'article postule que la croissance n'est pas simplement l'inverse de l'élagage. L'élagage sélectionne parmi des unités ayant participé à l'entraînement depuis l'initialisation, tandis que la croissance insère de nouvelles unités dans une trajectoire d'optimisation déjà spécialisée. Le problème central investigué est de savoir si les unités nouvellement insérées peuvent s'intégrer de manière stable et suffisamment rapide pour soutenir un apprentissage adaptatif et continu, ou si le processus d'insertion lui-même introduit une instabilité entravant les performances.

Méthodologie

Les auteurs évaluent la plasticité structurelle sous des flux de données, des optimiseurs et des cibles de compacité appariés, en comparant trois familles de modèles :

1. Dense : Aucune sparsification.
2. Élagage (Prune) : Élagage itératif par magnitude (IMP) appliqué à des couches masquées, avec réinitialisation des poids survivants vers un checkpoint antérieur (suivant le protocole LTH).
3. Croissance (Grow) : Démarrant à partir d'une graine sparse, active itérativement des unités basées sur une heuristique de score (fréquence d'activation ou magnitude du gradient) jusqu'à atteindre une compacité cible. Crucialement, Grow ne réinitialise pas les poids ; il étudie l'insertion tardive d'unités dans une trajectoire mature.

L'évaluation emploie deux métriques distinctes pour séparer la qualité du processus d'édition de la qualité de l'architecture finale :

• Performance du Cycle : Précision mesurée durant le processus d'édition structurelle en ligne.
• Performance du Billet Gagnant (WT) : Précision mesurée après gel du masque découvert, réinitialisation des poids et réentraînement à partir de zéro.

Les expériences couvrent des benchmarks minimaux de Perceptrons Multicouches (MLP) (MNIST, Fashion-MNIST) et des configurations plus complexes de Réseaux de Neurones Convolutifs (ConvNet) (CIFAR-10, CIFAR-100). L'étude examine également des scénarios d'apprentissage continu impliquant une accumulation séquentielle de classes et des décalages distributionnels répétés.

Pour isoler les mécanismes de l'échec de la croissance, les auteurs introduisent plusieurs interventions :

• État de l'Optimiseur : « Deux Vitesses » (mise à l'échelle des mises à jour pour les paramètres nouveau-nés) et « Transplantation de Moment » (copie des tampons de l'optimiseur depuis les unités en place).
• Insertion : « Net2Wider » (élargissement préservant la fonction).
• Sélection : « GradMax » (sélection d'unités basée sur la magnitude du gradient).
• Entraînabilité : « Rand. Smooth-Leaky » (une fonction d'activation randomisée et lisse conçue pour préserver un flux de gradient non nul).

Contributions et Résultats Clés

1. L'Asymétrie entre Croissance et Élagage

L'article démontre que l'écart de performance entre croissance et élagage n'est pas monolithique ; il dépend fortement de la complexité du régime d'apprentissage de représentations :

• Petits MLP : Dans des configurations simples (ex. MNIST), Grow et Prune produisent des masques réentraînables similaires, sans ordre cohérent dans la précision finale ou la précision moyenne de la trajectoire.
• Régimes Convolutifs : Dans des configurations plus difficiles (CIFAR-100), une asymétrie claire émerge. Grow atteint une précision finale plus élevée durant le cycle d'édition structurelle (Performance du Cycle) mais produit des masques qui, lorsqu'ils sont réentraînés à partir de zéro, sont comparables ou légèrement inférieurs à Prune. Inversement, Prune maintient souvent une performance moyenne de trajectoire plus forte durant le processus d'édition et produit des sous-réseaux qui se réentraînent de manière robuste.

2. Le Phénomène « Actif vers l'Avant, Affamé vers l'Arrière »

Une découverte mécanistique centrale est que les unités nouveau-nées dans les scénarios de croissance souffrent d'un goulot d'étranglement d'intégration spécifique :

• Participation vers l'Avant : Les unités nouveau-nées sont actives immédiatement après l'insertion ; elles participent au calcul vers l'avant et ne sont pas des unités « mortes ».
• Désavantage vers l'Arrière : Malgré leur activité vers l'avant, les unités nouveau-nées reçoivent des signaux de gradient (crédit vers l'arrière) significativement plus faibles que les unités en place. Cette « famine vers l'arrière » persiste tout au long du cycle d'entraînement, empêchant les nouvelles unités de s'intégrer efficacement dans la trajectoire d'optimisation.
• Implication : Le désavantage de la croissance est un problème de niveau de processus lié au quand et au comment les unités sont insérées, plutôt qu'une incapacité fondamentale à découvrir des architectures sparses utiles.

3. Interventions et Intégration

L'étude teste diverses interventions pour atténuer le goulot d'étranglement d'intégration :

• État de l'Optimiseur : La « Transplantation de Moment » (copie des états de l'optimiseur) montre quelques promesses, tandis que « Deux Vitesses » (accélération des mises à jour) est moins fiable.
• Fonctions d'Activation : La fonction d'activation Rand. Smooth-Leaky s'avère la plus efficace. Elle améliore l'entraînabilité des unités nouveau-nées en assurant un meilleur flux de gradient, augmentant considérablement la Performance du Cycle des méthodes Grow, en particulier dans les contextes d'apprentissage continu.
• Sélection et Insertion : Changer l'heuristique de sélection (GradMax) ou utiliser une insertion préservant la fonction (Net2Wider) n'élimine pas le problème de famine vers l'arrière.

4. Apprentissage Continu et Sensibilité au Temps

Dans les benchmarks d'apprentissage continu stressant la perte de plasticité (ex. MNIST Permuté, tâches d'Étiquettes Aléatoires) :

• Prune reste la référence la plus fiable car il préserve la capacité mature.
• Grow n'est compétitif que lorsque les nouvelles unités reçoivent suffisamment de temps pour s'intégrer avant le prochain décalage distributionnel.
• La combinaison Grow + Rand. Smooth-Leaky devient la variante de croissance la plus robuste, réduisant l'écart avec Prune et le surpassant dans des configurations avec des fenêtres d'intégration plus longues (ex. Split-CIFAR100).

Signification et Revendications

L'article soutient que la croissance structurelle ne doit pas être évaluée uniquement comme un opérateur de recherche d'architecture (c'est-à-dire, trouve-t-elle un bon masque final ?), mais comme un processus d'optimisation sensible au temps. Le succès de la croissance dépend crucialement de la stabilité d'insertion — la capacité des unités nouveau-nées à s'intégrer rapidement dans une trajectoire d'optimisation mature.

Les auteurs affirment que la limitation principale de la croissance n'est pas la découverte d'architectures sparses, mais les « désavantages du moment de la naissance » rencontrés par les nouvelles unités :

1. Choc Fonctionnel : Perturbation de la carte apprise.
2. Démarrage à Froid : Absence d'état d'optimiseur accumulé.
3. Signal d'Apprentissage Faible : Crédit de gradient disproportionnellement faible par rapport aux unités en place.

L'article conclut que l'amélioration de l'entraînabilité et de l'intégration précoce des unités nouveau-nées (par exemple, via la conception de fonctions d'activation) peut rendre la croissance une alternative viable à l'élagage, en particulier dans les systèmes d'apprentissage adaptatif et continu. Cependant, cela nécessite de reconnaître que le « processus adaptatif » et l'« architecture finale réentraînable » sont des objets d'évaluation distincts, et que la croissance excelle souvent dans le premier tout en étant en retard sur le second, sauf si des mécanismes d'intégration spécifiques sont employés.