🤖 machine learning

Pruning Deep Neural Networks via the Marchenko--Pastur Distribution

Cet article introduit un cadre d'élagage basé sur la distribution de Marchenko-Pastur qui atteint une rétention de haute précision dans les réseaux de neurones profonds avec un ajustement fin minimal en fournissant des certificats théoriques déterministes pour le retrait de composants, démontrant des gains significatifs de performance et d'efficacité à travers diverses architectures comme ViT, ResNet et ConvNeXt sur ImageNet-1k.

Auteurs originaux : Leonid Berlyand, Theo Bourdais, Houman Owhad, Yitzchak Shmalo

Publié 2026-06-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Leonid Berlyand, Theo Bourdais, Houman Owhad, Yitzchak Shmalo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une bibliothèque massive, incroyablement détaillée (un réseau de neurones profonds) remplie de millions de livres (des poids). Vous voulez réduire la taille de cette bibliothèque pour qu'elle puisse tenir dans un petit sac à dos afin de la transporter facilement, mais vous êtes terrifié à l'idée que si vous jetez les mauvais livres, la bibliothèque ne finisse par plus avoir de sens.

Ce document traite d'une nouvelle méthode ingénieuse pour décider quels livres jeter sans avoir besoin de relire toute la bibliothèque après coup.

Le Problème : La bibliothèque « sur-dimensionnée »

Les réseaux de neurones profonds sont souvent « sur-paramétrés », ce qui signifie qu'ils possèdent bien plus de livres qu'ils n'en ont réellement besoin pour raconter une histoire. Habituellement, pour les réduire, il faut :

Jeter certains livres.
Relire toute la bibliothèque pour voir ce qui manque.
Réécrire les livres restants pour réparer l'histoire.
Répéter cette opération de nombreuses fois.

Cela prend beaucoup de temps et énormément de puissance de calcul. Les auteurs ont voulu savoir : Pouvons-nous simplement jeter les bons livres une seule fois et en finir ?

La Solution : La boule de cristal « Marchenko–Pastur »

Les auteurs utilisent un outil mathématique appelé Théorie des matrices aléatoires, plus précisément quelque chose appelé la distribution de Marchenko–Pastur (MP).

Considérez les poids dans une couche d'un réseau de neurones comme une immense foule de personnes lors d'un concert.

Le « Bruit » (La masse) : La majeure partie de la foule se déplace simplement de manière aléatoire, créant un bourdonnement général. En termes mathématiques, il s'agit du « bruit aléatoire » ou de la « masse » des données.
Le « Signal » (Les pics) : Quelques personnes sont debout sur des chaises, agitent des drapeaux ou donnent des instructions spécifiques. Ce sont les motifs importants que le réseau a appris.

La distribution de Marchenko–Pastur agit comme une boule de cristal qui vous indique exactement où se situe la limite entre la « foule qui s'agite » (le bruit) et les « personnes sur les chaises » (le signal).

La Méthode : Comment ils élaguent

Au lieu de simplement jeter les livres les plus petits (une méthode courante appelée « élagage par magnitude »), ce document utilise la boule de cristal pour identifier les livres qui constituent le « bruit ».

L'audit : Ils examinent une couche du réseau et demandent : « Cette partie fait-elle partie de la foule qui s'agite de manière aléatoire, ou est-ce un signal ? »
La coupe : Si les mathématiques indiquent qu'un groupe de poids n'est que du « bruit » (faisant partie de la masse de Marchenko–Pastur), ils les suppriment.
L'astuce de la « Restauration » : Parfois, ils coupent accidentellement trop de choses. Ils disposent donc d'une étape de « restauration ». Ils regardent les morceaux coupés et disent : « Attendez, cette pièce spécifique était en fait importante pour l'histoire, même si elle ressemblait à du bruit. » Ils remettent juste cette pièce en place.
- Analogie : Imaginez que vous préparez une valise. Vous jetez toutes les chaussettes. Puis vous réalisez que vous avez besoin d'une paire spécifique pour un mariage. Vous remettez cette paire précise. Votre valise est toujours plus légère, mais vous n'avez pas perdu la chaussette du mariage.

Les Résultats : Rapides et Précis

Le document a testé cette méthode sur des modèles célèbres de reconnaissance d'images (comme ceux qui identifient des chats, des chiens et des voitures sur des photos).

Vitesse : Ils n'ont pas eu besoin de réentraîner les modèles pendant des semaines. Ils n'ont effectué qu'un peu de « réglage fin » (comme un rapide contrôle de 3 jours) après l'élagage.
Précision : Même après avoir supprimé une énorme partie du réseau (rendant le modèle 50 % à 60 % plus petit), les modèles conservaient presque le même score que la version géante et complète.
- Exemple : Un modèle appelé ViT-B/16 a été réduit, et il a tout de même obtenu 83,41 % de précision (une baisse infime par rapport à l'original).
Vitesse en conditions réelles : Parce que le réseau est désormais plus petit et possède un motif spécifique (comme garder 2 poids sur 4), il s'exécute plus rapidement sur les puces informatiques modernes (GPU). Ils ont mesuré des accélérations de l'ordre de 1,4x à 2,7x sur du matériel spécifique.

Les « Certificats » (Pourquoi nous pouvons avoir confiance)

Les auteurs n'ont pas seulement deviné ; ils ont rédigé des « certificats » mathématiques.

Considérez cela comme une garantie de sécurité. Ils ont prouvé mathématiquement que si le « bruit » qu'ils ont supprimé était suffisamment faible, le « récit » que raconte le réseau (la prédiction) ne changerait pas.
Ils ont également prouvé que si le réseau était entraîné suffisamment longtemps, la partie « bruit » rétrécit naturellement jusqu'à disparaître, ne laissant que les pics de « signal » importants.

Résumé

Ce document est comme la découverte d'un filtre intelligent pour un réseau de neurones profond. Au lieu de supprimer aveuglément les plus petits nombres, il utilise une loi mathématique (Marchenko–Pastur) pour identifier et supprimer le « bruit de fond » du réseau.

Le résultat est un réseau plus petit, plus rapide, qui fonctionne presque parfaitement, le tout avec très peu de travail supplémentaire pour le réparer par la suite. C'est une façon de rendre les modèles d'IA plus légers et plus rapides sans les casser.

Résumé Technique : Élagage des Réseaux de Neurones Profonds via la Distribution de Marchenko–Pastur

1. Énoncé du Problème

Le document traite du défi de la compression des réseaux de neurones profonds (DNN), spécifiquement les Vision Transformers (ViT) et les réseaux de neurones convolutifs (CNN), pour un déploiement sous des contraintes strictes. L'objectif principal est d'atteindre une parcimonie significative (réduction des opérations Multiply-Accumulate, ou MAC) tout en conservant une précision élevée, mais avec une contrainte critique : un budget de réglage fin (fine-tuning) post-élagage minimal.

Les pipelines d'élagage existants reposent souvent sur de longs programmes de réentraînement ou une réoptimisation intensive pour récupérer la précision après l'élagage. Ce travail étudie si une approche par matrices aléatoires de Marchenko–Pastur (MP) peut fournir des « certificats de chemin de données » déterministes permettant un élagage précis avec des cycles de calibration et de réglage fin très courts (par exemple, un époque par cycle ou trois époques de distillation). Le problème central est de distinguer le « bruit » (composantes de type aléatoire pouvant être supprimées) du « signal » (composantes structurées devant être préservées) au sein des matrices de poids entraînées, sans accès aux données de validation ou de test lors de la phase de construction du masque.

2. Méthodologie

2.1 Cadre Théorique : Signal vs Bruit

Les auteurs proposent une hypothèse de modélisation où une matrice de poids entraînée $W$ à la couche $\ell$ peut être décomposée en une composante de signal structuré $S$ et une composante de perturbation aléatoire $R$ :
$W = S + R$

Signal ( $S$ ) : Supposé être de faible rang ou approximativement de faible rang par rapport à la largeur de la couche, représentant les caractéristiques apprises.
Bruit ( $R$ ) : Modélisé comme une perturbation aléatoire indépendante. Sous la loi de Marchenko–Pastur (MP), les valeurs singulières de telles matrices aléatoires forment un « bulk » (amas) de distribution avec une limite supérieure $\sigma_+$ connue.

La théorie postule que si la composante retirée $R$ possède un effet de propagation sur les logits faible, l'élagage de celle-ci diminue un objectif d'élasticité-net et préserve les échantillons possédant des marges denses suffisantes.

2.2 Algorithmes d'Élagage

Le document introduit deux stratégies algorithmiques principales basées sur ce cadre théorique :

SER (Sparsify–Estimate–Restore / Sparcifier–Estimer–Restaurer) :
- Mécanisme : Part d'un candidat sur-élagué (supprimant des poids selon des budgets guidés par MP). Il évalue ensuite la « masse perdue » via le chemin de données et restaure les entrées les plus utiles pour le modèle parcimonieux cible.
- Hybride Magnitude–SER : Combine l'élagage classique par magnitude (efficace à faible parcimonie) avec le SER (efficace à haute parcimonie) pour tirer parti de la stabilité de l'élagage par magnitude et de la sensibilité spectrale du SER.
CAST (Sparsité Structurée) :
- Mécanisme : Cible des motifs de parcimonie structurée fixes $k:n$ (par exemple, 2:4, 6:12, 8:16), qui sont compatibles avec les accélérateurs matériels comme les Tensor Cores de NVIDIA.
- Processus : Utilise un objectif inspiré de « certificat » pour sélectionner quelles entrées conserver au sein d'un groupe. Il emploie un concept de « restauration libre » : au sein d'un groupe où le coût d'exécution est déjà fixé par le motif de parcimonie, restaurer une entrée conservée peut améliorer le certificat théorique sans changer le nombre de poids exécutés.
- Intégration ToMe : Pour les Vision Transformers, la méthode combine l'élagage des poids avec le Token Merging (ToMe) pour réduire le nombre de jetons (tokens) traités, réduisant ainsi davantage la charge de calcul.

2.3 Certificats Théoriques

Le document fournit trois principaux résultats théoriques pour justifier l'élagage :

Certificat de Chemin de Données Déterministe : Prouve que si la composante retirée $R$ satisfait une borne sur son effet de propagation sur les logits ( $L_s \|R\psi_1(s)\|_\infty$ ), l'élagage diminue un objectif d'élasticité-net et préserve les échantillons d'entraînement dont la marge dense dépasse deux fois la perturbation.
Certificat Prune–Restore : Modélise la parcimonie structurée, montrant que la restauration d'entrées au sein d'un groupe d'exécution parcimonieux fixe peut améliorer la borne sans altérer le schéma d'exécution final.
Théorie de Régularisation Additive $L_2$ : Démontre que sous une stationnarité unilatérale et une convergence de chemin local, les composantes de type aléatoire admissibles s'estompent à la limite de l'entraînement, tandis que les pics de signal persistants se stabilisent lorsque le bulk MP s'effondre.

3. Résultats Clés

3.1 Élagage Non Structuré (ViT-B/16)

Sur ImageNet-1k, la méthode Hybrid Magnitude–SER a atteint 83,37 % de précision top-1 à 50 % de parcimonie non structurée. Cela représente une baisse de seulement 1,74 point de pourcentage (pp) par rapport à la ligne de base dense (85,11 %), obtenue avec un budget de réglage fin très court (une époque par cycle). Cette méthode a surpassé l'élagage classique par magnitude (81,67 %) et une ligne de base directe de la théorie des matrices aléatoires (RMT) (82,57 %) dans des conditions identiques.

3.2 Parcimonie Structurée et Déploiement

Le document rapporte des résultats pour les motifs structurés $k:n$ , en distinguant la précision/comptabilité des MAC et les gains de vitesse réels sur matériel :

ViT-B/16 (2:4 + ToMe) : A atteint 83,41 % top-1 (−1,70 pp) avec une réduction de 59,81 % des MAC d'exécution parcimonieuse. Sur un NVIDIA A40, ce checkpoint a démontré un accélération native de 1,388× via les Sparse Tensor Cores.
ViT-B/16 (Sans ToMe, A100) : Un point de terminaison distinct a obtenu un accélération de 2,705× en passant du mode dense à la parcimonie 2:4 sans ToMe.
Motifs plus larges :
- ViT-B/16 (6:12) : 83,74 % top-1.
- ViT-L/16 (8:16 dense+permutation) : 85,33 % top-1 (−0,51 pp).
- ConvNeXtV2-Base (12:16) : 86,35 % top-1 (−0,37 pp).
CNN :
- ResNet50 (8:16 dense+permutation) : 75,87 % top-1 (−0,26 pp).
- ResNet152d (CAST-conv+permutation) : 81,33 % top-1 (−1,53 pp) avec une accélération de 1,62× im2col+2:4 sparse-GEMM sur A40.

3.3 Lois d'Échelle (Scaling Laws)

Les preuves empiriques suggèrent que les checkpoints denses plus larges ont tendance à subir des pénalités de top-1 plus faibles à des niveaux de parcimonie équivalents. Les auteurs attribuent cela au fait que la limite MP est un objet spectral asymptotique mieux résolu dans les matrices plus grandes, et que les couches surparamétrées plus larges contiennent un « réservoir de bulk de type aléatoire » plus important dont le retrait a un effet minimal sur le chemin de données.

4. Signification et Revendications

Le document affirme que ses principales contributions sont :

Maintien de la Précision avec des Budgets Courts : Démontrer qu'une haute précision peut être conservée après l'élagage avec un réglage fin minimal (par exemple, 3 époques de distillation pour CAST), contrastant avec les pipelines nécessitant de longs réentraînements.
Certificats Déterministes : Fournir des garanties théoriques qui lient la suppression des composantes de type aléatoire (identifiées via les diagnostics MP) à la préservation de la précision, spécifiquement pour les échantillons avec de larges marges.
Déployabilité Pratique : Valider que ces signaux théoriques se traduisent par des accélérations réelles sur matériel (A40/A100) pour les ViT et les CNN, particulièrement lorsqu'ils sont combinés avec des motifs de parcimonie structurée (2:4, 6:12, etc.).
Allocation par Couche : Utiliser les diagnostics spectraux MP pour allouer différents budgets d'élagage aux différentes couches en fonction de leurs propriétés spectrales (traitant les couches de type MP comme des candidates pour des budgets plus importants tout en protégeant les couches non-MP ou à queue lourde).

Les auteurs déclarent explicitement que la limite MP sert de condition de matrice aléatoire suffisante et de signal pratique par couche, plutôt que de borne certifiée complète pour toutes les architectures de transformers. Le travail est présenté comme une approche « inspirée par le certificat » où la théorie motive l'algorithme, et où les résultats empiriques valident l'efficacité de la stratégie d'élagage à budget court.