Technische Samenvatting: Pruning van Diepe Neurale Netwerken via de Marchenko–Pastur Verdeling

1. Probleemstelling

Het artikel behandelt de uitdaging van het comprimeren van Deep Neural Networks (DNN's), specifiek Vision Transformers (ViTs) en Convolutional Neural Networks (CNN's), voor implementatie onder strikte beperkingen. Het primaire doel is om significante sparsiteit te bereiken (het verminderen van Multiply-Accumulate operaties, of MAC's) met behoud van een hoge nauwkeurigheid, maar met een cruciale randvoorwaarde: minimale post-pruning fine-tuning budgetten.

Bestaande pruning-pipelines vertrouwen vaak op lange hertrainingsschema's of uitgebreide re-optimalisatie om de nauwkeurigheid na pruning te herstellen. Dit werk onderzoekt of een Marchenko–Pastur (MP) random-matrix benadering deterministische "data-path certificaten" kan bieden die nauwkeurige pruning mogelijk maken met zeer korte kalibratie- en fine-tuning schema's (bijv. één epoch per cyclus of drie distillatie-epochs). De kern van het probleem is het onderscheiden tussen "ruis" (random-achtige componenten die verwijderd kunnen worden) en "signaal" (gestructureerde componenten die behouden moeten blijven) binnen getrainde gewichtsmatrices zonder toegang tot validatie- of testdata tijdens de fase van de maskerconstructie.

2. Methodologie

2.1 Theoretisch Kader: Signaal vs. Ruis

De auteurs stellen een modelleringsveronderstelling voor waarbij een getrainde gewichtsmatrix $W$ op laag $\ell$ gedecomposeerd kan worden in een gestructureerde signaalcomponent $S$ en een random perturbatiecomponent $R$:
$$W = S + R$$

• Signaal ($S$): Wordt verondersteld low-rank of benaderend low-rank te zijn ten opzichte van de breedte van de laag, wat geleerde kenmerken (features) vertegenwoordigt.
• Ruis ($R$): Gemodelleerd als een onafhankelijke random perturbatie. Onder de Marchenko–Pastur (MP) wet vormen de singuliere waarden van dergelijke random matrices een "bulk" distributie met een bekende bovenste rand $\sigma_+$.

De theorie stelt dat als de verwijderde component $R$ een kleine gepropageerde logit-effect heeft, het verwijderen ervan een elastic-net objectief verlaagt en monsters met voldoende dichte marges behoudt.

2.2 Pruning Algoritmen

Het artikel introduceert twee primaire algoritmische strategieën gebaseerd op dit theoretische kader:

1. SER (Sparsify–Estimate–Restore):

   • Mechanisme: Begint met een over-gepruned kandidaat (het verwijderen van gewichten op basis van MP-gestuurde budgetten). Vervolgens evalueert het de "verloren massa" door de data-path en herstelt entries die het meest nuttig zijn voor het beoogde sparse model.
   • Hybride Magnitude–SER: Combineert standaard magnitude pruning (effectief bij lage sparsiteit) met SER (effectief bij hoge sparsiteit) om gebruik te maken van de stabiliteit van magnitude pruning en de spectrale gevoeligheid van SER.

2. CAST (Gestructureerde Sparsity):

   • Mechanisme: Richt zich op vaste $k:n$ gestructureerde sparsity patronen (bijv. 2:4, 6:12, 8:16), die compatibel zijn met hardware-accelerators zoals NVIDIA Tensor Cores.
   • Proces: Gebruikt een "certificate-inspired" objectief om te selecteren welke entries behouden moeten worden binnen een groep. Het maakt gebruik van een "free restoration" concept: binnen een groep waar de executiekosten al vaststaan door het sparsity patroon, kan het herstellen van een behouden entry het theoretische certificaat verbeteren zonder het aantal uitgevoerd gewichten te veranderen.
   • ToMe Integratie: Voor Vision Transformers combineert de methode gewicht-pruning met Token Merging (ToMe) om het aantal te verwerken tokens te verminderen, wat de computationele last verder verlaagt.

2.3 Theoretische Certificaten

Het artikel biedt drie belangrijke theoretische resultaten om de pruning te rechtvaardigen:

• Deterministisch Data-Path Certificaat: Bewijst dat als de verwijderde component $R$ voldoet aan een grens op zijn gepropageerde logit-effect ($L_s \|R\psi_1(s)\|_\infty$), pruning het elastic-net objectief verlaagt en monsters met grote marges behoudt.
• Prune–Restore Certificaat: Modelleert gestructureerde sparsity en toont aan dat het herstellen van entries binnen een vaste sparse-execution groep het effectieve bereik kan verbeteren zonder het uiteindelijke executiepatroon te wijzigen.
• Additieve $L_2$-Regularisatie Theorie: Demonstreert dat onder eenzijdig stationariteit en lokale-path convergentie, toelaatbare random-achtige componenten verdwijnen bij de trainingslimiet, terwijl persistente signaalspikes stabiliseren naarmals de MP bulk instort.

3. Belangrijkste Resultaten

3.1 Unstructured Pruning (ViT-B/16)

Op ImageNet-1k bereikte de Hybrid Magnitude–SER methode 83.37% top-1 nauwkeurigheid bij 50% unstructured sparsity. Dit vertegenwoordigt een daling van slechts 1.74 procentpunt (pp) ten opzichte van de dense baseline (85.11%), bereikt met een zeer kort fine-tuning budget (één epoch per cyclus). Dit presteerde beter dan zowel klassieke magnitude pruning (81.67%) als een directe Random Matrix Theory (RMT) baseline (82.57%) onder identieke condities.

3.2 Gestructureerde Sparsity en Implementatie

Het artikel rapporteert resultaten voor gestructureerde $k:n$ patronen, waarbij onderscheid wordt gemaakt tussen nauwkeurigheid/MAC-rekenkunde en werkelijke hardware-snelheidsverbeteringen:

• ViT-B/16 (2:4 + ToMe): Bereikte 83.41% top-1 (−1.70 pp) met een reductie van 59.81% in sparse-execution MAC's. Op een NVIDIA A40 vertoonde dit checkpoint een 1.388× native sparse Tensor Core versnelling.
• ViT-B/16 (Geen ToMe, A100): Een apart eindpunt bereikte een 2.705× versnelling bij de overgang van dense naar 2:4 sparsity zonder ToMe.
• Wider Patterns:
  • ViT-B/16 (6:12): 83.74% top-1.
  • ViT-L/16 (8:16 dense+permutation): 85.33% top-1 (−0.51 pp).
  • ConvNeXtV2-Base (12:16): 86.35% top-1 (−0.37 pp).
• CNN's:
  • ResNet50 (8:16 dense+permutation): 75.87% top-1 (−0.26 pp).
  • ResNet152d (CAST-conv+permutation): 81.33% top-1 (−1.53 pp) met een 1.62× A40 im2col+2:4 sparse-GEMM versnelling.

3.3 Scaling Laws

Empirisch bewijs suggereert dat grotere dense checkpoints de neiging hebben om kleinere top-1 straffen te incasseren bij een gelijkwaardig niveau van sparsity. De auteurs schrijven dit toe aan het feit dat de MP edge een asymptotisch spectraal object is dat beter wordt opgelost in grotere matrices, en dat bredere overgeparameteriseerde lagen een grotere "random-achtige bulk reservoir" bevatten waarvan de verwijdering een minimale effect op de data-path heeft.

4. Betekenis en Claims

Het artikel claimt dat de belangrijkste bijdragen zijn:

1. Nauwkeurigheid Behoud met Korte Budgetten: Aantonen dat een hoge nauwkeurigheid behouden kan blijven na pruning met minimale fine-tuning (bijv. 3 distillatie-epochs voor CAST), in contrast met pipelines die lange hertraining vereisen.
2. Deterministische Certificaten: Het bieden van theoretische garanties die de verwijdering van random-achtige componenten (geïdentificeerd via MP-diagnostiek) koppelen aan het behoud van nauwkeurigheid, specifiek voor monsters met grote marges.
3. Praktische Implementeerbaarheid: Het valideren dat deze theoretische signalen vertalen naar echte snelheidsverbeteringen op hardware (A40/A100) voor zowel ViTs als CNN's, met name wanneer ze gecombineerd worden met gestructureerde sparsity patronen (2:4, 6:12, etc.).
4. Layerwise Allocatie: Het gebruik van MP spectrale diagnostiek om verschillende pruning budgetten toe te wijzen aan verschillende lagen op basis van hun spectrale eigenschappen (waarbij MP-achtige lagen worden behandeld als kandidaten voor grotere budgetten terwijl niet-MP of heavy-tailed lagen worden beschermd).

De auteurs stellen expliciet dat de MP edge dient als een voldoende random-matrix conditie en een praktisch layerwise signaal, in plaats van een volledig gecertificeerde grens voor alle transformer architecturen. Het werk wordt gepresenteerd als een "certificate-inspired" benadering waarbij de theorie het algoritme motiveert, en de empirische resultaten de effectiviteit van de short-budget pruning strategie valideren.