🤖 machine learning

Finding Sparse Subnetworks in One Training Cycle via Progressive Magnitude-Based Pruning

Dit artikel stelt een methode voor met één trainingscyclus genaamd progressive magnitude-based pruning, die de sparsiteit tijdens de training geleidelijk verhoogt en een superieure nauwkeurigheid bij hoge sparsiteitsniveaus demonstreert vergeleken met iteratieve en op initialisatie gebaseerde baselines zoals de Lottery Ticket Hypothesis, SNIP en GraSP.

Oorspronkelijke auteurs: Romana Qureshi, Hafida Benhidour, Said Kerrache, Nahlah Aljeraisy

Gepubliceerd 2026-06-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Romana Qureshi, Hafida Benhidour, Said Kerrache, Nahlah Aljeraisy

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een enorme, overenthousiaste student voor die een vak probeert te leren. Deze student heeft een brein vol met miljarden verbindingen, maar veel daarvan zijn slechts "ruis"—ze helpen de student niet echt om het probleem op te lossen. Sterker nog, het hebben van te veel verbindingen maakt de student traag, onhandig en moeilijk mee te dragen (zoals het proberen te proppen van een gigantische bibliotheek in een rugzak).

Dit artikel gaat over een nieuwe, efficiënte manier om deze student te leren hoe hij slim maar klein kan zijn, en dat alles in één enkel schooljaar, in plaats van dat ze het hele jaar keer op keer moeten herhalen.

Hier is de onderverdeling van hun aanpak met behulp van eenvoudige analogieën:

Het Probleem: Het "Loterijticket" is te duur

Wetenschappers ontdekten eerder iets dat de "Lottery Ticket Hypothesis" wordt genoemd. Ze ontdekten dat er binnen een gigantisch, rommelig neuraal netwerk (het brein van de student) een klein, perfect "winnend ticket" zit (een klein, efficiënt sub-netwerk) dat het probleem net zo goed kan oplossen als het gigantische netwerk.

Het vinden van dit winnende ticket was echter als het zoeken naar een speld in een hooiberg door een nieuwe hooiberg te bouwen, deze te controleren, weg te gooien en vervolgens een nieuwe te bouwen. De oude methode vereiste:

Het trainen van het gigantische netwerk.
Het wegknippen van de zwakke delen.
Resetten van de resterende delen naar hoe ze aan het begin waren.
Opnieuw beginnen en opnieuw trainen.
Deze cyclus vele malen herhalen.

Dit kostte een enorme hoeveelheid tijd en computerkracht, wat het doel van het kleiner en sneller maken van het model tenietdeed.

De Oplossing: De "Progressieve Tuinier"

De auteurs stellen een nieuwe methode voor genaamd Progressive Magnitude-Based Pruning. In plaats van de tuin te resetten en opnieuw te beginnen, treden zij op als een tuinier die een plant snoeit terwijl deze groeit.

Zo werkt hun "één-cyclus"-methode:

Het Lineaire Schema (De Langzame Snoei): Stel je voor dat de student een cursus van 200 dagen volgt. In plaats van op dag 1 direct 50% van de verbindingen weg te knippen, beginnen de auteurs met het wegsnijden van een heel klein beetje elke dag. Tegen het einde van de cursus hebben ze 90% van de verbindingen voorzichtig verwijderd. Dit geeft het netwerk de tijd om zich aan te passen en te leren hoe het moet functioneren met minder verbindingen, in plaats van een schok te krijgen door een plotselinge massale inkorting.
De Magnitude-regel (Het Zwakste Wegknippen): Hoe beslissen ze wat ze wegknippen? Ze kijken naar de "sterkte" (magnitude) van elke verbinding. Als een verbinding zwak is (dicht bij nul ligt), is het als een takje dat niet veel gewicht draagt. Ze knippen eerst de zwakste takjes weg.
Geen Teruggroei (De Eenrichtingsweg): Zodra een verbinding is weggeknipt, blijft deze weggeknipt. Ze laten het niet terug groeien. Dit houdt het proces eenvoudig en zorgt ervoor dat het netwerk steeds kleiner en kleiner wordt, zonder ooit weer groter te worden.
De "Actieve" Controle: Ze kijken alleen naar de verbindingen die nog in leven zijn om te beslissen wat ze als volgende wegknippen. Ze negeren de verbindingen die al dood zijn (op nul gezet). Dit zorgt ervoor dat ze altijd de zwakste resterende verbindingen wegknippen.

De Resultaten: Klein maar Krachtig

De auteurs hebben deze "Progressieve Tuinier" getest op standaardtests (zoals het herkennen van handgeschreven cijfers of kleine afbeeldingen) en vergeleken deze met de oude "reset-en-hertrain"-methoden.

Snelheid: Ze deden het in één enkele trainingscyclus. Geen resetten, geen opnieuw beginnen.
Prestaties: Verrassend genoeg was hun "one-shot"-methode vaak beter dan de oude methoden die vele cycli vereisten.
- Op een standaardtest (CIFAR-10) behaalde hun methode een nauwkeurigheid van 95,12% met een zeer spaarzaam netwerk, terwijl de oude "Lottery Ticket"-methode slechts 90,5% haalde met vergelijkbare spaarzaamheid.
- Zelfs toen ze bijna alles wegknipten (waardoor slechts 2% van de verbindingen overbleef), presteerde hun methode nog steeds beter dan de concurrentie.

Het "Sweet Spot"

De auteurs hebben ook geanalyseerd hoeveel ze konden wegknippen voordat de student zou beginnen te falen. Ze vonden een "sweet spot" tussen 70% en 85% spaarzaamheid (wat betekent dat 70-85% van de verbindingen weg is).

In dit bereik daalde de prestatie van de student nauwelijks (minder dan 0,1% verschil met het volledige, gigantische netwerk).
Het is alsof je 8 van de 10 boeken uit een bibliotheek verwijdert, maar de student kan nog steeds elke vraag even goed beantwoorden als voorheen.

De Kern van het Verhaal

Dit artikel beweert dat je niet door het uitputtende proces van "trainen, knippen, resetten, hertrainen" hoeft te gaan om een klein, efficiënt neuraal netwerk te vinden. In plaats daarvan kun je simpelweg geleidelijk de zwakke delen wegknippen terwijl het netwerk leert, en zul je eindigen met een klein, snel en zeer nauwkeurig model in de helft van de tijd (of minder).

Het is een eenvoudigere, snellere manier om AI-modellen te verkleinen zonder hun intelligentie te verliezen.

Technische Samenvatting: Het vinden van ijle subnetwerken in één trainingscyclus via progressieve magnitude-gebaseerde pruning

1. Probleemstelling

Diepe neurale netwerken hebben opmerkelijk succes behaald in computer vision en natuurlijke taalverwerking, maar worden geconfronteerd met aanzienlijke implementatieproblemen in omgevingen met beperkte middelen (mobiel, edge, IoT) vanwege hun computationele en geheugeneisen. Pruning van neurale netwerken biedt een oplossing door minder belangrijke parameters te verwijderen om de modelgrootte te verkleinen terwijl de voorspellende prestaties behouden blijven.

Echter, bestaande paradigma's lijden aan specifieke beperkingen:

Iteratieve Pruning (bijv. Lottery Ticket Hypothesis - LTH): Hoewel LTH aantoont dat ijle "winning tickets" bestaan binnen dichte netwerken, vereist het vinden ervan meerdere volledige trainingscycli (trainen, prunen, gewichten resetten naar initialisatie, hertrainen). Dit introduceert aanzienlijke computationele overhead die de efficiëntiedoelen van pruning ondermijnt.
Initialisatie-gebaseerde Pruning (bijv. SNIP, GraSP): Deze methoden prunen voordat de training begint op basis van verbindinggevoeligheid of gradiëntstroom. Hoewel deze computationeel goedkoper zijn, leggen ze een vaste ijle structuur vast voordat de gewichtstijdigheid tijdens het leren kan evolueren.
Dynamische Sparse Training: Methoden die connectiviteit laten veranderen via pruning en regrowth introduceren implementatiecomplexiteit en vereisen zorgvuldige afstemming van regrowth-schema's.

Het centrale probleem dat wordt aangepakt, is het gebrek aan een efficiënte, single-cycle pruning methode die hoogpresterende ijle subnetwerken kan identificeren zonder de computationele kosten van iteratieve hertraining of de rigiditeit van pre-training pruning.

2. Methodologie

De auteurs stellen Progressieve Magnitude-gebaseerde Pruning voor, een methode die ijle subnetwerken identificeert tijdens een enkele trainingscyclus door de ijlheid geleidelijk te verhogen.

Kernmechanisme

Lineair Sparsity Schema: De methode maakt gebruik van een lineair schema om de ijlheid te verhogen van een initiële waarde ( $s_i$ ) naar een doelwaarde ( $s_f$ ) over een aangewezen pruning-fase (epochs $t_{start}$ tot $t_{end}$ ).
Adaptieve Drempelwaarde: In elke epoch tijdens de pruning-fase wordt een globale magnitude drempelwaarde ( $\theta_t$ ) berekend op basis alleen van de momenteel actieve (niet-geprunte) gewichten. Dit zorgt ervoor dat de drempelwaarde de evoluerende gewichtsverdeling reflecteert in plaats van vertekend te worden door op nul gezette geprunte gewichten.
Monotone Pruning (Geen Regrowth): De methode handhaaft een strikte monotone beperking: zodra een gewicht is gepruned, blijft het permanent inactief. De nieuwe mask is de intersectie van het kandidaatmasker (gebaseerd op de huidige drempelwaarde) en het vorige masker. Dit elimineert de noodzaak voor complexe mechanismen voor gewichtsregrowth.
Multi-stage Mask Handhaving: Om ervoor te zorgen dat geprunte gewichten geen gradiëntupdates ontvangen of afwijken van nul door optimizer-momentum, worden maskers in drie stadia afgedwongen:
1. Pre-Forward: Gewichten op nul zetten vóór de forward pass.
2. Gradient Masking: Gradiënten op nul zetten tijdens backpropagation.
3. Post-Optimizer: Gewichten opnieuw op nul zetten na de optimizer-stap om momentum-effecten tegen te gaan.

Trainingsfasen

Het trainingsproces omvat:

Warm-up (Optioneel): Trainen zonder pruning om de gewichtsmagnitudes te laten stabiliseren.
Progressieve Pruning: Geleidelijke toename van ijlheid met behulp van het lineaire schema.
Fine-tuning: Voortgezet trainen op de doel-ijlheid om de uiteindelijke ijle architectuur te optimaliseren.

3. Belangrijkste Bijdragen

Het artikel schetst vier primaire bijdragen:

Systematische Evaluatie: De methode wordt geëvalueerd over ResNet, VGG-stijl en LeNet architecturen op CIFAR-10 en MNIST, inclusief statistische validatie met vijf willekeurige seeds voor ResNet-18.
Directe Baseline Vergelijkingen: De auteurs bieden directe vergelijkingen met representatieve iteratieve (LTH) en initialisatie-gebaseerde (SNIP, GraSP) pruning methoden onder nauw aansluitende instellingen.
Eenvoud en Effectiviteit: De studie toont aan dat een lineair sparsity schema met monotone pruning sterke resultaten oplevert zonder complexe schedulingfuncties of gewichtsregrowth-mechanismen.
Sparsity-Accuracy Trade-off Analyse: Een gedetailleerde analyse over zeven ijlheidsniveaus (70% tot 95%) identificeert een gunstig werkingsbereik waar nauwkeurigheidsdegradatie minimaal is.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op CIFAR-10 en MNIST met behulp van ResNet-18, VGG-achtige, VGG-19 en LeNet-300-100 architecturen.

Prestaties vs. Baselines

ResNet-18 (CIFAR-10): Bij 72,9% ijlheid bereikte de voorgestelde methode 95,12% nauwkeurigheid, wat de gerapporteerde LTH-resultaten van 90,5% aanzienlijk overtreft, terwijl er slechts één trainingscyclus nodig was.
VGG-achtig (CIFAR-10): Bij 97% ijlheid bereikte de methode 93,13% nauwkeurigheid, waarmee het de gerapporteerde SNIP-resultaten van ~92,0% overtrof.
VGG-19 (CIFAR-10): Bij 97,97% ijlheid bereikte de methode 93,44% nauwkeurigheid, wat de gerapporteerde GraSP-resultaten van 92,19% bij 98% ijlheid overtreft.
LeNet-300-100 (MNIST): De methode presteerde beter dan zowel de LTH als de SNIP baselines bij respectievelijk 78,9% en 98% ijlheid, wat de generalisatie naar volledig verbonden netwerken aantoont.

Sparsity-Accuracy Trade-off

Werkingsbereik: Voor ResNet-18 op CIFAR-10 blijft de nauwkeurigheid binnen 0,1 procentpunt van de dichte baseline (95,27%) voor ijlheidsniveaus tussen 70% en 85%.
Hoge IJlheid: Bij 90% ijlheid daalt de nauwkeurigheid slechts licht naar 95,06%. Een meer merkbare degradatie treedt op bij 95% ijlheid (93,86%).
Efficiëntie: Bij 80% ijlheid behoudt het model 95,24% nauwkeurigheid (een daling van 0,03 pp) terwijl het aantal parameters met 5x wordt verminderd (slechts 20% behouden).

Ablatie Studie

De studie bevestigde dat het magnitude-gebaseerde pruning criterium de meest kritieke factor is, aangezien willekeurige pruning resulteerde in een nauwkeurigheidsdaling van 2,73%. Hoewel warm-up en fine-tuning marginale winst boden, bleef de kernmethode competitief zonder deze elementen.

5. Betekenis en Claims

Het artikel claimt dat progressieve magnitude-gebaseerde pruning een praktische, single-cycle alternatief biedt voor gevestigde pruning paradigma's. De betekenis ligt in:

Computationele Efficiëntie: Het elimineert de noodzaak voor meerdere trainingscycli die vereist zijn door iteratieve methoden zoals LTH.
Aanpasbaarheid: In tegen tegenstelling tot initialisatie-gebaseerde methoden, staat het de pruning mask toe om te adapteren naarmate de gewichtstijdigheid evolueert tijdens de training.
Implementatie Eenvoud: Door het vermijden van connection regrowth en complexe scheduling, vermindert het de implementatieoverhead vergeleken met dynamische sparse training.
Robuustheid: De methode bereikt competitieve of superieure prestaties over diverse architecturen (ResNet, VGG, LeNet) en extreme ijlheidsniveaus (tot ~98%).

De auteurs concluderen dat deze benadering, onder de geëvalueerde instellingen, een gebalanceerde en effectieve oplossing biedt voor de sparsificatie van neurale netwerken, waardoor het een levensvatbaar baseline vormt voor praktische implementatie waar computationele middelen beperkt zijn. Het artikel erkent beperkingen met betrekking tot ongestructureerde pruning (die mogelijk geen hardwareversnelling oplevert zonder sparse compute ondersteuning) en de noodzaak voor toekomstige tests op grotere datasets (bijv. ImageNet) en moderne architecturen (bijv. Transformers).