🤖 machine learning

Neural network relief: a pruning algorithm based on neural activity

Dit artikel stelt een iteratief pruning-algoritme voor dat geïnspireerd is op de ijle connectiviteit van het menselijk brein, dat een op neurale activiteit gebaseerde belangrijksheidsmetriek gebruikt om onbelangrijke verbindingen te identificeren en te deactiveren, waardoor aanzienlijke parametercompressie wordt bereikt terwijl een vergelijkbare nauwkeurigheid behouden blijft over diverse diepe neurale netwerkarchitecturen en datasets.

Oorspronkelijke auteurs: Aleksandr Dekhovich, David M. J. Tax, Marcel H. F. Sluiter, Miguel A. Bessa

Gepubliceerd 2026-08-03

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Aleksandr Dekhovich, David M. J. Tax, Marcel H. F. Sluiter, Miguel A. Bessa

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, complexe puzzel probeert op te lossen. Je hebt een gigantische doos met duizenden stukjes, maar wanneer je daadwerkelijk gaat bouwen, heb je er slechts een handvol nodig. De rest is gewoon rommel, die ruimte inneemt en het moeilijker maakt om de juiste stukjes te vinden. Dit is precies de situatie waar moderne "Deep Neural Networks" (DNN's) voor staan, de superintelligente computerbreinen achter zaken als beeldherkenning en stemassistenten. Deze digitale breinen zijn gebouwd met miljoenen kleine verbindingen, maar onderzoekers hebben opgemerkt dat voor een specifieke taak de meeste van deze verbindingen er gewoon zitten zonder iets te doen. Ze zijn overwerkt en overbezet.

De grote vraag die wetenschappers stellen is: Hoe kunnen we het overtollige vet wegknippen zonder het spierweefsel aan te tasten? We willen deze gigantische netwerken verkleinen zodat ze sneller draaien en minder geheugen gebruiken, zonder dat ze vergeten hoe ze de puzzel moeten oplossen. Het paper dat je nu gaat lezen, pakt dit aan door te kijken naar hoe deze computerbreinen daadwerkelijk "denken" terwijl ze werken. In plaats van simpelweg te gokken welke verbindingen nutteloos zijn, stellen de auteurs een nieuwe manier voor om naar de activiteit van het brein te luisteren, de stilste delen te vinden en deze vervolgens voorzichtig uit te schakelen. Het is als een slimme conciërge die niet zomaar de hele kamer veegt, maar zorgvuldig controleert welke lampen uit zijn en deze vervolgens definitief uitschakelt, terwijl de felle, actieve lampen het zware werk blijven doen.

De "Neural Network Relief" Strategie

Maak kennis met NNrelief, een nieuw pruning-algoritme (een deftig woord voor "inkorten") dat fungeert als een zeer attente dirigent voor een orkest. In een typisch diep neuraal netwerk is elke muzikant (of neuron) aan het spelen, zelfs als ze alleen maar zachtjes meezingen. Het doel van NNrelief is om de muzikanten te vinden die niet echt bijdragen aan het nummer en hen om een pauze te vragen, terwijl de muziek perfect blijft klinken.

De Oude Manier vs. De Nieuwe Manier

Al een lange tijd is de standaardmanier om deze netwerken in te korten gebaseerd op magnitude (grootte). Stel je voor dat je een reeks touwen hebt die twee punten verbinden. De oude methode zei: "Snijd de dunste touwen door!" Het idee was dat een dun touw (een klein getal, of "gewicht") niet veel gewicht kon dragen, en dus nutteloos moest zijn.

Maar de auteurs van dit paper beargumenteren dat dit een beetje is als het beoordelen van de bijdrage van een persoon aan een team enkel op basis van hoe hard ze schreeuwen. Iemand kan een megafoon hebben (een enorm gewicht) maar fluisteren (een zwak signaal), wat betekent dat diegene eigenlijk niet veel helpt. Omgekeerd kan iemand met een normale stem op precies de juiste momenten de juiste woorden roepen.

NNrelief verandert het spel. In plaats van alleen naar de dikte van het touw te kijken (het gewicht), kijkt het naar hoeveel signaal er daadwerkelijk doorheen stroomt. Het vraagt: "Hoeveel informatie draagt deze verbinding op dit moment echt?" Als een verbinding een zwak signaal draagt, zelfs als het touw dik is, wordt deze verwijderd. Als een verbinding een sterk signaal draagt, zelfs als het touw dun is, blijft deze behouden.

Hoe het werkt: De "Belangrijkheidsscore"

Het team heeft een simpele wiskundige truc bedacht genaamd een importance score (belangrijkheidsscore). Denk aan dit als een "bijdragemeter" voor elke individuele verbinding in het netwerk.

Ze observeren hoe het netwerk een probleem oplost (zoals het identificeren van een foto van een kat).
Ze berekenen hoeveel "energie" of "signaal" er door elke verbinding stroomt.
Ze rangschikken de verbindingen van meest belangrijk naar minst belangrijk.
Ze stellen een doel vast: "Behoud de bovenste 95% van het signaal."
Ze snijden alles weg dat onder die lijn valt.

Het coole eraan? Ze snijden niet een vast aantal verbindingen weg (zoals "snijd 50% weg"). Ze snijden op basis van de activiteit. Dit betekent dat het netwerk zelf beslist hoeveel verbindingen het nodig heeft om het signaal sterk te houden.

Het "Relief"-effect

Toen ze dit deden, gebeurde er iets fascinerends. Het netwerk werd niet alleen kleiner; het werd ook meer in balans. Vóór de pruning waren sommige verbindingen dood belangrijk terwijl andere stil waren. Na de pruning begonnen de resterende verbindingen allemaal ongeveer hetzelfde niveau van belangrijkheid te hebben. De auteurs noemen dit "Neural Network Relief". Het is als een team waarin iedereen zijn eigen gewicht draagt, in plaats van een paar supersterren en een hoop ballast. Het netwerk wordt een slanke, efficiënte machine waarbij elke resterende verbinding iets nuttigs doet.

De Resultaten: Grote Winsten, Kleine Verliezen

Het team heeft dit getest op verschillende beroemde netwerkarchitecturen (LeNet, VGG en ResNet) met standaard beelddatasets zoals MNIST (handgeschreven cijfers), CIFAR-10/100 (kleine gekleurde afbeeldingen) en Tiny-ImageNet.

Dit is wat ze vonden:

Voor VGG-netwerken: Ze slaagden erin het netwerk met meer dan 50 keer te verkleinen (minder dan 2% van de oorspronkelijke parameters behouden) op de CIFAR-10 dataset, met vrijwel geen verlies aan nauwkeurigheid. Op de Tiny-ImageNet dataset bereikten ze een compressie van meer dan 40 keer (slechts 2,32% van de parameters behouden) met een minimale daling in nauwkeurigheid van slechts 0,03%.
Voor ResNet-netwerken: Ze bereikten een hoog percentage aan gesnoeide parameters, specifiek 76,2% van de parameters behouden (wat betekent dat ongeveer 23,8% werd gesnoeid) voor ResNet-56 op CIFAR-10, terwijl de nauwkeurigheid zeer dicht bij het origineel bleef.
De Optimizer-verrassing: Ze testten twee verschillende "trainingscoaches" (optimizers), genaamd Adam en SGD. Op VGG-netwerken was Adam veel agressiever en sneed het meer verbindingen weg dan SGD. Echter, op ResNet-netwerken presteerden beide coaches vergelijkbaar, wat suggereert dat het type netwerk net zo belangrijk is als de trainingsmethode.

Wat ze niet deden

Het is belangrijk om te vermelden wat dit paper niet beweert. De auteurs geven expliciet aan dat hun doel niet was om het aantal wiskundige berekeningen (FLOPs) te minimaliseren die door de huidige computerhardware vereist zijn, hoewel ze wel een vermindering daarvan zagen. Hun hoofdfocus lag op het aantal verbindingen en het "signaal" dat zij dragen. Ze beweerden ook niet het probleem van "continual learning" (leren van nieuwe taken zonder oude te vergeten) te hebben opgelost, hoewel ze suggereren dat hun methode een cruciale stap richting dat toekomstige doel is.

De Kernboodschap

Dit paper suggereert dat we niet hoeven te gokken welke delen van een neuraal netwerk nutteloos zijn. Door te luisteren naar de werkelijke activiteit van de neuronen, kunnen we het overtollige vet met chirurgische precisie wegsnijden. Het resultaat is een kleiner, eenvoudiger netwerk dat verrassend robuust is. Het is een beetje alsof je ontdekt dat je net zo snel een auto kunt rijden met een veel kleinere motor, zolang je hem maar afstemt op het juiste ritme. De "Neural Network Relief"-aanpak laat zien dat soms minder echt meer is, mits je precies weet wat je moet loslaten.

Technische Samenvatting: Neural Network Relief: Een Pruning-algoritme Gebaseerd op Neurale Activiteit

Probleemstelling
Huidige diepe neurale netwerken (DNN's) zijn doorgaans overgeparameteriseerd en maken tijdens de inferentie voor een specifieke taak het merendeel van hun neuronale verbindingen gebruik. In tegen plaats ontwikkelen menselijke hersenen gespecialiseerde regio's en voeren zij inferentie uit met slechts een fractie van hun verbindingen. De auteurs identificeren de noodzaak om de overparameterisering in DNN's aan te pakken door het minimale aantal verbindingen te vinden dat in staat is een specifieke taak op te lossen met vergelijkbare nauwkeurigheid. Terwijl bestaande pruning-methoden vaak vertrouwen op vooraf gedefinieerde ratio's van parameterverwijdering of gewichtsgroottes, kunnen deze benaderingen leiden tot drastische dalingen in nauwkeurigheid als de pruning-ratio te hoog is, of ze falen omdat ze geen rekening houden met de werkelijke bijdrage van een verbinding aan het signaal van het neuron.

Methodologie
Het paper stelt "NNrelief" voor, een iteratieve pruning-strategie die onbelangrijke verbindingen deactiveert op basis van een nieuwe metriek voor belangrijkheidsscore. In tegenstelling tot op grootte gebaseerde benaderingen, evalueert deze methode het lokale gedrag van verbindingen door zowel de gewichtsgrootte als de sterkte van het inputsignaal (neurale activiteit) te overwegen.

Belangrijkheidsscore Metriek:
- Fully Connected Lagen: De belangrijkheid van een verbinding tussen neuron $i$ (laag $l-1$ ) en neuron $j$ (laag $l$ ) wordt gedefinieerd als de absolute waarde van het product van het gewicht $w_{ij}^{(l)}$ en de input-activatie $x_i^{(l-1)}$ , genormaliseerd door de totale belangrijkheid van alle inputs naar neuron $j$ (inclusclusief de bias). Dit kwantificeert de relatieve bijdrage van een specifieke verbinding aan het totale signaal van het neuron.
- Convolutionele Lagen: De metriek wordt aangepast voor kernels en biases. De belangrijkheid van een kernel wordt berekend op basis van de Frobenius-norm van de convolutie tussen de kernel en de input feature maps, gemiddeld over de dataset, en genormaliseerd door de totale filter-belangrijkheid.
Pruning Proces:
- Het algoritme werkt iteratief. Voor elke laag worden belangrijkheidsscores berekend voor alle inkomende verbindingen (of kernels) met behulp van een subset van de trainingsdata.
- Verbindingen worden gesorteerd op belangrijkheid. Het algoritme bepaalt een drempelwaarde zodat de som van de top belangrijkheidsscores de vooraf gedefinieerde retentieratio $\alpha$ bereikt (bijv. 0,95).
- Verbindingen onder deze drempelwaarde worden gepruned (op nul gezet).
- Het netwerk wordt na de pruning-iteraties opnieuw getraind. De auteurs geven expliciet aan dat zij iteratieve pruning uitvoeren door het netwerk opnieuw te trainen vanaf initiële willekeurige parameters voor LeNet-experimenten, en vergelijkbaar opnieuw trainen vanaf willekeurige initialisaties voor VGG- en ResNet-architecturen in plaats van fine-tuning te gebruiken.
Theoretische Grenzen: Het paper leidt foutgrenzen af voor het signaalverschil vóór en na pruning. Het demonstreert dat de benaderingsfout van een neuron afneemt naarmate de retentieparameter $\alpha$ toeneemt, mits de activatiefunctie Lipschitz-continu is.

Belangrijkste Bijdragen

Op Neurale Activiteit Gebaseerde Pruning: Een nieuwe metriek die verbindingen deactiveert die zwakke signalen bijdragen aan de volgende laag, in plaats van simpelweg kleine gewichten te verwijderen. Dit contrasteert met op grootte gebaseerde pruning, die ervan uitgaat dat kleine gewichten onbeduidend zijn, ongeacht het inputsignaal.
Adaptieve Pruning: In tegenstelling tot methoden die een vast percentage parameters prunen, bepaalt NNrelief adaptief het aantal verbindingen dat verwijderd moet worden op basis van de distributie van belangrijkheidsscores om een specifiek signaalniveau te handhaven.
Concept van Neural Network Relief: De auteurs observeren dat de pruning-strategie leidt tot een "homogenisering" van de verbindingsbelangrijkheid onder de resterende neuronen. Dit concept, getiteld "neural network relief", suggereert het gelijkmatig verdelen van belang onder minder verbindingen in plaats van te vertrouwen op enkele zeer dominante verbindingen.
Foutanalyse: De afleiding van theoretische grenzen laat zien dat de signaalperturbatie geïntroduceerd door pruning gecontroleerd wordt door de retentieparameter $\alpha$ .

Experimentele Resultaten
De auteurs evalueerden NNrelief op LeNet, VGG en ResNet architecturen over de MNIST, CIFAR-10/100 en Tiny-ImageNet datasets, gebruikmakend van zowel Adam als SGD optimizers.

LeNet (MNIST): De methode behaalde een nauwkeurigheid vergelijkbaar met state-of-the-art (SOTA) algoritmen (bijv. DNS, L-OBS) terwijl ongeveer 1,5% van de parameters behouden bleef voor LeNet-300-100 en 0,65% voor LeNet-5.
VGG (CIFAR-10/100, Tiny-ImageNet):
- Op CIFAR-10 reduceerde de aanpak de parameters tot minder dan 2% van het origineel (bereikte ongeveer 52x compressie) met slechts een daling van 0,1% in nauwkeurigheid voor de VGG-achtige architectuur (een aangepaste versie van VGG-16 met één minder fully connected laag). Het paper merkt op dat dit specifieke compressieniveau werd bereikt voor VGG-achtig, en niet voor de standaard VGG-13. De methode presteerde beter dan SOTA in zowel parameterretentie als FLOPs-reductie voor deze configuratie.
- Op Tiny-ImageNet behaalde de methode meer dan 40x compressie (behield ~2,3% van de parameters) met een verwaarloosbaar nauwkeurigheidsverlies (0,03% daling) met behulp van de Adam optimizer.
- De Adam optimizer leverde over het algemeen hogere compressieratio's op dan SGD voor VGG-architecturen, hoewel SGD soms een iets hogere nauwkeurigheid behield.
ResNet (CIFAR-10/100, Tiny-ImageNet):
- Voor ResNet-20 en ResNet-56 op CIFAR-10 prune de methode meer dan 60-76% van de parameters met een vergelijkbare nauwkeurigheid als SOTA-methoden.
- Op CIFAR-100 behaalde de methode significante compressie (bijv. ~68% parameters gepruned voor ResNet-56) met minimale degradatie in nauwkeurigheid.
- In tegenstelling tot VGG was het verschil in sparsity tussen Adam en SGD minder uitgesproken voor ResNets. De auteurs schrijven dit toe aan skip-verbindingen die signalen ongehinderd doorlaten, wat het voor de optimizer moeilijker maakt om significante activaties te onderscheiden in residuele blokken.

Betekenis en Claims
Het paper beweert dat NNrelief een robuust alternatief biedt voor op grootte gebaseerde pruning door te focussen op de werkelijke bijdrage van verbindingen aan de signaalvoortplanting van het netwerk. De auteurs stellen dat hun aanpak:

Een aanzienlijk hogere parametercompressie bereikt (meer dan 50 keer voor VGG-achtig op CIFAR-10 en meer dan 40 keer op Tiny-ImageNet) vergeleken met SOTA-algoritmen, terwijl een vergelijkbare nauwkeurigheid behouden blijft.
Effectief is over verschillende architecturen (LeNet, VGG, ResNet) en optimizers (Adam, SGD).
Een mechanisme biedt om verbindingen vrij te maken voor andere taken, wat dient als een stap richting continual learning strategieën.
Hoewel niet expliciet ontworpen om FLOPs te minimaliseren voor huidige hardware-implementaties, presteert het redelijk goed in die zin vergeleken met bestaande methoden.

De auteurs concluderen dat de resulterende sub-netwerken het grootste deel van het originele signaal voortplanten met minder parameters en een gehomogeniseerde distributie van belangrijkheid vertonen, wat het concept van "neural network relief" valideert.