Block-Sparse Pruning Compresses Models Without Reducing Inference Latency in Intrusion Detection Networks

Stel je het internet voor als een enorme, bruisende stad waar miljoenen digitale berichten elke seconde tussen gebouwen heen en weer zoeven. Om deze stad veilig te houden, staan er beveiligers (genaamd Intrusion Detection Systems) bij de poorten om elk pakketje te scannen op tekenen van problemen. Een lange tijd vertrouwden deze bewakers op een gigantisch, zwaar boek met "bekende boeven" om dreigingen op te sporen. Maar hackers zijn slim; ze verzinnen elke dag nieuwe trucjes die nog niet in het boek staan. Daarom zijn wetenschappers begonnen om de bewakers te leren om zelf na te denken met behulp van "Deep Learning" — een type computerbrein dat patronen leert door naar duizenden voorbeelden te kijken.

Er is echter een addertje onder het gras. Deze superintelligente computerbreinen zijn enorm en hongerig. Ze hebben enorme hoeveelheden geheugen en energie nodig, wat prima is voor een gigantische server in een datacenter, maar vreselijk voor de kleine, batterijgestuurde apparaten die daadwerkelijk onze huizen en routers bewaken (zoals de kleine computers binnenin je slimme thermostaat of een netwerkswitch). Wetenschappers hebben geprobeerd deze breinen te verkleinen zonder ze kapot te maken, met behulp van een techniek genaamd "pruning" (snoeien). Denk bij pruning aan het snoeien van een heg: je knipt de takken weg (of in dit geval, de ongebruikte verbindingen binnenin het computerbrein) om het kleiner en sneller te maken. De grote aanname in de techwereld is altijd geweest: "Als je 75% van de verbindingen wegknipt, zal het brein 75% lichter zijn en veel sneller draaien."

Maar wat als die aanname onjuist is? Wat als, nadat al dat snoeien is gebeurd, het brein nog steeds net zo traag draait omdat de manier waarop het is gebouwd het niet echt toelaat om de lege plekken over te slaan? Dat is het mysterie dat dit artikel probeert op te lossen.

---

Het Grote Pruning-Experiment

In dit onderzoek besloot een onderzoeker genaamd Ishan Mishra om dit idee van "knippen maakt het sneller" tot het uiterste te testen. Hij draaide de cijfers niet alleen op een krachtige supercomputer; hij nam zijn computerbrein en plaatste het op een Raspberry Pi 5 — een kleine, betaalbare computerplaat die eruitziet als een groene printplaat en het soort apparaat dat je in een echte beveiligingsinstallatie zou kunnen vinden.

Hij bouwde een "Multi-Classifier Deep Neural Network", wat een chique manier is om te zeggen: een computerbrein met drie verschillende denklagen, die elk op zoek gaat naar problemen. Hij trainde dit brein op een dataset genaamd NSL-KDD, wat een soort oefentoets is vol oude, bekende cyberaanvallen. Om ervoor te zorgen dat het brein niet in de war raakte door te veel voorbeelden van het ene type aanval en te weinig van het andere, gebruikte hij een truc genaamd SMOTE om de trainingsdata in evenwicht te brengen; hij creëerde in feite nepvoorbeelden van zeldzame aanvallen zodat het brein deze goed zou leren.

To even kwam de pruning. Hij nam het getrainde brein en paste block-sparse pruning toe, wat een specifieke manier is om 74,55% van de verbindingen (gewichten) binnen het netwerk weg te knippen, waardoor ze als nul worden achtergelaten. Het doel was om te zien of dit "lege" brein sneller zou draaien en minder ruimte in beslag zou nemen dan het originele, volledige brein.

De Verrassing: Knippen Maakte Het Niet Sneller

Hier is de wending: de pruning maakte het brein niet sneller.

De onderzoeker mat hoe lang het de computer kostte om een enkele beslissing te nemen (inference latency).

• Het originele, volledige brein deed er 0,0103 ± 0,0008 ms (milliseconden) over.
• Het geprunede, "lege" brein deed er 0,0101 ± 0,0002 ms over.

Statistisch gezien zijn deze twee getallen tweelingen. Ze zijn effectief hetzelfde. Het paper gebruikte een speciale statistische test genaamd TOST (Two One-Sided Tests) om te bewijzen dat het verschil zo klein was dat het er in de echte wereld niet toe doet. De resultaat? Pruning verminderde de tijd die nodig was om een beslissing te nemen niet.

Waarom? Het paper legt uit dat hoewel het brein minder verbindingen had, de software die op de Raspberry Pi draait (genaamd TFLite) niet slim genoeg was om de lege plekken over te slaan. Het was alsof een chef-kok wordt verteld dat hij 75% van de ingrediënten op het aanrecht moet negeren, maar de chef moet nog steeds naar elke plek lopen, ernaar kijken en besluiten "oh, die is leeg," voordat hij verder kan gaan. De wandeltijd (latency) veranderde niet omdat de chef nog steeds elke plek moest controleren.

De Verrassing qua Bestandsgrootte

De onderzoeker controleerde ook hoe groot het uiteindelijke bestand was wanneer hij het brein opsloeg om op het apparaat te draaien. Hij verwachtte dat de geprugde versie veel kleiner zou zijn. In plaats daarvan waren zowel het volledige brein als het geprugde brein precies 105.992 bytes (ongeveer 103,51 KB).

Dit gebeurde omdat de software die het bestand voorbereidde voor het apparaat (een proces genaamd quantization) de getallen toch al platdrukte tot hun kleinste formaat, waardoor de "lege" plekken in de geprugde versie irrelevant werden. Dus in deze specifieke opstelling bespaarde pruning ook geen opslagruimte.

Het Echte Probleem: Onstabiele Breinen

Als pruning het brein niet sneller of kleiner maakte, maakte het dan de bekwaamheid van het brein om hackers te spotten slechter? Voor het grootste deel niet. De algemene nauwkeurigheid bleef zeer dichtbij:

• Het volledige brein kreeg 82,3% van de bekende aanvallen goed.
• Het geprugde brein kreeg 81,2% goed.

Echter, het paper vond iets heel interessants over hoe het geprugde brein faalde. Toen de onderzoekers het experiment vijf keer uitvoerden met verschillende willekeurige startpunten (genaamd "seeds"), merkten ze op dat het geprugde brein instabiel was.

Voor bepaalde soorten aanvallen, zoals de smurf-aanval, was het volledige brein consistent goed (het kreeg het ongeveer 89% van de tijd goed). Maar het geprugde brein was een achtbaan. Afhankelijk van welke willekeurige seed werd gebruikt, kon het geweldig zijn (85% goed) of verschrikkelijk (11% goed). Het was als een student die soms een examen met vlag en wimpel slaagt en soms volledig zakt, afhankelijk van hoe hij die ochtend wakker werd.

Het paper vond ook dat zowel het volledige als het geprugde brein moeite hadden met bepaalde aanvallen zoals back en guess_passwd, waarbij ze bijna 0% goed kregen. Dit kwam niet door de pruning; dit kwam omdat de trainingsdata te ongebalanceerd was, waardoor het brein simpelweg "normaal" gokte voor alles waar het niet zeker van was. Deze fout gebeurde elke keer opnieuw, ongeacht de seed.

Wat Met Nieuwe, Onbekende Aanvallen?

De test bevatte ook 3.750 records (16,6% van de testset) met aanvalstypes die het brein nog nooit eerder had gezien. Omdat het brein hier niet op getraind was, kon het ze geen naam geven. In plaats daarvan controleerden de onderzoekers of het brein ze tenminste als "verdacht" zou markeren in plaats van ze te negeren.

• Het volledige brein markeerde ongeveer 36,6% van deze onbekende aanvallen.
• Het geprugde brein markeerde ongeveer 37,0%.

Opnieuw was er geen echt verschil. Pruning hielp het brein niet om nieuwe, onbekende trucs te spotten, noch maakte het het slechter in het spotten ervan.

De Conclusie

Dit paper is een reality check voor iedereen die AI-modellen wil verkleinen voor kleine apparaten. Het bewijst dat het simpelweg wegknippen van verbindingen (pruning) niet automatisch zorgt dat dingen sneller gaan, als de software die het model draait niet ontworpen is om de lege plekken te benutten.

Als je een sneller model op een klein apparaat wilt, kun je niet alleen vertrouwen op pruning. Je moet ofwel speciale software gebruiken die weet hoe ze de lege plekken moeten overslaan, of je moet een ander soort pruning gebruiken die daadwerkelijk hele blokken van het brein verwijdert (gestructureerde pruning) in plaats van er alleen maar gaten in te maken.

De studie concludeert dat hoewel pruning een model in theorie kleiner kan maken, het in de echte wereld van de huidige standaardsoftware je geen snelheid of ruimte oplevert. En als je het toch gebruikt, moet je voorzichtig zijn: het kan de prestaties van je model op specifieke dreigingen onvoorspelbaar maken, waarbij het schommelt tussen geweldig en verschrikkelijk, afhankelijk van hoe het is getraind.