Block-Sparse Pruning Compresses Models Without Reducing Inference Latency in Intrusion Detection Networks

Stellen Sie sich das Internet als eine riesige, geschäftige Stadt vor, in der Millionen von digitalen Nachrichten jede Sekunde zwischen Gebäuden hin und her sausen. Um diese Stadt sicher zu halten, stehen an den Toren Wachleute (genannt Intrusion Detection Systems), die jedes Paket nach Anzeichen von Ärger scannen. Lange Zeit verließen sich diese Wachen auf ein riesiges, schweres Buch über „bekannte Bösewichte“, um Bedrohungen zu erkennen. Aber Hacker sind gerissen; sie erfinden jeden Tag neue Tricks, die noch nicht in dem Buch stehen. Also begannen Wissenschaftler, die Wachen dazu zu bringen, selbstständig zu denken, indem sie „Deep Learning“ einsetzen – eine Art von Computergehirn, das Muster lernt, indem es sich tausende von Beispielen ansieht.

Es gibt jedoch einen Haken. Diese superintelligenten Computergehirne sind riesig und hungrig. Sie benötigen enorme Mengen an Speicher und Energie, was für einen riesigen Server in einem Rechenzentrum zwar in Ordnung ist, aber schrecklich für die winzigen, batteriebetriebenen Geräte, die tatsächlich unsere Häuser und Router bewachen (wie die kleinen Computer in Ihrem smarten Thermostat oder einem Netzwerk-Switch). Wissenschaftler haben versucht, diese Gehirne zu verkleinern, ohne sie zu beschädigen, indem sie eine Technik namens „Pruning“ (Beschneidung) anwenden. Denken Sie beim Pruning an das Beschneiden einer Hecke: Man schneidet die Äste (oder in diesem Fall die ungenutzten Verbindungen innerhalb des Computergehirns) weg, um es kleiner und schneller zu machen. Die große Annahme in der Tech-Welt war bisher immer: „Wenn du 75 % der Verbindungen wegschneidest, wird das Gehirn um 7se 75 % leichter und läuft viel schneller.“

Aber was wäre, wenn diese Annahme falsch ist? Was wäre, wenn das Gehirn nach all dem Schneiden immer noch genauso langsam läuft, weil die Art und Weise, wie es aufgebaut ist, es gar nicht zulässt, die leeren Stellen zu überspringen? Das ist das Rätsel, das dieses Paper lösen will.

---

Das große Pruning-Experiment

In dieser Studie entschied sich ein Forscher namens Ishan Mishra dazu, diese „Schneiden macht es schneller“-Idee dem ultimativen Test zu unterziehen. Er führte die Zahlen nicht nur auf einem leistungsstarken Supercomputer durch; er nahm sein Computergehirn und setzte es auf einen Raspberry Pi 5 – einen winzigen, erschwinglichen Computerboard, der wie eine grüne Platine aussieht und die Art von Gerät ist, das man in einem echten Sicherheitssystem finden könnte.

Er baute ein „Multi-Classifier Deep Neural Network“, was eine schicke Bezeichnung für ein Computergehirn mit drei verschiedenen Denk-Schichten ist, von denen jede nach Ärger sucht. Er trainierte dieses Gehirn auf einem Datensatz namens NSL-KDD, was wie eine Übungsprüfung voller alter, bekannter Cyber-Angriffe ist. Um sicherzustellen, dass das Gehirn nicht verwirrt wird, indem es zu viele Beispiele einer Art von Angriff und zu wenige von einer anderen hat, nutzte er einen Trick namens SMOTE, um die Trainingsdaten auszubalancieren – im Grunde erzeugte er gefälschte Beispiele für seltene Angriffe, damit das Gehirn diese richtig lernt.

Dann kam das Pruning. Er nahm das trainierte Gehirn und wandte Block-Sparse Pruning an, eine spezifische Art, 74,55 % der Verbindungen (Gewichte) innerhalb des Netzwerks herauszuschneiden, sodass sie als Nullen zurückbleiben. Das Ziel war zu sehen, ob dieses „leere“ Gehirn schneller laufen würde und weniger Platz beanspruchen würde als das ursprüngliche, volle Gehirn.

Die Überraschung: Schneiden machte es nicht schneller

Hier kommt die Wendung: Das Pruning machte das Gehirn nicht schneller.

Der Forscher maß, wie lange der Computer für eine einzige Entscheidung (Inferenzlatenz) benötigte:

• Das ursprüngliche, volle Gehirn dauerte 0,0103 ± 0,0008 ms (Millisekunden).
• Das geprunte, „leere“ Gehirn dauerte 0,0101 ± 0,0002 ms.

Statistisch gesehen sind diese beiden Zahlen Zwillinge. Sie sind effektiv identisch. Das Paper verwendete einen speziellen statistischen Test namens TOST (Two One-Sided Tests), um zu beweisen, dass der Unterschied so winzig war, dass er in der realen Welt keine Rolle spielt. Das Ergebnis? Das Pruning reduzierte nicht die Zeit, die für eine Entscheidung benötigt wurde.

Warum? Das Paper erklärt, dass das Gehirn zwar weniger Verbindungen hatte, die Software, die auf dem Raspberry Pi läuft (genannt TFLite), aber nicht klug genug war, die leeren Stellen zu überspringen. Es war, als würde man einem Koch sagen, er solle 75 % der Zutaten auf der Arbeitsplatte ignorieren, aber der Koch muss trotzdem zu jedem einzelnen Platz gehen, hinsehen und entscheiden: „Oh, das ist leer“, bevor er weitermacht. Die Gehzeit (Latenz) änderte sich nicht, weil der Koch immer noch jeden Platz prüfen musste.

Die Überraschung bei der Dateigröße

Der Forscher prüfte auch, wie groß die fertige Datei war, als er das Gehirn für den Betrieb auf dem Gerät speicherte. Er erwartete, dass die geprunte Version viel kleiner sein würde. Stattdessen waren sowohl das volle als auch das geprunte Gehirn exakt 105.992 Bytes (etwa 103,51 KB) groß.

Das passierte, weil die Software, die die Datei für das Gerät vorbereitet (ein Prozess namens Quantisierung), die Zahlen ohnehin auf ihre kleinste Größe zusammengestaucht hatte, wodurch die „leeren“ Stellen in der geprunten Version irrelevant wurden. In diesem speziellen Setup sparte das Pruning also auch keinen Speicherplatz.

Das wahre Problem: Instabile Gehirne

Wenn das Pruning es nicht schneller oder kleiner machte, hat es dann die Fähigkeit des Gehirns beeinträchtigt, Hacker zu entlarven? Meistens nicht. Die Gesamtgenauigkeit blieb sehr nah beieinander:

• Das volle Gehirn erkannte 82,3 % der bekannten Angriffe korrekt.
• Das geprunte Gehirn erkannte 81,2 % korrekt.

Das Paper fand jedoch etwas sehr Interessantes darüber heraus, wie das geprunte Gehirn scheiterte. Als die Forscher das Experiment fünfmal mit verschiedenen Zufallswerten (genannt „Seeds“) durchführten, bemerkten sie, dass das geprunte Gehirn instabil war.

Bei bestimmten Arten von Angriffen, wie dem Smurf-Angriff, war das volle Gehirn konsistent gut (es lag etwa bei 89 % richtig). Aber das geprunte Gehirn war eine Achterbahnfahrt. Je nachdem, welcher Zufallswert verwendet wurde, konnte es großartig sein (85 % richtig) oder schrecklich (11 % richtig). Es war wie ein Schüler, der manchmal eine Prüfung mit Bestnote besteht und manchmal komplett durchfällt, je nachdem, wie er an jenem Morgen aufgewacht ist.

Das Paper fand auch heraus, dass sowohl das volle als auch das geprunte Gehirn mit bestimmten Angriffen wie Back und Guess_passwd zu kämpfen hatten und diese fast mit 0 % richtig erkannten. Das lag nicht am Pruning; es lag daran, dass die Trainingsdaten zu unausgewogen waren, was dazu führte, dass das Gehirn einfach bei allem, bei dem es sich unsicher war, auf „Normal“ rät. Dieser Fehler trat jedes Mal auf, egal welcher Seed genutzt wurde.

Was ist mit neuen, unbekannten Angriffen?

Der Test beinhaltete auch 3.750 Datensätze (16,6 % des Test-Sets), die Angriffstypen enthielten, die das Gehirn noch nie zuvor gesehen hatte. Da das Gehirn nicht darauf trainiert war, konnte es diese nicht benennen. Stattdessen prüften die Forscher, ob das Gehirn sie zumindest als „verdächtig“ markierte, anstatt sie zu ignorieren.

• Das volle Gehirn markierte etwa 36,6 % dieser unbekannten Angriffe.
• Das geprunte Gehirn markierte etwa 37,0 %.

Auch hier gab es keinen wirklichen Unterschied. Das Pruning half dem Gehirn weder dabei, neue, unbekannte Tricks zu entdecken, noch verschlechterte es deren Erkennung.

Das Fazit

Dieses Paper ist ein Realitätscheck für jeden, der versucht, KI-Modelle für kleine Geräte zu verkleinern. Es beweist, dass das bloße Wegschneiden von Verbindungen (Pruning) nicht automatisch Dinge schneller macht, wenn die Software, die das Modell ausführt, nicht darauf ausgelegt ist, diese leeren Stellen auch zu nutzen.

Wenn man ein schnelleres Modell auf einem winzigen Gerät möchte, kann man sich nicht nur auf Pruning verlassen. Man muss entweder spezielle Software verwenden, die weiß, wie man die leeren Stellen überspringt, oder man muss eine andere Art des Prunings verwenden, die tatsächlich ganze Blöcke des Gehirns entfernt (strukturiertes Pruning), anstatt nur Löcher hineinzubohren.

Die Studie kommt zu dem Schluss, dass Pruning ein Modell zwar theoretisch kleiner machen kann, im realen Alltag der heutigen Standard-Software jedoch weder Geschwindigkeit noch Speicherplatz bringt. Und falls man es doch verwendet, muss man vorsichtig sein: Es kann die Leistung des Modells bei spezifischen Bedrohungen unvorhersehbar machen, sodass sie je nach Training zwischen großartig und schrecklich schwankt.