parHSOM: A novel parallel Hierarchical Self-Organizing Map implementation
Dieser Beitrag stellt parHSOM vor, eine neuartige parallele Implementierung von Hierarchischen Selbstorganisierenden Karten, die die Trainingszeit für Intrusion Detection Systems bei großen Datensätzen erheblich verkürzt und dabei eine Leistung erzielt, die mit der des sequenziellen Algorithmus vergleichbar ist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Ganze: Das Problem des „langsamen Detektivs"
Stellen Sie sich vor, Sie sind ein Cybersecurity-Detektiv, der versucht, böse Jungs (Hacker) zu finden, die sich in einem riesigen Haufen digitaler Beweismittel verstecken. Um dies zu tun, verwenden Sie ein spezielles Werkzeug namens Hierarchical Self-Organizing Map (HSOM) (Hierarchische Selbstorganisierende Karte).
Denken Sie an die HSOM als einen sehr intelligenten, organisierten Aktenschrank. Er wirft die Papiere nicht einfach in eine Kiste; er sortiert sie in Ordner, dann in Unterordner und dann in winzige Schubladen, wodurch eine klare Karte entsteht, wie verschiedene Datenteile miteinander zusammenhängen. Das ist großartig, weil es menschlichen Detektiven hilft zu verstehen, warum der Computer etwas für verdächtig hält (was es „erklärbar" macht).
Das Problem: Dieser Aktenschrank wird Schublade für Schublade von einem einzigen Arbeiter gebaut. Wenn Sie einen kleinen Haufen Papiere haben, ist das in Ordnung. Aber wenn Sie einen Berg von Daten haben (wie Millionen von Netzwerkprotokollen), dauert es für diesen einzelnen Arbeiter ewig, alles zu sortieren. Bis sie fertig sind, sind die Hacker möglicherweise bereits weitergezogen.
Die Lösung: Das „ParHSOM"-Team
Die Autoren dieses Papiers fragten: „Was wäre, wenn wir nicht nur einen Arbeiter einsetzen würden? Was wäre, wenn wir ein ganzes Team einstellen würden?"
Sie schufen parHSOM (Parallel HSOM). Anstatt dass eine Person den ganzen Datenberg sortiert, teilen sie den Berg in kleinere Haufen auf und geben jeden Haufen einem anderen Arbeiter (einem Computerprozessor), um ihn gleichzeitig zu sortieren.
Die Analogie: Das Bibliotheksprojekt
- Der alte Weg (Sequentielle HSOM): Eine Bibliothekarin muss 10.000 Bücher sortieren. Sie nimmt ein Buch, entscheidet, wo es hin gehört, legt es ab, nimmt das nächste und so weiter. Das dauert den ganzen Tag.
- Der neue Weg (parHSOM): Die Bibliothekarin teilt die 10.000 Bücher in 10 Stapel zu je 1.000 Büchern auf. Sie gibt jeden Stapel einer anderen Person. Alle 10 Personen sortieren ihre Stapel gleichzeitig. Wenn sie fertig sind, klebt die Bibliothekarin die Stapel einfach wieder zusammen. Die Arbeit ist in einem Bruchteil der Zeit erledigt.
Wie es funktioniert (Der Zwei-Phasen-Plan)
Das Papier beschreibt einen spezifischen Zwei-Schritte-Prozess für dieses Team:
- Phase 1 (Der Zug des Chefs): Der „Chef" (der Hauptcomputer) nimmt den ganzen Datenhaufen und macht eine schnelle, grobe Sortierung in ein paar große Gruppen. Dieser Teil wird immer noch von einer Person erledigt, da er die Bühne vorbereitet.
- Phase 2 (Der Zug des Teams): Sobald die großen Gruppen erstellt sind, erkennt der Chef: „Hey, diese Gruppen sind unabhängig!" Der Chef startet dann einen „Kindprozess" (einen Helfer-Arbeiter) für jede Gruppe.
- Helfer A sortiert Gruppe 1.
- Helfer B sortiert Gruppe 2.
- Helfer C sortiert Gruppe 3.
- Sie arbeiten alle gleichzeitig.
- Wenn sie fertig sind, melden sie sich beim Chef zurück, der die Ergebnisse zusammenführt.
Die Ergebnisse: Hat es funktioniert?
Die Forscher testeten diesen neuen „Team"-Ansatz an fünf verschiedenen Cybersecurity-Datensätzen (die wie verschiedene Arten von Tatorten sind) und auf zwei verschiedenen Computer-Setups (ein leistungsstarker Desktop und ein massiver Server).
Hier ist, was sie herausfanden:
- Geschwindigkeit: Das Team war viel schneller. Im besten Fall war die parallele Version 6-mal schneller als der einzelne Arbeiter. Selbst bei den kleinsten Datensätzen war sie merklich schneller.
- Genauigkeit: Das ist der wichtigste Teil. Normalerweise macht man Fehler, wenn man eine Arbeit hetzt. Aber die Forscher stellten fest, dass das „Team" (parHSOM) fast genau die gleiche Anzahl von Fehlern machte wie der „einzelne Arbeiter" (Sequentielle HSOM).
- Sie überprüften die „Genauigkeit", „Präzision" und „Falschalarme" (wenn eine normale E-Mail für ein Virus gehalten wird). Die Ergebnisse waren nahezu identisch.
- Das Fazit: Sie erhalten die Geschwindigkeit eines Teams, ohne die Qualität der Arbeit zu verlieren.
Der „Sweet Spot"
Die Forscher bemerkten auch etwas Interessantes über die Größe der Gruppen. Sie testeten verschiedene Rastergrößen (wie das Sortieren von Büchern in 2x2-Haufen versus 3x3-Haufen).
- Sie fanden heraus, dass ein 3x3-Raster (Aufteilung der Arbeit in 9 Gruppen) normalerweise der „Sweet Spot" für die schnellste Beschleunigung war.
- Wenn sie versuchten, die Arbeit in zu viele winzige Gruppen aufzuteilen, gerieten die Computer beim Kommunizieren untereinander in Verwirrung, und der Geschwindigkeitsvorteil nahm ab.
Einschränkungen und zukünftige Ideen
Das Papier gibt einige Dinge zu, die sie noch nicht getan haben:
- Die Sprache: Sie haben dieses Werkzeug mit Python gebaut. Python ist großartig zum Lernen und zum Starten von Projekten, aber es ist nicht die schnellste Sprache für schwere Arbeit. Die Autoren schlagen vor, dass, wenn sie dies mit einer schnelleren Sprache (wie MPI) neu aufbauen würden, es noch schneller sein könnte.
- Die Hardware: Sie verwendeten Standard-Computerprozessoren (CPUs). Sie haben es nicht auf spezialisierten Grafikkarten (GPUs) getestet, die oft für schwere Mathematik verwendet werden.
- Das Setup: Sie hielten die Einstellungen sehr streng, um sicherzustellen, dass der Test fair war. In der realen Welt müssten die Dinge möglicherweise mehr angepasst werden.
Zusammenfassung
Kurz gesagt beweist dieses Papier, dass man ein langsames, einzelnes Daten-Sortiersystem (HSOM) in ein schnelles, mehrköpfiges Team (parHSOM) verwandeln kann, ohne an Genauigkeit zu verlieren. Es ist wie der Upgrade von einem Fahrrad auf einen Sportwagen: Sie kommen viel schneller am Zielort (der Sicherheitsanalyse) an, aber Sie kommen trotzdem genau am selben Ort an.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.