Disentangling Mechanism, Budget, and Coverage in Data Augmentation for Imbalanced Malware Family Classification
Diese Arbeit entwirrt die Auswirkungen des Generierungsmechanismus, des Augmentierungsbudgets und der Abdeckung in tiefen generativen Modellen für die unbalancierte Malware-Klassifizierung und stellt fest, dass die meisten Faktoren vernachlässigbare Leistungssteigerungen bewirken, während eine Erhöhung des Augmentierungsbudgets eine kleine, aber reproduzierbare Verbesserung für RBF-SVM-Klassifikatoren liefert, was die kritische Bedeutung des experimentellen Designs bei der Bewertung von Datenaugmentierungsstrategien hervorhebt.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der digitalen Welt stehen Sicherheitsteams in einem ständigen, ungleichen Kampf gegen Schadsoftware. Sie müssen tausende Computerprogramme basierend auf ihrem Verhalten in Familien sortieren, ganz ähnlich wie ein Biologe Pflanzen nach ihrer Blattform sortiert. Das Problem ist, dass die Daten, auf die sie sich verlassen, stark verzerrt sind. Einige wenige, verbreitete Malware-Familien erscheinen tausendfach in ihren Aufzeichnungen, während viele seltene, neu aufkommende Familien nur vereinzelt auftauchen. Wenn ein Computerprogramm versucht, aus diesen unausgewogenen Daten zu lernen, wird es exzellent darin, die gängigen Bedrohungen zu erkennen, versagt aber dabei, die seltenen zu entdecken, die oft am gefährlichsten sind, weil sie neu und unvorhersehbar sind. Um dies zu beheben, haben Forscher eine Technik namens Data Augmentation (Datenaugmentation) ausprobiert. Dies beinhaltet das Erstellen künstlicher Beispiele der seltenen Familien, um dem Computerprogramm beizubringen, wie es diese erkennen kann. Einige Forscher nutzen einfache Methoden, die existierende Beispiele kopieren und leicht verändern, während andere komplexe Deep-Learning-Systeme verwenden, die versuchen, sich vorzustellen, wie ein neues Beispiel von Grund auf aussehen sollte. Die vorherrschende Erzählung war bisher, dass die komplexeren, fantasievolleren Systeme bessere künstliche Daten produzieren und daher zu besseren Sicherheitstools führen.
Ein Team von Forschern der San Jose State University beschloss zu testen, ob diese Geschichte tatsächlich wahr ist. Sie wollten herausfinden, ob die schicken, komplexen Systeme wirklich überlegen sind oder ob der Erfolg dieser Tools lediglich darauf zurückzuführen ist, wie viele künstliche Beispiele sie erzeugten und welche Familien sie fokussierten. Zu diesem Zweck bauten sie ein kontrolliertes Experiment mit einem Datensatz von fast 1.200 bösartigen Programmen auf, die zwanzig verschiedene Familien repräsentieren. Sie nahmen zwanzig unterschiedliche Familien, die von nur fünf bekannten Stichproben bis hin zu einhundertfünfzig reichten, und schufen eine Trainingsumgebung, in der die Computerprogramme lernen mussten, diese zu identifizieren. Die Forscher verglichen dann drei verschiedene Arten von Lernsystemen: einen Random Forest, der Entscheidungen trifft, indem er eine Serie von Ja-Nein-Fragen stellt; ein neuronales Netz, das durch Schichten von Verbindungen lernt; und eine Support Vector Machine, die Grenzen zwischen Gruppen basierend auf deren Abstand zieht. Sie testeten diese Systeme mit zwei verschiedenen Arten, die Malware zu beschreiben: einer, die zählt, wie oft bestimmte Computerinstruktionen vorkommen, und einer anderen, die diese Instruktionen in mathematische Koordinaten umwandelt, um deren Bedeutung zu erfassen.
Die Forscher legten eine strikte Menge an Regeln fest, um einen fairen Vergleich zu gewährleisten. Sie glichen die Anzahl der erstellten künstlichen Beispiele für jede Familie ab und stellten sicher, dass dieselben Familien von jeder Methode ins Visier genommen wurden. Dies ermöglichte es ihnen, drei spezifische Faktoren zu isolieren: die Methode, mit der die künstlichen Daten erstellt wurden, die Gesamtzahl der generierten künstlichen Beispiele und die Anzahl der verschiedenen Familien, die diese künstlichen Beispiele erhielten. Sie verglichen eine einfache Methode, die zwischen realen Beispielen interpoliert, mit einem komplexen, ungestimmten System, das Daten aus Rauschen generiert. Als sie die Ergebnisse untersuchten, fanden sie heraus, dass das komplexe, generative System das einfache Verfahren nicht konsistent übertraf. Tatsächlich war der Unterschied zwischen der Verwendung des komplexen Generators und dem einfachen beim effektivsten Lernsystem ihrer Studie so gering, dass er nahezu unsichtbar war. Die Studie stellte keinen signifikanten Effekt durch die Komplexität des Generators fest, wobei eingeräumt wurde, dass zwar kein Effekt gefunden wurde, kleinere Effekte jedoch möglich bleiben und durch die Analyse nicht ausgeschlossen wurden. Stattdessen fanden sie heraus, dass der bedeutendste Faktor schlichtweg die Anzahl der hinzugefügten künstlichen Beispiele war. Wenn sie die Anzahl der synthetischen Stichproben für eine bestimmte Familie erhöhten, verbesserte sich die Leistung des distanzbasierten Lernsystems merklich.
Die Forscher entdeckten auch, dass die Vorteile des Hinzufügens von mehr künstlichen Daten nicht gleichmäßig über alle Arten von Lernsystemen verteilt waren. Das System, das auf der Messung von Abständen zwischen Datenpunkten basiert, war das einzige, das eine klare, wiederholbare Verbesserung zeigte, wenn die Anzahl der künstlichen Stichproben zunahm. Die anderen Systeme, einschließlich des Random Forest, funktionierten so gut von sich aus, dass das Hinzufügen von künstlichen Daten kaum oder gar keinen Unterschied machte. In einigen Fällen erreichte der Random Forest die höchsten Genauigkeitswerte ohne jegliche Augmentation. Dies deutet darauf darauf hin, dass für bestimmte Arten von Lernwerkzeugen der Aufwand, komplexe künstliche Daten zu generieren, unnötig sein könnte. Die Studie untersuchte auch, ob es half, künstliche Daten zu mehr Familien als nur zu den schwierigsten hinzuzufügen. Sie fanden heraus, dass die Ausweitung des Fokus auf mehr Familien einen kleinen Schub gab, dieser jedoch etwa halb so effektiv war wie die bloße Erhöhung der Anzahl der Beispiele für die Familien, die bereits gezielt bearbeitet wurden.
Die Ergebnisse stellen die Annahme infrage, dass immer die anspruchsvollere künstliche Intelligenz besser ist für diese spezifische Aufgabe. Die Forscher kamen zu dem Schluss, dass die gängige Praxis, verschiedene generative Modelle zu vergleichen, ohne die Anzahl der erzeugten Beispiele zu kontrollieren, irreführend ist. Wenn die Anzahl der Beispiele und die Ziel-Familien konstant gehalten werden, spielt die Wahl des Generators eine weit geringere Rolle als die Quantität der bereitgestellten Daten. Die zuverlässigsten Verbesserungen ergaben sich schlicht durch das Vorhandensein von mehr Datenpunkten für die seltenen Familien – ein Faktor, der mit viel einfacheren Methoden erreicht werden kann. Für Sicherheitsanalysten bedeutet dies, dass sie, bevor sie in komplexe Systeme investieren, um neue Malware-Beispiele zu generieren, zuerst prüfen sollten, ob ihre aktuellen Lernwerkzeuge lediglich aufgrund eines Datenmangels untertrainiert sind. Wenn sie ein System verwenden, das auf der Messung von Abständen zwischen Beispielen basiert, ist das Hinzufügen von mehr Daten der Schlüssel. Wenn sie ein System verwenden, das bereits robust ist, wie etwa ein Random Forest, ist der zusätzliche Aufwand zur Generierung komplexer synthetischer Daten möglicherweise nicht den Kosten wert. Die Studie behauptet nicht, dass komplexe Generatoren nutzlos sind, aber sie zeigt, dass ihr Vorteil nicht so automatisch und universell ist, wie bisher angenommen, und dass die Quantität der Daten oft wichtiger ist als die Methode, mit der sie erstellt werden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.