Related Families, Not Label Errors: A Case Study of a Failure Mode in Open-World Malware Evaluation on BODMAS
Diese Arbeit zeigt auf, dass die schlechte Leistung der Open-World-Malware-Erkennung auf dem BODMAS-Benchmark nicht durch Labeling-Fehler oder Defizite der Detektoren verursacht wird, sondern durch das Vorhandensein eng verwandter Familien im Trainingssatz, die die zurückgehaltenen „neuartigen“ Proben für unüberwachte Novelty-Scoring-Methoden tatsächlich vertraut erscheinen lassen.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der digitalen Welt bauen Sicherheitsforscher Programme, die darauf ausgelegt sind, als Wächter zu fungieren und ständig nach Schadsoftware zu scannen, die Computer bedroht. Diese Programme werden darauf trainiert, bekannte Bedrohungen zu erkennen, aber die eigentliche Herausforderung liegt in der „offenen Welt“, in der jeden Tag völlig neue Arten von Malware auftauchen. Um zu testen, ob diese Wächter wirklich bereit für das Unbekannte sind, nutzen Forscher eine spezifische Methode: Sie verstecken eine ganze Gruppe bekannter Schadsoftware vor dem Trainingsprogramm und fragen dann: „Kann dein System diese neue Gruppe als etwas erkennen, das es noch nie zuvor gesehen hat?“ Wenn das System die versteckte Gruppe als Fremden markiert, besteht es den Test. Dieser Prozess setzt voraus, dass die versteckte Gruppe tatsächlich einzigartig ist und keine engen Verwandten in den Trainingsdaten hat. Wenn die versteckte Gruppe jedoch ein Cousin einer Gruppe ist, die das System bereits kennt, bricht der Test zusammen – nicht, weil das System schwach ist, sondern weil die gestellte Frage fehlerhaft ist.
Ein Team von Forschern untersuchte kürzlich ein rätselhaftes Versagen in einem der angesehensten Tests für die Erkennung von Malware, bekannt als BODMAS. Sie fanden heraus, dass das Erkennungssystem spektakulär versagte, wenn sie eine spezifische Familie von Malware namens berbew aus den Trainingsdaten entfernten. Anstatt die versteckten Proben als neue Bedrohungen zu kennzeichnen, klassifizierte das System sie selbstbewusst als sichere, bekannte Software. Die Ergebnisse waren so schlecht, dass das System schlechter abschnitt als beim bloßen Raten. Auf den ersten Blick sah dies wie ein katastrophaler Fehler der Erkennungstechnologie aus. Die Forscher entdeckten jedoch, dass der Fehler nicht in der Intelligenz der Software lag, sondern in der Struktur des Tests selbst. Die versteckte berbew-Familie hatte einen sehr nahen Verwandten, namens qukart, der in den Trainingsdaten verblieb. Da die beiden Gruppen in ihren digitalen Fingerabdrücken so ähnlich waren, erkannte das System korrekt, dass die versteckten Proben zu einer Familie gehörten, die es bereits kannte, auch wenn es den spezifischen Namen der versteckten Gruppe nicht kannte. Der Test bestrafte das System also dafür, dass es die Beziehung zwischen den beiden Gruppen präzise erkannte.
Um dies zu beweisen, führten die Forscher ein kontrolliertes Experiment durch. Sie entfernten sowohl die berbew- als auch die qukart-Familien gleichzeitig aus den Trainingsdaten, um sicherzustellen, dass keine engen Verwandten zurückgelassen wurden. Als sie den Test erneut durchführten, schoss die Leistung des Systems bei den berbew-Proben von einem versagenden Wert auf eine nahezu perfekte Erkennung hoch. Dieser dramatische Umschwung bestätigte, dass das ursprüngliche Versagen durch die Anwesenheit einer verwandten Familie im Trainingssatz verursacht wurde und nicht durch einen Fehler im Erkennungsalgorithmus. Die Forscher gingen dabei sorgfältig vor, um andere häufige Erklärungen auszuschließen. Sie überprüften den gesamten Datensatz und untersuchten tausende Paare von Malware-Familien, um zu sehen, ob es tatsächlich Duplikate mit unterschiedlichen Namen gab, die die Verwirrung hätten verursachen können. Sie fanden keine Duplikate unter den verdächtigsten Paaren. Sie untersuchten auch die Benennungskonventionen der Antiviren-Anbieter, die oft verwandte Malware unter einem einzigen Liniennamen gruppieren. Sie stellten fest, dass diese Namen das Problem nicht vorhersagten; in einem dokumentierten Fall wurden drei Familien als Teil derselben Linie betrachtet, aber nur zwei von ihnen waren tatsächlich eng genug verwandt, um das System zu verwirren. Die dritte war unterscheidbar, was zeigte, dass eine alleinige Abhängigkeit von Namen die falschen Gruppen zusammengeführt und das eigentliche Problem übersehen hätte.
Die Studie verdeutlichte zudem, dass diese Verwirrung spezifisch für die Art und Weise war, wie das System „Neuheit“ maß. Die Forscher testeten verschiedene mathematische Ansätze zur Identifizierung des Unbekannten. Sie fanden heraus, dass jede Methode, die eine Probe mit einer breiten, globalen Zusammenfassung aller bekannter Software vergleicht, scheitern würde, wenn ein naher Verwandter anwesend ist. Diese Methoden würden die versteckte Probe als normal einstufen, da sie nahe bei dem bekannten Verwandten liegt. Ein anderer Ansatz, der eine Probe nur mit ihren nächsten Nachbarn vergleicht, schnitt jedoch besser ab. Er lieferte zwar nicht das perfekte Ergebnis, drehte das Resultat aber auch nicht vollständig um, was darauf hindeutet, dass das Betrachten lokaler Details statt eines globalen Durchschnitts eine sicherere Strategie ist, wenn enge Verwandte existieren. Die Forscher merkten auch an, dass ein überwachtes System, das während des Trainings die Familiennamen verwenden durfte, die beiden Gruppen effektiv trennen konnte, was bewies, dass die Bezeichnungen korrekt und die Familien unterscheidbar waren, wenngleich sie sich sehr ähnlich sind.
Die Kernbotschaft dieser Arbeit ist, dass sich die Art und Weise, wie wir Sicherheitssoftware testen, ändern muss. Die bloße Angabe eines einzelnen Durchschnittswerts darüber, wie gut ein System neue Bedrohungen erkennt, verschleiert diese kritischen Ausfälle. Die Forscher argumentieren, dass wir, bevor wir einen Test als erfolgreich erklären, zuerst messen müssen, wie eng die versteckten Gruppen mit den Gruppen verwendet werden, die für das Training genutzt wurden. Wenn eine versteckte Gruppe einen nahen Cousin im Trainingssatz hat, misst der Test nicht die Fähigkeit, das wirklich Unbekannte zu finden; er misst die Fähigkeit, zwischen sehr ähnlichen Bekannten zu unterscheiden. Die Lösung besteht nicht darin, diese verwandten Familien aus dem Test zu entfernen, da sie realistische Bedrohungen darstellen, mit denen Sicherheitsteams umgehen müssen. Stattdessen sollten Forscher die Ergebnisse separat für Familien mit nahen Verwandten und solche ohne angeben. Diese Transparenz stellt sicher, dass ein System nicht ungerechtfertigt für die korrekte Identifizierung einer bekannten Abstammung bestraft wird, und liefert ein klareres Bild davon, wo die Technologie tatsächlich steht. Durch die Dokumentation dieses spezifischen Fehlermusters und der Schritte zu dessen Verständnis hoffen die Forscher, andere vor der Wiederholung derselben Fehler zu bewahren und zu einer ehrlicheren Bewertung der Fähigkeit unserer digitalen Wächter, das Unbekannte wahrzunehmen, anzuregen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.