Evaluation Pitfalls and Multimodal Baselines for the \dataset{} IoT Malware Dataset

In der digitalen Welt agieren Sicherheitsforscher wie die Ärzte des Immunsystems für Computer. Sie entwickeln Werkzeuge, um schädliche Software, oder Malware, zu erkennen, bevor sie Schaden anrichten kann. Um diese Werkzeuge zu trainieren, benötigen sie riesige Bibliotheken von Daten: Aufzeichnungen darüber, wie sich Computer verhalten, wenn sie gesund sind, und Aufzeichnungen darüber, wie sie sich verhalten, wenn sie krank sind. Die Qualität der Trainingsdaten bestimmt, wie gut die daraus resultierenden Sicherheitswerkzeuge funktionieren. Wenn die Daten fehlerhaft sind, versagen die Werkzeuge in der realen Welt, indem sie entweder gefährliche Bedrohungen übersehen oder Fehlalarme auslösen. Eine große Herausforderung in diesem Bereich besteht darin, sicherzustellen, dass die Art und Weise, wie Forscher ihre Daten in Trainings- und Testgruppen aufteilen, nicht versehentlich eine Verzerrung (Bias) einführt. Wenn ein Computerprogramm während des Trainings ein bestimmtes Stück Malware sieht und dann genau dasselbe Stück während des Tests sieht, lernt es nicht wirklich, neue Bedrohungen zu erkennen, sondern es merkt sich lediglich die Antwort. Darüber hinaus müssen Forscher entscheiden, ob sie ein Sicherheitswerkzeug danach beurteilen, wie gut es einzelne Momente verdächtiger Aktivitäten erfasst, oder danach, wie gut es ganze infizierte Programme identifiziert, was eine sehr unterschiedliche Aufgabe sein kann.

Ein Forscherteam der Tarim University hat seine Aufmerksamkeit kürzlich auf eine neue und ungewöhnlich detaillierte Datensatzbibliothek namens CIC-YNU-IoTMal2026 gelenkt. Dieser Datensatz ist ein Schatzkästchen für Sicherheitsexperten, da er drei verschiedene Arten von Informationen gleichzeitig für tausende Computerprogramme aufzeichnet. Er erfasst den ein- und ausgehenden Netzwerkverkehr, die Systemaktivität wie die CPU-Auslastung und die spezifische Liste der Befehle, die das Programm dem Betriebssystem gibt. Diese Programme wurden auf vier verschiedenen Typen von Computerchips ausgeführt, um zu sehen, ob die Sicherheitswerkzeuge über verschiedene Hardware hinweg funktionieren können. Die Forscher bauten kein neues Sicherheitswerkzeug; stat stattdessen agierten sie als Auditoren. Sie untersuchten den Datensatz selbst, um zu sehen, ob die Standardmethoden zum Testen von Sicherheitswerkzeugen auf diesen Daten ernsthafte Probleme verborgen. Sie wollten wissen, ob die von anderen Forschern berichteten hohen Punktzahlen echt waren oder ob sie das Ergebnis subtiler Fehler im Umgang mit den Daten waren.

Das Audit begann mit der Untersuchung, wie die Daten aufgeteilt wurden. Die gängigste Methode besteht darin, alle aufgezeichneten Momente der Aktivität zu nehmen, sie zufällig zu mischen und einige in einen Trainingsstapel und einige in einen Teststapel zu legen. Die Forscher fanden heraus, dass dieser Ansatz für diesen speziellen Datensatz grundlegend fehlerhaft war. Da der Datensatz ganze Programme aufzeichnet, bedeutete das Mischen der Momente, dass der Teststapel Momente von Programmen enthielt, die bereits im Trainingsstapel vorhanden waren. Tatsächlich teilte jeder einzelne Testmoment sein Elternprogramm mit dem Trainingssatz, und ein kleiner Prozentsatz der Testmomente war exakte Duplikate der Trainingsmomente. Dies bedeutete, dass jedes Sicherheitswerkzeug, das auf diese Weise getestet wurde, im Wesentlichen an Fragen benotet wurde, auf die es bereits die Antworten gesehen hatte. Obwohl dies die Punktzahlen auf diesem speziellen Datensatz nicht künstlich aufblähte, bedeutete es dennoch, dass die Ergebnisse nicht darauf vertrauen konnten, vorherzusagen, wie gut ein Werkzeug bei wirklich neuen, unbekannten Programmen funktionieren würde. Die Forscher kamen zu dem Schluss, dass die einzige faire Art, diese Werkzeuge zu testen, darin besteht, ganze Programme zusammenzuhalten und sicherzustellen, dass kein Programm sowohl in der Trainings- als auch in der Testgruppe erscheint.

Selbst als die Forscher die Methode der Datenteilung korrigierten, entdeckten sie ein zweites, tückischeres Problem. Der Datensatz enthält tausende winzige Schnappschüsse von Aktivitäten, und viele Sicherheitswerkzeuge werden danach beurteilt, wie gut sie diese einzelnen Schnappschüsse erfassen. Die Forscher fanden heraus, dass diese Methode einen gefährlichen Ausfallmodus verbirgt. Etwa sechzehn Prozent der bösartigen Programme in diesem Datensatz wurden von den Sicherheitswerkzeugen komplett übersehen. Diese übersehenen Programme waren nicht anspruchsvoll; sie waren einfach im Ruhezustand. Sie waren in der Testumgebung ausgeführt worden, hatten aber versäumt, „aufzuwachen“ und ihre bösartigen Aktivitäten zu starten, wessofern sie exakt wie harmlose Programme aussahnen. Da die bösartigen Programme, die aufwachten, sehr laut waren und hunderte von Aktivitätsschnappschüssen erzeugten, dominierten sie die Statistiken. Die leisen, ruhenden Programme wurden durch die lauten übertönt, was das Sicherheitswerkzeug viel besser aussehen ließ, als es tatsächlich war. Die Forscher betonten, dass man, um ein wahres Bild der Sicherheit zu erhalten, das Werkzeug danach beurteilen muss, ob es das gesamte Programm erfasst oder nur die lauten Momente.

Die Studie untersuchte auch, wie die Werkzeuge konfrontiert mit verschiedenen Typen von Computerchips abschnitten. Der Datensatz enthielt Programme, die auf vier verschiedenen Architekturen liefen, und die Forscher testeten, ob ein Werkzeug, das auf drei davon trainiert wurde, Bedrohungen auf der vierten erkennen kann. Die Ergebnisse waren drastisch. Wenn das Werkzeug auf einem spezifischen Chip-Typ namens ARM getestet wurde, der in vielen kleinen Geräten verbreitet ist, brach es zusammen. Das Werkzeug wurde so unzuverlässig, dass es harmlose Programme fast achtzig Prozent der Zeit als gefährlich einstufte, während es gleichzeitig fast alle tatsächlichen Malware-Programme erfasste. Dieser Fehler lag nicht daran, dass das Werkzeug die Malware nicht erkennen konnte; es lag daran, dass die harmlosen Programme auf dem ARM-Chip sich anders verhielten als harmlose Programme auf den anderen Chips. Das Werkzeug hatte die falschen Muster dafür gelernt, was auf dieser spezifischen Hardware als „normal“ zu betrachten war. Die Forscher fanden heraus, dass dieses Problem sehr kostengünstig behoben werden konnte. Indem man dem Werkzeug nur einen winzigen Bruchteil der harmlosen Programme des neuen Chips zeigte – weniger als ein Prozent der Gesamtdaten –, erholte sich die Leistung des Werkzeugs sofort wieder auf nahezu Perfektion. Dies deutete darauf an, dass die Lösung für die geräteübergreifende Sicherheit nicht in komplexen neuen Algorithmen liegt, sondern schlicht darin, das Werkzeug einigen Beispielen der neuen Umgebung auszusetzen.

Schließlich betrachteten die Forscher die verschiedenen Arten von verfügbaren Daten: Netzwerkverkehr, Systemaktivität und Command-Traces (Befehlsspuren). Sie fanden heraus, dass die Kombination aller drei Arten von Daten in einer kontrollierten Umgebung die Sicherheitswerkzeuge nahezu perfekt machte. Diese Perfektion war jedoch fragil. Wenn die Werkzeuge gezwungen waren, sich nur auf den Netzwerkverkehr zu verlassen, übersahen sie die ruhenden Programme. Wenn sie sich nur auf die Command-Traces verließen, versagten sie vollständig, wenn sich die Chip-Architektur änderte. Die robusteste Kombination erwies sich als eine Mischung aus Netzwerkverkehr und Systemaktivität, welche die spezifischen Schwächen der anderen Methoden vermied. Die Forscher stellten auch fest, dass die spezifische Art des mathematischen Modells, mit dem das Werkzeug erstellt wurde, eine untergeordnete Rolle spielte. Ob sie ein einfaches lineares Modell oder ein komplexes neuronales Netzwerk verwendeten, die Ergebnisse waren fast identisch. Dies bewies, dass der wichtigste Faktor für den Erfolg nicht die Komplexität des Werkzeugs war, sondern die Entscheidungen darüber, wie die Daten aufgeteilt werden, wie ein Erfolg definiert wird und wie mit den verschiedenen Typen von Computerchips umgegangen wird.

Das Paper schließt mit einem Satz klarer Richtlinien für jeden, der diesen Datensatz verwendet. Sie empfehlen, beim Aufteilen der Daten immer ganze Programme zusammenzuhalten, die Ergebnisse basierend darauf zu melden, ob ganze Programme erfasst wurden statt nur einzelner Momente, und transparent darüber zu sein, wie mit unbekannten oder nicht klassifizierten Programmen umgegangen wird. Sie fordern Forscher auch auf, ihre Werkzeuge auf verschiedenen Computerchips zu testen und zu berichten, wie stark die Ergebnisse variieren, wenn das Experiment mehrfach durchgeführt wird. Die wichtigste Erkenntnis ist, dass der Weg zu besserer Sicherheit nicht in der Entwicklung komplexerer Modelle liegt, sondern darin, bessere Fragen zu stellen und sauberere Daten zu verwenden. Durch die Korrektur der Evaluierungsmethoden kann die Fachwelt sicherstellen, dass die Werkzeuge, die sie bauen, auch dann funktionieren, wenn sie am dringendsten benötigt werden.