Machine Learning Transferability for Malware Detection

Diese Studie untersucht die Eignung verschiedener Datenvorverarbeitungsmethoden zur Verbesserung der Übertragbarkeit und Generalisierung von Machine-Learning-Modellen für die Malware-Erkennung, indem sie EMBERv2-Daten mit BODMAS und ERMDS vereinheitlicht und die Modelle an mehreren unabhängigen Datensätzen evaluiert.

Das Wesentliche

Das große Problem: Der Tarnkappen-Angriff

Stell dir vor, Viren und Schadsoftware (Malware) sind wie Einbrecher, die versuchen, in dein Haus (deinen Computer) einzubrechen. Früher haben Sicherheitsleute einfach eine Liste mit den Gesichtern bekannter Diebe geführt. Wenn jemand vor der Tür stand, wurde sein Gesicht verglichen: „Kenn ich den? Ja? Raus damit!" Das war die alte Methode (Signatur-Erkennung).

Aber die Einbrecher haben gelernt, sich zu verkleiden. Sie tragen Perücken, falsche Bärte oder nutzen Tarnkappentechniken. Wenn sie sich nur ein bisschen anders anziehen, sieht die Liste sie nicht mehr.

Hier kommt Maschinelles Lernen (KI) ins Spiel. Statt nur Gesichter zu vergleichen, lernt die KI, wie ein Einbrecher aussieht, wenn er sich bewegt: Wie schwer ist sein Rucksack? Wie schnell läuft er? Wie riecht er? Die KI versucht, ein Profil von „bösem Verhalten" zu erstellen, das auch bei neuen Verkleidungen funktioniert.

Das Problem mit den Lehrbüchern

Das Problem an der Studie ist folgendes: Die KI-Modelle wurden oft mit verschiedenen Lehrbüchern (Datenbanken) trainiert.

• Ein Modell lernt mit alten Fotos von Dieben aus dem Jahr 2018.
• Ein anderes Modell lernt mit neuen Fotos aus dem Jahr 2022.
• Ein drittes Modell lernt mit Fotos von Dieben, die sich extra verkleidet haben, um nicht erkannt zu werden.

Wenn du das Modell, das nur alte Fotos kennt, plötzlich vor einen modernen, gut getarnten Einbrecher stellst, versagt es. Es erkennt ihn nicht, weil es nie gelernt hat, wie sich die „Verkleidung" auf die Merkmale auswirkt. Das nennt man Transferierbarkeit: Kann das Wissen aus einem Lehrbuch auf ein anderes übertragen werden?

Was die Forscher gemacht haben

Die Autoren dieser Studie (César, João, Eva und Isabel) wollten herausfinden: Wie können wir die KI so trainieren, dass sie auch dann funktioniert, wenn die Einbrecher ihre Tarnung ändern oder wenn wir sie mit ganz neuen Daten testen?

Sie haben einen cleveren Trainingsplan entwickelt:

1. Der große Mix (Die Trainingsdaten):
   Sie haben verschiedene große Datensätze (wie EMBER, BODMAS und ERMDS) genommen. Stell dir das vor wie das Zusammenfügen von drei verschiedenen Schulbüchern zu einem riesigen Nachschlagewerk.

   • EB-Setup: Ein Mix aus alten und neuen Daten.
   • EBR-Setup: Ein Mix, der auch Daten von „Meistertäuschern" (obfuzzierte, also stark verkleidete Malware) enthält.

2. Die Verdichtung (Datenreduktion):
   Die Daten waren riesig und chaotisch (wie ein Haufen von 2.381 verschiedenen Merkmalen pro Datei). Die Forscher haben die KI gezwungen, sich nur auf die wichtigsten 128, 256 oder 384 Merkmale zu konzentrieren.

   • Vergleich: Stell dir vor, du musst jemanden beschreiben. Statt 2.000 Details (Augenfarbe, Schuhgröße, Lieblingsessen, Haarsträhne links/rechts) sagst du nur: „Er trägt einen roten Hut und hat eine Narbe." Das macht die Suche schneller und präziser.
   • Sie haben zwei Methoden getestet: Eine, die einfach die wichtigsten Merkmale aussucht (XGBFS), und eine, die die Merkmale mathematisch neu mischt (PCA). Die erste Methode war wie ein erfahrener Detektiv, der sofort weiß, worauf es ankommt.

3. Das Duell-Training:
   Statt eine einzige KI zu trainieren, haben sie immer zwei KIs gleichzeitig trainiert, die sich gegenseitig ergänzen. Wenn beide „Ja, das ist ein Einbrecher!" sagen, ist die Wahrscheinlichkeit sehr hoch. Das nennt man „Soft Voting".

Die Ergebnisse: Was hat funktioniert?

Als sie die KIs gegen neue, unbekannte Einbrecher (Test-Datenbanken wie TRITIUM und INFERNO) antreten ließen, kamen folgende Erkenntnisse:

• Der Gewinner: Die KIs, die mit dem „wichtigen Merkmal"-Filter (XGBFS) trainiert wurden, waren die besten. Sie waren wie ein Scharfschütze, der genau weiß, wo er zielen muss.
• Die Tarnung ist hart: Wenn die KI nur mit „normalen" Daten trainiert wurde (Setup EB), war sie sehr gut, aber wenn sie auf extrem getarnte Einbrecher (ERMDS-Daten) traf, wurde sie verwirrt. Sie verwechselte die Tarnung mit harmlosen Programmen.
• Der Lern-Effekt: Als sie die KI aber auch mit den getarnten Einbrechern trainierten (Setup EBR), wurde sie robuster gegen Tarnung. Aber: Sie wurde etwas „schlaffer" bei normalen Einbrechern. Es ist wie beim Sport: Wenn du dich nur auf das Laufen im Sand spezialisierst, wirst du im Sand super, aber auf Asphalt vielleicht etwas langsamer als jemand, der nur auf Asphalt trainiert hat.

Die wichtigste Erkenntnis:
Es gibt keine „Ein-KI-für-alles"-Lösung. Die KI muss wissen, dass Einbrecher sich verkleiden. Wenn man sie nur mit „sauberen" Daten füttert, ist sie blind für neue Tricks. Aber wenn man sie mit den Tricks trainiert, muss man aufpassen, dass sie nicht zu ungenau wird.

Fazit für den Alltag

Die Studie sagt uns: Sicherheit ist ein Katz-und-Maus-Spiel.
Die Forscher haben gezeigt, dass man KI-Modelle für Virenschutz sehr gut machen kann, wenn man:

1. Die richtigen, wichtigsten Merkmale auswählt (nicht alles auf einmal).
2. Die KI mit verschiedenen Arten von „Einbrechern" (auch den getarnten) trainiert.
3. Akzeptiert, dass man die KI immer wieder neu anpassen muss, weil die Einbrecher nie aufhören, sich zu verkleiden.

Es ist wie ein Sicherheitsdienst, der nicht nur die Gesichter der Diebe kennt, sondern auch lernt, wie sich die Tarnkappe anfühlt, damit er auch den nächsten Einbrecher erkennt, bevor er das Haus betritt.

Technische Zusammenfassung

Titel: Transferierbarkeit von Machine Learning für die Malware-Erkennung

1. Problemstellung

Malware stellt weiterhin ein erhebliches operatives Risiko dar, insbesondere da Angreifer zunehmend Obfuskationstechniken (Verschleierung) einsetzen, um die Erkennung zu umgehen. Obwohl Machine-Learning-(ML)-Ansätze zur Erkennung weiterentwickelt werden, bestehen signifikante Herausforderungen:

• Fehlende Feature-Kompatibilität: Öffentliche Datensätze nutzen oft inkompatible Feature-Sets, was die Reproduzierbarkeit und Übertragbarkeit von Erkennungspipelines einschränkt.
• Generalisierungsprobleme: Modelle, die auf einem Datensatz trainiert wurden, generalisieren oft schlecht auf andere Datensätze aufgrund von Verteilungsverschiebungen (Distribution Shifts) und sich entwickelnden Angriffswerkzeugen (Konzeptdrift).
• Obfuskation: Herkömmliche statische Analysen versagen oft bei stark verschleierten Binärdateien, da sich die Feature-Verteilungen ändern.

Das Ziel der Studie ist es, die Eignung verschiedener Daten-Vorverarbeitungsansätze zu bewerten, um ML-Modelle robuster gegenüber Verteilungsverschiebungen und Obfuskation zu machen und die Transferierbarkeit zwischen verschiedenen PE-Datei-Datensätzen (Portable Executable) zu verbessern.

2. Methodik

Die Studie verfolgt einen statischen Analyse-Ansatz unter Verwendung des EMBER-v2-Feature-Standards (2.381 Dimensionen). Der Workflow umfasst folgende Schritte:

• Datensätze: Es wurden sechs Open-Source-Datensätze verwendet, die reale und adversariale Bedingungen abdecken:
  • Trainingsdaten: EMBER-2018, BODMAS und (teilweise) ERMDS.
  • Testdaten (für Generalisierung): TRITIUM, INFERNO, SOREL-20M und ERMDS.
• Trainings-Setups:
  1. EB (EMBER + BODMAS): Kombination aus EMBER-2018 und BODMAS.
  2. EBR (EMBER + BODMAS + ERMDS): Erweiterung des EB-Setups um den ERMDS-Datensatz, der speziell für Obfuskation (Binary, Source, Packer) konzipiert wurde.
• Vorverarbeitung:
  • Anwendung von Robust Scaling (Median/IQR) und MinMax Scaling zur Normalisierung.
  • Dimensionsreduktion: Anwendung von Principal Component Analysis (PCA) und XGBoost Feature Selection (XGBFS). Es wurden reduzierte Feature-Vektoren mit den Dimensionen 128, 256 und 384 erstellt.
• Modellierung:
  • Es wurden vier Ensemble-Methoden verwendet: LightGBM, XGBoost, Extra Trees und Random Forest.
  • Ensemble-Strategie: Für jede Konfiguration wurden zwei unabhängige Modelle pro Partition trainiert und deren Hyperparameter mit FLAML optimiert.
  • Inferenz: Die Vorhersagen der beiden Modelle wurden durch gewichtetes "Soft Voting" kombiniert ($\hat{p}(x) = w \cdot p_1(x) + (1-w) \cdot p_2(x)$).
• Evaluation: Die Modelle wurden mit Metriken wie F1-Score, AUC und der True Positive Rate (TPR) bei festen False Positive Rates (FPR) von 1 % und 0,1 % bewertet.

3. Wichtige Beiträge

• Vergleichende Analyse von Vorverarbeitungsstrategien: Die Studie zeigt systematisch, wie sich die Kombination von Trainingsdaten (EB vs. EBR) und Dimensionsreduktion (PCA vs. XGBFS) auf die Transferierbarkeit auswirkt.
• Bewertung unter Obfuskationsbedingungen: Durch die Einbeziehung von ERMDS, TRITIUM und INFERNO wird die Robustheit der Modelle gegenüber modernen Verschleierungstechniken und Konzeptdrift getestet.
• Empfehlung für den Einsatz: Die Arbeit identifiziert, dass kompakte Boosting-basierte Detektoren für den Host-Einsatz geeignet sind, jedoch eine sorgfältige Analyse der Feature-Verteilungen erfordern.

4. Ergebnisse

• Überlegenheit von XGBFS: Die Feature-Selektion mittels XGBoost (XGBFS) übertraf konsistent die PCA bei gleichen Dimensionen. Die 384-dimensionale Variante zeigte die beste Leistung, da sie informative Signale bewahrte und Rauschen eliminierte.
• Bestes Modell: LightGBM in Kombination mit XGBFS (384 Dim.) erzielte die besten Ergebnisse im EB-Setup:
  • F1-Score: 98,27 %
  • AUC: 99,84 %
  • TPR bei 0,1 % FPR: 91,25 %
• Auswirkung von ERMDS (Obfuskation):
  • Das Hinzufügen von ERMDS zum Training (EBR-Setup) führte zu einer leichten Verschlechterung der Leistung bei niedrigen FPRs im Vergleich zum reinen EB-Setup. Dies liegt an der Verschiebung der Feature-Verteilung durch die starken Obfuskationen in ERMDS, was die Trennlinie zwischen gutartig und bösartig verwässert.
  • Modelle, die nur mit EB trainiert wurden, scheiterten bei der Erkennung von ERMDS-Proben (starker Drift).
• Generalisierung auf externe Datensätze:
  • Hohe Leistung: Die Modelle generalisierten gut auf TRITIUM und INFERNO (hohe F1- und AUC-Werte), was auf eine gute Anpassung an natürliche und red-teaming-basierte Bedrohungen hindeutet.
  • Geringe Leistung: Bei SOREL-20M und ERMDS (als Testdaten) brach die Leistung drastisch ein (z. B. TPR bei 0,1 % FPR fiel auf unter 1 % bei SOREL-20M für einige Modelle). Dies zeigt eine hohe Empfindlichkeit gegenüber Domänen- und zeitlichen Verschiebungen.

5. Bedeutung und Fazit

Die Studie unterstreicht, dass ML-basierte Malware-Erkennungssysteme zwar hohe Genauigkeit innerhalb ihrer Trainingsdomäne erreichen können, aber anfällig für Konzeptdrift und Obfuskation sind, wenn sie auf neue, nicht gesehene Daten angewendet werden.

• Praktische Implikation: Für den produktiven Einsatz (On-Host) sind Boosting-Modelle (insbesondere LightGBM) mit sorgfältig ausgewählten Features (XGBFS) vielversprechend.
• Herausforderung: Die Komposition des Trainingsdatensatzes ist kritisch. Das Hinzufügen von Obfuskationsdaten (ERMDS) verbessert die Robustheit gegen Obfuskation, kann aber die Leistung auf anderen Datensätzen (wie SOREL-20M) verschlechtern.
• Zukunft: Es bedarf weiterer Forschung, um die Generalisierung über heterogene Systeme hinweg zu verbessern und Modelle zu entwickeln, die weniger anfällig für Verteilungsverschiebungen sind, insbesondere bei extrem niedrigen False-Positive-Raten.

Zusammenfassend liefert die Arbeit einen wichtigen Beitrag zum Verständnis der Grenzen aktueller ML-Detektoren und zeigt, dass keine einzelne "Allzweck"-Lösung existiert, ohne die spezifischen Eigenschaften der Zielumgebung und der Bedrohungslandschaft zu berücksichtigen.