🤖 machine learning

LLM-Generated Samples for Android Malware Detection

Diese Studie zeigt, dass fein abgestimmte, von LLMs generierte synthetische Daten zwar die knappen Datensätze für Android-Malware effektiv ergänzen können, ohne die Erkennungsgenauigkeit signifikant zu beeinträchtigen, jedoch im Vergleich zu realen Daten als alleinige Trainingsquelle unzureichend bleiben.

Ursprüngliche Autoren: Nik Rollinson, Nikolaos Polatidis

Veröffentlicht 2026-01-27

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Nik Rollinson, Nikolaos Polatidis

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Sicherheitswachmann, der versucht, eine bestimmte Art von Dieb in einer überfüllten Stadt aufzuspüren. Um Ihren Job gut zu machen, müssen Sie Fotos echter Diebe studieren, damit Sie deren Gesichter, Kleidung und Gewohnheiten erkennen. Aber was ist, wenn es nur wenige Fotos von einer bestimmten Art von Dieb gibt, wie zum Beispiel „Bankräubern“, und Sie mehr benötigen, um Ihr Auge zu schulen?

Dieses Paper untersucht einen neuen Weg, um diese zusätzlichen Fotos zu erhalten: eine superintelligente KI (einen sogenannten Large Language Model oder LLM) zu bitten, falsche Fotos von Dieben zu zeichnen, basierend auf den echten Fotos, die sie bereits gesehen hat. Die Forscher wollten wissen: Helfen uns diese KI-gezeichneten Fotos dabei, echte Diebe zu fangen, oder verwirren sie den Sicherheitswachmann nur?

Hier ist eine einfache Aufschlüsselung dessen, was sie getan haben und was sie herausgefunden haben:

Der Aufbau: Das „Fotoalbum“ und der „KI-Künstler“

Die Forscher begannen mit einem echten Fotoalbum (einem Datensatz namens KronoDroid), das Bilder von drei spezifischen Arten von Android-Malware (schlechten Apps) enthielt:

BankBot: Diebe, die Bankinformationen stehlen.
Locker/SLocker: Diebe, die Ihren Telefonbildschirm sperren.
Airpush/StopSMS: Diebe, die Werbung spammen oder geheime Texte versenden.

Sie baten einen KI-Künstler (speziell ein Modell namens GPT-4.1-mini), sich diese echten Fotos anzusehen und neue, gefälschte Fotos zu zeichnen, die genau wie diese aussah. Sie versuchten, die KI dazu zu bringen, 50 bis 150 gefälschte Fotos für jeden Typ von Dieb zu zeichnen.

Die drei Experimente

Um zu testen, ob die Zeichnungen der KI nützlich waren, führten sie drei verschiedene Trainingsszenarien für ihre Sicherheitswachmänner (Machine-Learning-Modelle) durch:

Der „Nur Echt“-Test: Der Wachmann studierte nur die echten Fotos.
- Ergebnis: Der Wachmann wurde zu einem Meisterdetektiv. Er ergriff fast jeden Dieb mit nahezu perfekter Genauigkeit. Dies ist der Goldstandard.
Der „Echt + Gefälscht“-Test: Der Wachmann studierte die echten Fotos plus die von der KI gezeichneten gefälschten Fotos.
- Ergebnis: Der Wachmann machte immer noch einen fantastischen Job, fast so gut wie die „Nur Echt“-Gruppe. Die gefälschten Fotos verwirrten ihn nicht; sie dienten lediglich als etwas zusätzliche Übung. Es ist, als würde man eine echte Karte studieren und zusätzlich ein paar handgezeichnete Skizzen derselben Stadt; man kennt den Weg trotzdem.
Der „Nur Gefälscht“-Test: Der Wachmann studierte nur die von der KI gezeichneten gefälschten Fotos und wurde dann an echten Dieben getestet.
- Ergebnis: Dies war ein gemischtes Bild.
  - Für die Bankräuber war der Wachmann ganz okay, verpasste aber etwa die Hälfte der echten Diebe.
  - Für die Telefon-Sperrer war der Wachmann im Gruppengleichgewicht (wie beim Münzwurf).
  - Für die Spam-/Text-Diebe schnitt der Wachmann überraschend gut ab und ergriff die meisten von ihnen.
- Warum der Unterschied? Die Forscher fanden heraus, dass die KI besser darin war, die „Spam/Text“-Diebe zu zeichnen, weil sie mehr echte Beispiele zum Lernen hatte und die KI länger übte, sie zu zeichnen. Die KI hatte Schwierigkeiten, die komplexen Details der anderen beiden Typen einzufangen.

Die wichtigste Erkenntnis

Das Paper schließt mit einer einfachen Faustregel ab:

KI-Zeichnungen sind großartig, um „Lücken zu füllen“. Wenn Sie nicht genug echte Fotos eines bestimmten Diebes haben, kann es Ihrem Sicherheitswachmann helfen, besser zu werden, wenn Sie eine KI bitten, einige gefälschte zu zeichnen, ohne dabei seine Leistung zu beeinträchtigen.
KI-Zeichnungen sind KEIN Ersatz. Man kann einen Sicherheitswachmann nicht nur anhand von KI-Zeichnungen trainieren und erwarten, dass er echte Diebe fängt. Die gefälschten Fotos lassen subtile, reale Details vermissen, die nur im Original existieren.

Die Analogie des „Kochkurses“

Denken Sie an das Erlernen des Kochens:

Echte Daten sind das Probieren eines echt, perfekt gegarten Steaks.
KI-Daten sind die Beschreibung der KI darüber, wie ein Steak schmeckt, und das Schreiben eines Rezepts für Sie.

Wenn Sie das echte Steak probieren und zusätzlich das Rezept der KI lesen, werden Sie ein toller Koch. Aber wenn Sie nur das Rezept der KI lesen und niemals ein echtes Steak probiert haben, könnten Sie ein Gericht zubereiten, das wie ein Steak aussieht, aber nicht wie eines schmeckt. Sie könnten das Geheimnis vermissen, das nur im echten Ding existiert.

Kurz gesagt: Nutzen Sie die KI, um zu üben, wenn Ihnen echte Beispiele fehlen, aber verlassen Sie sich niemals allein auf die KI, um die eigentliche Arbeit zu erledigen.

Technisches Resümee: LLM-generierte Stichproben für die Android-Malware-Erkennung

Problemstellung
Android-Malware entwickelt sich durch Obfuskation und Polymorphismus rasant weiter, was sowohl signaturbasierte Abwehrmechanismen als auch Machine-Learning-Modelle (ML) vor Herausforderungen stellt. Ein kritischer Engpass bei der Entwicklung robuster Erkennungssysteme ist die Datenknappheit, insbesondere bei spezifischen Malware-Familien und Verhaltensweisen, was zu unausgewogenen Datensätzen führt und die Generalisierung von Klassifikatoren behindert. Während synthetische Daten als Abhilfe vorgeschlagen wurden, bleibt die spezifische Wirksamkeit von Large Language Models (LLMs) bei der Generierung strukturierter, effektiver Malware-Datensätze für das Training von Erkennungsmodellen weitgehend unerforscht. In der bestehenden Literatur mangelt es an empirischen Evaluierungen darüber, wie LLM-generierte synthetische Android-Malware die Erkennungsleistung beeinflusst, wenn sie zur Augmentierung oder als eigenständige Trainingsquelle verwendet wird.

Methodik
Diese Studie nutzt den KronoDroid-Datensatz, der aufgrund seines hybriden statisch-dynamischen Merkmalsraums, der ausgewogenen Aufteilung zwischen bösartiger und gutartiger Proben sowie der menscheninterpretierbaren Merkmale ausgewählt wurde. Die Forschung konzentriert sich auf drei verschiedene Malware-Familien: BankBot (Banking-Trojaner), Locker/SLocker (Ransomware) und Airpush/StopSMS (Adware/SMS-Trojaner).

Die Kernmethodik umfasst einen dreistufigen Prozess:

Datenvorbereitung: Die Autoren wählten Teilmengen echter Geräte aus KronoDroid aus und behielten ein Verhältnis von 1:1 zwischen Malware und gutartigen Proben bei. Die Merkmale wurden vorverarbeitet, um Identifikatoren und Metadaten zu entfernen, „None“-Werte durch Null zu ersetzen und dünnbesetzte Spalten zu filtern, was zu einem finalen Satz von 387 numerischen Merkmalen führte.
LLM-Feinabstimmung und Generierung: Die Autoren haben GPT-4.1-mini feinabgestimmt, um strukturierte Malware-Datensätze zu generieren. Um Sicherheitsfilter bezüglich Begriffen wie „Malware“ zu umgehen, wurden die Merkmalsnamen bereinigt (z. B. „Malware“ $\to$ $\to$ „App“). Das Team versuchte zunächst die CSV-Generierung, stieß jedoch auf strukturelle Inkonsistenzen; folglich wechselten sie zu JSON/JSONL-Formaten, die sich als stabiler für LLMs erwiesen.
- Feinabstimmungsstrategie: Zwei Konfigurationen wurden getestet. Für BankBot und Locker/SLocker wurden 50 repräsentative Stichproben pro Familie für eine Epoche verwendet. Für Airpush/StopSMS wurde dieser Satz auf 150 Stichproben über 3 Epochen erhöht, um die Sensitivität gegenüber dem Datenvolumen und der Trainingstiefe zu testen.
- Prompt Engineering: Die Prompts wurden optimiert, um strukturellen Realismus, Einzigartigkeit und korrekte Kennzeichnung zu erzwingen. Die Nachbearbeitung beinhaltete das Entfernen von Duplikaten und die Adressierung von Halluzinationen (z. B. unrealistische Systemaufruf-Muster).
Experimentelle Evaluierung: Die Studie evaluierte fünf Klassifikatoren (k-Nearest Neighbors, Decision Trees, Logistic Regression, Multilayer Perceptron und Random Forest) in drei Szenarien:
- Nur echt (Real-only): Training mit realer Malware und gutartigen Daten.
- Echt + Synthetisch (Real + Synthetic): Augmentierung realer Malware mit LLM-generierten Stichproben.
- Nur synthetisch (Synthetic-only): Ausschließlich Training auf synthetischer Malware und realen gutartigen Daten, gefolgt von Tests auf realer Malware.

Wichtigste Ergebnisse
Die experimentellen Ergebnisse, die über 45 Kombinationen validiert wurden (3 Familien $\times$ 5 Klassifikatoren $\times$ 3 Szenarien), zeigen deutliche Leistungsstufen auf:

Training nur mit echten Daten (Real-Only): Erreichte eine nahezu perfekte Erkennung über alle Familien hinweg. Für BankBot erreichten Modelle wie Logistic Regression und Random Forest eine Genauigkeit und ROC AUC von 1,000. Die Locker- und Airpush-Familien zeigten ebenfalls eine hohe Leistung (Genauigkeit $\approx$ 0,97–0,99), was bestätigt, dass ausreichende reale Daten eine exzellente Diskriminierung ermöglichen.
Augmentierung mit Echt + Synthetisch (Real + Synthetic): Das Hinzufügen von LLM-generierten Stichproben bewahrte die hohe Leistung, führte jedoch zu geringfügigen, konsistenten Verschlechterungen im Vergleich zum Training nur mit echten Daten. Beispielsweise sank die Genauigkeit von BankBot leicht von 1,000 auf ~0,99. Entscheidend ist, dass die Falsch-Positiv-Rate sehr niedrig blieb (< 0,04), was darauf hindeutet, dass die synthetische Augmentierung die Spezifität nicht beeinträchtigt.
Training nur mit synthetischen Daten (Synthetic-Only): Die Leistung war gemischt und hing stark von der Malware-Familie und der Feinabstimmungsstrategie ab:
- BankBot & Locker/SLocker: Modelle, die ausschließlich auf synthetischen Daten trainiert wurden, schnitten bei Tests auf realen Daten schlecht ab. Die Genauigkeit lag zwischen 0,50 und 0,74, mit extrem niedriger Recall (z. B. 0,05 für Locker), was darauf hindeutet, dass die synthetischen Daten die notwendigen Verteilungscharakteristika für diese Familien nicht erfassen konnten.
- Airpush/StopSMS: Diese Familie zeigte eine signifikant bessere Generalisierung (Genauigkeit $\approx$ 0,80–0,89, Recall $\approx$ 0,61–0,79). Diese Verbesserung korrelierte mit dem größeren Feinabstimmungs-Satz (150 Stichproben) und der tieferen Trainingsdauer (3 Epochen), was darauf hindeutet, dass die synthetische Treue mit zunehmendem Datenvolumen und Trainingstiefe steigt.

Hauptbeiträge
Die Arbeit leistet zwei primäre Beiträge:

Nutzen der Augmentierung: Sie zeigt, dass die Erweiterung knapper realer Datensätze durch LLM-generierte Malware die Datengröße erhöhen kann, ohne die Erkennungsgenauigkeit oder Spezifität signifikant zu beeinträchtigen.
Grenzen der Machbarkeit von „Synthetic-Only“: Sie liefert empirische Belege dafür, dass LLMs zwar strukturell konsistente Datensätze generieren können, derzeit jedoch nicht als alleinige Trainingsquelle für die Malware-Erkennung ausreichen. Die Effektivität des Trainings nur mit synthetischen Daten ist hochgradig sensitiv gegenüber den Merkmalen der Malware-Familie und der Tiefe des Feinabstimmungsprozesses.

Bedeutung und Behauptungen
Die Autoren positionieren diese Arbeit als eine praktische Untersuchung des Nutzens von LLMs in der Cybersicherheitsanalyse statt als einen Durchbruch in der reinen Erkennungsmetrik. Die Studie behauptet:

Synthetische Daten sind eine Ergänzung, kein Ersatz: LLM-generierte Malware kann die Datenknappheit für seltene Familien effektiv adressieren, kann aber noch nicht echte Daten für das Training robuster Klassifikatoren ersetzen.
Methodische Strenge ist erforderlich: Der Erfolg der synthetischen Generierung hängt stark von Prompt Engineering, Nachbearbeitung und dem spezifischen Feinabstimmungsregime (Stichprobengröße und Epochen) ab.
Zukünftiges Potenzial: Die Ergebnisse legen nahe, dass die Erhöhung der Feinabstimmungs-Korpora und Epochen für größere Familien die Generalisierungslücke verringern könnte. Die Autoren schlagen vor, dass synthetische Daten am besten als Komplement für Aufgaben wie Adversarial Training, Red-Teaming und Benchmarking in Umgebungen geeignet sind, in denen der Zugriff auf sensible reale Datensätze begrenzt ist.

Zusammenfassend stellt die Arbeit fest, dass LLMs zwar einen vielversprechenden Weg zur Anreicherung von Malware-Datensätzen bieten, die aktuellen Outputs jedoch nicht die für eigenständige Erkennungsmodelle erforderliche Realitätstreue und Diversität aufweisen, was einen hybriden Ansatz erfordert, der die Validierung durch reale Daten priorisiert.

Der Aufbau: Das „Fotoalbum“ und der „KI-Künstler“

Die drei Experimente

Die wichtigste Erkenntnis

Die Analogie des „Kochkurses“

Mehr davon