🤖 AI

Adapter-Based Few-Shot Continual Learning for Malicious Packet Recognition

Dieses Paper schlägt ein hybrides Framework vor, das ein selbstüberwachtes Lern-Backbone, Low-Rank Adaptation (LoRA) und einen prototypenbasierten Klassifikationskopf kombiniert, um katastrophales Vergessen zu adressieren und eine State-of-the-Art-Leistung beim Few-Shot Class-Incremental Learning für die Erkennung bösartiger Pakete zu erreichen.

Ursprüngliche Autoren: Kyle Stein, Guillermo Francia, III Eman El-Sheikh, Andrew Arash Mahyari

Veröffentlicht 2026-08-25

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kyle Stein, Guillermo Francia, III Eman El-Sheikh, Andrew Arash Mahyari

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

In der digitalen Welt fungieren Sicherheitssysteme als ständige Wächter, die den Datenfluss, der sich durch unsere Netzwerke bewegt, scannen, um bösartigen Code aufzuspüren. Jahrelang verließen sich diese Systeme auf das Training mit massiven Bibliotheken bekannter Bedrohungen und lernten, spezifische Muster schädlichen Verhaltens zu erkennen. Die Landschaft der Cyber-Bedrohungen ist jedoch nicht statisch; sie ist ein bewegliches Ziel. Neue Familien von Malware entstehen ständig, wobei sie oft in geringen Zahlen erscheinen, bevor sie sich weit verbreiten. Traditionelle Sicherheitsmodelle haben mit dieser Realität zu kämpfen, da sie darauf ausgelegt sind, aus riesigen Mengen an Daten gleichzeitig zu lernen. Wenn sie gezwungen sind, eine neue Bedrohung zu lernen, ohne das Alte zu vergessen, leiden diese Systeme oft unter einem Phänomen, das als katastrophales Vergessen bekannt ist – ein Zustand, in dem das neue Lernen das alte überschreibt und das System gegenüber früheren Gefahren blind zurücklässt. Darüber hinaus verhindern strenge Datenschutz- und Sicherheitsregeln oft, dass Organisationen Kopien des bereits gesehenen bösartigen Codes aufbewahren können, was es unmöglich macht, vergangene Beispiele zu nutzen, um das System über neue zu lehren. Dies schafft ein schwieriges Rätsel: Wie kann ein Sicherheitssystem aus nur einer Handvoll Beispielen von neuen Bedrohungen lernen, ohne sein Gedächtnis an die Vergangenheit zu verlieren und ohne den gefährlichen Code, den es bereits verarbeitet hat, jemals zu speichern?

Forscher der University of West Florida und des Florida Institute for Human and Machine Cognition haben diese Herausforderung angegangen, indem sie eine neue Methode zur Erkennung bösartiger Netzwerkpakete entwickelt haben. Ihr Ansatz konzentriert sich auf ein spezifisches Szenario namens „Few-Shot Class-Incremental Learning“, bei dem ein System in der Lage sein muss, sich an neue Kategorien von Malware unter Verwendung von nur wenigen etikettierten Beispielen anzupassen, während es gleichzeitig die Fähigkeit behält, alle vorherigen Kategorien zu identifizieren. Um das Problem des Vergessens ohne die Möglichkeit, vergangene Daten zu speichern, zu lösen, baute das Team ein Framework, das auf einem zweistufigen Lernprozess basiert. Zuerst trainierten sie ein Deep-Learning-Modell von Grund auf neu mithilfe einer selbstüberwachten Technik. Anstatt dem Modell markierte Beispiele spezifischer Malware-Typen zuzuführen, ließen sie es die Rohstruktur von Millionen von Netzwerkpaketen studieren, wodurch es lernte, die zugrunde liegende Sprache des Internetverkehrs zu verstehen, ohne wissen zu müssen, was welches Paket für einen spezifischen Angriff darstellte. Dies schuf eine robuste Grundlage, ein allgemeines Verständnis dafür, wie bösartige Daten aussehen.

Nachdem dieses Fundament etabliert worden war, führten die Forscher eine Methode ein, um dem System neue Bedrohungen beizubringen, ohne das Kernwissen, das es bereits erworben hatte, zu verändern. Sie verwendeten eine Technik namens „Low-Rank Adaptation“, die es dem System ermöglicht, neue Informationen zu erlernen, indem kleine, effiziente Anpassungsschichten hinzugefügt werden, anstatt das gesamte Modell neu zu schreiben. Stellen Sie sich eine Bibliothek vor, in der die Bücher bereits geschrieben und gebunden sind; anstatt die bestehenden Bände umzuschreiben, um neue Kapitel hinzuzufügen, hängen die Forscher einfach neue, leichte Indexkarten an, die den Leser zu den neuen Informationen führen. In ihrem System bleibt das zentrale „Gehirn“ des Modells eingefroren und unverändert, wodurch das Wissen aller zuvor gelernten Malware-Familien bewahrt wird. Wenn eine neue Bedrohung auftaucht, nutzt das System dieses eingefrorene Gehirn, um Merkmale aus den wenigen verfügbaren Beispielen der neuen Bedrohung zu extrahieren und erstellt einen einfachen Referenzpunkt, oder Prototyp, für sie. Dies ermöglicht es dem System, die neue Bedrohung zu erkennen, indem es eingehende Daten gegen diese Referenzpunkte abgleicht, während das ursprüngliche Wissen perfekt intakt bleibt.

Das Team testete diese Methode an zwei bekannten Datensätzen des Netzwerkverkehrs, die tausende Stichproben verschiedener Arten von Cyberangriffen enthalten. Sie gestalteten einen strengen Test, bei dem das System zuerst einen großen Satz gängiger Angriffe lernte und dann in aufeinanderfolgenden Runden neue, unterschiedliche Arten von Angriffen lernen musste, wobei es jeweils nur fünf Beispiele pro neuer Art sah. Die Ergebnisse zeigten, dass ihr Ansatz bisherige Methoden, die für diese Aufgabe entwickelt wurden, deutlich übertraf. In der letzten Testrunde erreichte ihr System eine Genauigkeit von über 61 Prozent auf einem Datensatz und fast 59 Prozent auf dem anderen, womit es die nächstbesten Methoden um eine Marge von mehr als acht Prozentpunkten übertraf. Vielleicht noch wichtiger ist, dass das System eine bemerkenswerte Stabilität demonstrierte. Während andere Methoden, die versuchten, neue Informationen durch die Anpassung ihrer internen Gewichte zu lernen, bis zu 22 Prozent ihres zuvor gelernten Wissens vergaßen, reduzierte dieser neue Ansatz dieses Vergessen auf weniger als neun Prozent. Dies deutet darauf hin, dass das System, indem es den Kern des Modells eingefroren hält und nur kleine, gezielte Anpassungen vornimmt, in der Lage ist, sich an neue Bedrohungen anzupassen, ohne sein Gedächtnis an alte zu löschen.

Die Forscher untersuchten auch, ob das Vorhalten eines kleinen Puffers mit vergangenen Beispielen helfen würde, eine in anderen Bereichen übliche Strategie. Sie fanden heraus, dass das Speichern einiger vergangener Beispiele dem System zwar erlaubte, neue Bedrohungen etwas schneller zu lernen, dies jedoch mit einem hohen Preis verbunden war: Das System vergaß signifikant mehr seines vorherigen Wissens. Kritischer noch war, dass das Speichern selbst einer geringen Menge von Live-Malware ein schwerwiegendes Sicherheitsris Risiko darstellt, da dieser versehentlich ausgeführt oder geleakt werden könnte. Die Ergebnisse des Teams legen nahe, dass für die Cybersicherheit, wo die Einsätze der Datenspeicherung hoch sind, ein statisches, robust vortrainiertes System einem System überlegen ist, das auf das Wiederspielen vergangener Daten angewiesen ist. Ihre Arbeit zeigt, dass es möglich ist, adaptive Sicherheitssysteme zu bauen, die Datenschutzbeschränkungen respektieren und die schnelle Entwicklung von Bedrohungen handhaben können, und beweist, dass ein Modell flexibel genug sein kann, um das Neue zu lernen, während es solide genug bleibt, um das Alte zu erinnern.

Technische Zusammenfassung: Adapter-basierte Few-Shot Continual Learning für die Erkennung bösartiger Pakete

Problemstellung
Die Arbeit befasst sich mit der Herausforderung, evolvierende Malware-Varianten in realen Cybersicherheits-Deployments zu detektieren. Traditionelle Deep-Learning-Klassifikatoren haben Schwierigkeiten, wenn neue Malware-Familien schneller auftauchen, als große gelabelte Datensätze kuratiert werden können. Während Continual Learning (CL) und Class-Incremental Learning (CIL) Frameworks bieten, um sich im Laufe der Zeit an neue Klassen anzupassen, setzen diese typischerweise ausgewogene Sessions mit reichlich Daten pro Klasse voraus. Das spezifische Szenario des Few-Shot Class-Incremental Learning (FSCIL), bei dem neue Malware-Klassen aus nur wenigen gelabelten Beispielen gelernt werden müssen, ist im Malware-Bereich bisher unterforscht.

Eine kritische Einschränkung in diesem Bereich ist die rehearsal-freie Anforderung. Standardmäßige CL-Methoden verlassen sich oft auf „Rehearsal“ (das Speichern und Wiedereinspielen vergangener Daten), um katastrophales Vergessen zu verhindern. In der Malware-Analyse stellt das Speichern von rohen Schadlasten (Payloads) jedoch schwerwiegende Sicherheits- und Datenschutzrisiken dar (z. B. unbeabsichtigte Ausführung oder Datenabfluss), was rehearsal-basierte Ansätze für sichere Deployments unpraktikabel macht. Die Kernherausforderung besteht also darin, ein System zu entwerfen, das sich an neue, spärliche Malware-Klassen anpasst, ohne frühere Klassen zu vergessen und ohne historische Daten vorzuhalten.

Methodik
Die Autoren schlagen ein hybrides, rehearsal-freies Framework vor, das domänenspezifisches selbstüberwachtes Lernen mit parametereffizientem Fine-Tuning kombطiniert. Der Ansatz operiert in drei distinkten Phasen:

Selbstüberwachtes Pre-training (SSL): Ein Transformer-Encoder wird von Grund auf neu auf rohen Malware-Paket-Bytes mittels eines Masked Language Modeling (MLM) Objekts trainiert. Im Gegensatz zu NLP-Modellen, die Wort-Tokens verwenden, behandelt dieses Modell jedes Byte (0–255) als diskreten Token und erweitert das Vokabular, um Padding und Maskierung zu handhaben. Diese Phase lernt robuste, domänenspezifische Merkmalsrepräsentationen der Protokollsemantik, ohne dass Klasslabels erforderlich sind.
Base Session Adaptation mit LoRA: Im Anschluss an das Pre-training wird das Modell an eine Base Session bekannter Malware-Klassen mittels Low-Rank Adaptation (LoRA) angepasst. Anstatt eines Full Fine-Tunings, was das Risiko von Overfitting und Vergessen birgt, werden die Gewichte des vortrainierten Backbones eingefroren. Trainierbare Low-Rank-Matrizen werden in die Attention-Layer (Query-, Key- und Value-Projektionen) injiziert, um klassenspezifische Merkmale effizient zu lernen.
Rehearsal-Free Incremental Learning: Für nachfolgende inkrementelle Sessions, in denen nur $K$ Samples pro neuer Klasse verfügbar sind, bleibt der Backbone eingefroren. Das System verwendet einen prototypenbasierten Klassifikationskopf. Für jede neue Klasse wird ein Prototyp-Vektor berechnet, indem die L2-normalisierten Feature-Vektoren der verfügbaren Support-Samples gemittelt werden. Die Inferenz erfolgt über einen skalierten Cosine-Similarity-Klassifikator gegenüber diesen Prototypen, wodurch Gradienten-Updates während der inkrementellen Phase entfallen.

Um eine Baseline bereitzustellen, haben die Autoren auch eine rehearsal-basierte Variante implementiert, die einen kleinen Buffer an Exemplaren speichert, um die Trade-offs zwischen Stabilität und Plastizität zu vergleichen.

Zentrale Beiträge

Neuartiges Framework: Die Arbeit führt das erste Framework ein, das selbstüberwachtes Pre-training von Grund auf mit adapter-basiertem FSCIL speziell für die Erkennung bösartiger Pakete kombiniert.
Rehearsal-freie Adaptation: Es wird eine Methode vorgeschlagen, die eine effiziente Anpassung an neu auftretende Malware-Klassen ermöglicht, ohne zuvor beobachtete Samples vorzuhalten, wodurch kritische Sicherheits- und Datenschutzbeschränkungen adressiert werden.
Stability-Plasticity-Lösung: Durch die Nutzung eines eingefrorenen, robust vortrainierten Merkmalsraums und einer prototypenbasierten Klassifikation bewahrt die Methode die Entscheidungsgrenzen für alte Klassen und ermöglicht gleichzeitig neue Klassen, wodurch katastrophales Vergessen ohne Data Replay effektiv gemildert wird.
Feingranulare Evaluierung: Die Arbeit evaluiert das System unter einem feingranularen Protokoll, bei dem spezifische Angriffs-Subtypen als unabhängige Klassen behandelt werden, was die Schwierigkeit erhöht, da das Modell gezwungen wird, eine hohe Inter-Klassen-Ähnlichkeit aufzulösen.

Experimentelle Ergebnisse
Die Methode wurde auf zwei Benchmark-Datensätzen evaluiert: CIC-IDS2017 und UNSW-NB15. Die Experimente folgten einem 5-Shot FSCIL-Protokoll mit einer Base Session (S0) und drei inkrementellen Sessions (S1–S3).

Performance: Die vorgeschlagene rehearsal-freie Methode übertraf bestehende Baselines (BFS-NID und MalFSCIL) signifikant. Auf CIC-IDS2017 erreichte sie eine finale Session-Genauigkeit von 61,05 % im Vergleich zu 52,30 % für die beste rehearsal-freie Baseline. Auf UNSW-NB15 erreichte sie 58,59 % gegenüber 50,44 %.
Vergessen: Die Methode zeigte eine überlegene Stabilität und reduzierte die durchschnittliche Forgetting-Rate im Vergleich zu MalFSCIL um etwa die Hälfte (8,59 % vs. 17,28 % auf CIC-IDS2017).
Rehearsal-Vergleich: Während die rehearsal-basierte Variante (mit einem Buffer von 5 Samples) eine vergleichbare finale Genauigkeit erreichte, wies sie ein signifikant höheres Vergessen auf (19,95 % vs. 8,59 %). Dies bestätigt, dass der statische, eingefrorene Merkmalsraum des rehearsal-freien Ansatzes eine bessere Stabilität zur Bewahrung des Wissens der Base-Klassen bietet, was die Hypothese validiert, dass Data Replay in diesem spezifischen Sicherheitskontext unnötig und potenziell kontraproduktiv ist.

Bedeutung und Ansprüche
Das Paper behauptet, dass ein robuster, eingefrorener Merkmalsraum, der via selbstüberwachtem Lernen initialisiert wurde, gegenüber Data Replay für das Malware-FSCIL zu bevorzugen ist. Die Autoren argumentieren, dass ihr Ansatz das Stability-Plasticity-Dilemma erfolgreich navigiert, indem er den Kern-Backbone einfriert, um Repräsentationen zu bewahren, während leichte Adapter für die Base-Session und prototypenbasierte Regeln für inkrementelle Sessions verwendet werden.

Die Bedeutung liegt in der Bereitstellung einer sicheren, einsatzbereiten Lösung für adaptive Intrusion Detection Systeme, bei denen die Datenretention untersagt ist. Die Arbeit zeigt, dass komplexe Architekturen, die auf Variational Autoencodern oder Data Replay basieren, nicht zwingend notwendig sind; statierend kann eine Kombination aus domänenspezifischem Pre-training und parametereffizientem Tuning eine State-of-the-Art-Performance in der Few-Shot-Kontinuierlichen Malware-Klassifikation erreichen. Die Autoren räumen Einschränkungen ein und merken an, dass die anfänglichen Rechenkosten für das Pre-training hoch sind und die Annahme besteht, dass der vortrainierte Backbone selbst für neuartige Angriffe mit signifikanten Domain-Shifts ausreichend diskriminativ bleibt.

Mehr davon