🤖 machine learning

SEED: Semi-supervised Continual MalwarE Detection for Tackling ConcEpt Drift on a BuDget

Das Papier schlägt SEED vor, ein halbüberwachtes Framework für kontinuierliches Lernen, das eine maßgeschneiderte binäre Kreuzentropie-Zielfunktion mit aktivem Lernen und einer Singulärwertzerlegung kombiniert, um Malware unter Konzeptdrift mit begrenzten gelabelten Daten effektiv zu erkennen und dabei bestehende hierarchische kontrastive Lernmethoden auf Datensätzen mit schwachen semantischen Strukturen signifikant zu übertreffen.

Ursprüngliche Autoren: Suresh Kumar Amalapuram, Bikraj Shresta, Siva Ram murthy Chebiyam, Bheemarjuna Reddy Tamma, Sumohana S Channappayya

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Suresh Kumar Amalapuram, Bikraj Shresta, Siva Ram murthy Chebiyam, Bheemarjuna Reddy Tamma, Sumohana S Channappayya

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind Sicherheitsbeamter an einem belebten Flughafen. Ihre Aufgabe besteht darin, Bösewichte (Malware) unter Tausenden von unschuldigen Reisenden (harmlose Apps) zu identifizieren.

Das Problem: Die „Chamäleon"-Kriminellen
Das Problem ist, dass sich die Bösewichte ständig ihrer Verkleidung anpassen. Vor einem Monat trug ein Krimineller vielleicht einen roten Hut; heute trägt er einen blauen. In der Welt der Computer nennt man dies Concept Drift (Begriffsdrift). Wenn Ihr Sicherheitssystem nur auf „roten Hüten" trainiert wurde, wird es die später auftauchenden „blauen Hüte" übersehen.

Um Schritt zu halten, müssen Sie Ihr Sicherheitssystem jeden Monat neu trainieren. Doch es gibt einen Haken: Die Kennzeichnung ist teuer und langsam. Um dem System beizubringen, wie ein „Bösewicht" aussieht, muss ein menschlicher Experte Proben manuell untersuchen und kennzeichnen. Sie können es sich nicht leisten, genügend Experten einzustellen, um jeden einzelnen Reisenden zu kennzeichnen. Sie haben nur ein winziges Budget, um einige wenige zu kennzeichnen.

Der alte Weg: Die „Paarungs"-Falle
Bisherige Methoden versuchten, dieses Problem durch eine Technik namens Contrastive Learning (kontrastives Lernen) zu lösen. Stellen Sie sich dies als ein Spiel „Finde das Zwilling" vor. Das System versucht, sich ähnlich sehende Personen zusammenzufassen.

Der Fehler: Dieses Spiel funktioniert hervorragend, wenn Sie ein Fotoalbum von jedem korrekt gekennzeichnet haben. Doch wenn Sie nur wenige gekennzeichnete Fotos haben (das begrenzte Budget), gerät das System in Verwirrung. Es versucht, Zwillinge unter Fremden zu finden, und gruppiert am Ende unschuldige Personen mit Kriminellen oder umgekehrt. Die Studie zeigt, dass die Leistung des Sicherheitssystems erheblich sinkt, wenn Sie diese „Paarungs"-Methode mit begrenzten Kennzeichnungen anwenden.

Die neue Lösung: SEED (Der intelligente Matchmaker)
Die Autoren schlagen eine neue Methode namens SEED vor. Denken Sie an SEED nicht als Zwillingsspiel, sondern als intelligenten Matchmaker, der eine „Gedächtnisbank" nutzt.

So funktioniert SEED in drei einfachen Schritten:

1. Die „Gedächtnisbank" (Buffer)

SEED bewahrt eine kleine, kuratierte Sammlung vergangener Beispiele (sowohl gute als auch böse) in einer speziellen Gedächtnisbank auf. Es speichert sie nicht einfach zufällig; es organisiert sie mithilfe eines mathematischen Tricks namens SVD (Singulärwertzerlegung).

Die Analogie: Stellen Sie sich die Gedächtnisbank als Bibliothek vor. Anstatt jedes einzelne Buch zu behalten, erstellt der Bibliothekar (SVD) eine „Zusammenfassungs-Karte" der wichtigsten Geschichten. Diese Karte ist kompakt, erfasst aber das Wesentliche von allem, was zuvor geschah. Dies hilft SEED, sich an die Vergangenheit zu erinnern, ohne von zu vielen Daten überwältigt zu werden.

2. Der „Matchmaker" (Für gesehene Aufgaben)

Wenn ein neuer, unmarkierter Reisender eintrifft, rät SEED nicht. Stattdessen projiziert es ihn auf die „Zusammenfassungs-Karte" aus der Gedächtnisbank.

Die Analogie: Es fragt: „Wer in unserer Geschichte sieht dieser Person am ähnlichsten?" Es findet das nächste Match in der Vergangenheit. Wenn die neue Person einem bekannten Kriminellen vom letzten Monat sehr ähnlich sieht, behandelt SEED sie ebenfalls als Kriminellen. Wenn sie einer bekannten unschuldigen Person ähnelt, behandelt er sie als unschuldig.
Der Vorteil: Dies ermöglicht es dem System, von der unmarkierten Mehrheit zu lernen, indem es sie mit der markierten Minderheit verbindet, ohne sie in starre „Zwilling"-Paare zwingen zu müssen.

3. Der „Unsicherheits-Detektor" (Für ungesehene Aufgaben)

Manchmal erscheint eine völlig neue Art von Kriminellen, die niemandem in der Gedächtnisbank ähnelt.

Die Analogie: SEED berechnet, wie „verwirrt" es über diese neue Person ist. Wenn die Person sehr weit von allen in der Gedächtnisbank entfernt ist (hohe Unsicherheit), markiert SEED sie.
Die Aktion: Es sagt zum menschlichen Experten: „Ich bin mir bei diesem nicht sicher. Bitte schauen Sie sich das an und sagen Sie mir, ob sie gut oder böse ist." Dies stellt sicher, dass der Mensch sein begrenztes Budget nur für die Proben ausgibt, die tatsächlich Hilfe benötigen.

4. Die „Abkühlphase" (Verzögerte Buffer-Aktualisierung)

Eines der größten Risiken in der Sicherheit sind Noisy Labels (verrauschte Kennzeichnungen). Manchmal machen selbst Experten Fehler, oder automatisierte Tools geben falsche Kennzeichnungen aus. Wenn Sie eine falsche Kennzeichnung sofort in Ihre Gedächtnisbank aufnehmen, lernt das System die falsche Lektion und verbreitet diesen Fehler auf zukünftige Aufgaben.

Die Analogie: SEED führt eine „Abkühlphase" ein. Wenn eine neue Kennzeichnung eingeht, gelangt sie nicht direkt in die Gedächtnisbank. Sie wartet einige Monate (eine Verzögerung).
Warum? Durch das Warten gibt das System Zeit, die Kennzeichnung zu verifizieren oder dafür, dass sich die „Wahrheit" stabilisiert. Wenn eine Kennzeichnung ein Fehler war, könnte sie korrigiert werden, bevor sie jemals gespeichert wird. Dies verhindert, dass das System sein eigenes Gedächtnis mit schlechten Daten „vergiftet".

Die Ergebnisse: Warum es wichtig ist

Die Studie testete SEED mit realen Daten aus Android- und Windows-Systemen.

Der Gewinn: Im Vergleich zu den alten „Paarungs"-Methoden war SEED viel besser darin, neue, ungesehene Kriminelle zu fangen, insbesondere wenn menschliche Experten nur einen kleinen Prozentsatz (20 %) der Daten kennzeichnen konnten.
Die Verbesserung: Bei einem Datensatz verbesserte SEED die Erkennung um 40 % im Vergleich zur alten Methode, wenn Kennzeichnungen knapp waren. Bei einem anderen verbesserte sie sich um 14 %.
Die Robustheit: Selbst wenn die Kennzeichnungen verrauscht waren (voll von Fehlern), hielt die „Abkühlphase"-Strategie von SEED das System stabil, während andere Methoden zusammenbrachen.

Zusammenfassung
SEED ist eine intelligentere Art, Sicherheitsbeamte zu trainieren. Anstatt sie zu zwingen, jedes einzelne Gesicht auswendig zu lernen (was zu teuer ist), hilft es ihnen, neue Gesichter mit einer kompakten, organisierten Erinnerung an die Vergangenheit zu verbinden. Es weiß, wann es um Hilfe bitten muss, und wartet, um sicherzustellen, dass die Hilfe genau ist, bevor es sein Gedächtnis aktualisiert. Dies hält das Sicherheitssystem scharf, selbst wenn die Kriminellen ihre Verkleidungen ständig ändern.

Technischer Überblick: SEED – Semi-supervised Continual MalwarE Detection

1. Problemstellung

Maschinell lernbasierte Malware-Erkennungssysteme sind im Laufe der Zeit erheblicher Veraltung ausgesetzt, bedingt durch Concept Drift, bei dem sich die statistischen Eigenschaften sowohl von benignen als auch von bösartigen Anwendungen verändern. Dieses Phänomen erfordert eine kontinuierliche Anpassung (Open World Learning), während gleichzeitig die Stabilität gegenüber katastrophalem Vergessen previously gelernter Kenntnisse gewahrt bleiben muss.

Ein kritischer Engpass bei der Bereitstellung solcher Systeme ist das Labeling-Budget. Im Sicherheitsbereich ist die Beschaffung vollständig gelabelter Daten mühsam, teuer und oft unzuverlässig, bedingt durch Labeling-Dynamiken und Verzögerungen bei der Verifizierung. Während aktuelle State-of-the-Art-Methoden (SOTA) wie HCL (Hierarchical Contrastive Learning) semantische Strukturen nutzen, um Drift zu bewältigen, sind sie stark auf vollständig gelabelte Daten angewiesen. Die Autoren stellen fest, dass HCL, wenn es an semi-supervised Settings angepasst wird (unter Verwendung nur partieller Labels, bezeichnet als HCL*), seine Leistung signifikant verschlechtert, insbesondere bei Datensätzen, die keine starken inhärenten semantischen Strukturen aufweisen (z. B. BODMAS und AndroZoo). Beispielsweise sinkt HCL* auf dem BODMAS-Datensatz im Vergleich zu seinem vollständig überwachten Gegenstück von einem AUT (Area Under the Time curve) von 0,795 auf 0,613.

Die Arbeit adressiert die Herausforderung, eine robuste Malware-Erkennung unter begrenzter Supervision und Concept Drift aufrechtzuerhalten, speziell dann, wenn starke semantische Strukturen fehlen oder Labeling-Budgets eingeschränkt sind.

2. Methodik: SEED

Die vorgeschlagene Methode, SEED (Semi-supervised Continual MalwarE Detection for Tackling ConcEpt Drift on a BuDget), ist ein semi-supervised continual Learning-Framework, das Active Learning und eine verzögerte Buffer-Aktualisierungsstrategie integriert. Es arbeitet in zwei distincten Phasen: Training an „gesehenen Tasks" (partiell gelabelt) und „ungesehenen Tasks" (vollständig ungelabelt).

2.1 Training mit gesehenen Tasks (partiell gelabelte Daten)

Für Tasks, die sowohl gelabelte ( $D^l_t$ ) als auch ungelabelte ( $D^u_t$ ) Samples enthalten, verwendet SEED einen zweistufigen Prozess, um ungelabelte Daten zu nutzen, ohne auf Contrastive Loss angewiesen zu sein:

Konstruktion des Repräsentationsraums via SVD: Die Methode konstruiert einen latenten Repräsentationsraum unter Verwendung der gelabelten Exemplare vergangener Tasks. Anstatt alle Rohrepräsentationen zu speichern, wendet sie eine Singulärwertzerlegung (SVD) auf die kodierten latenten Vektoren an, um orthonormale Basisvektoren zu extrahieren. Dies reduziert die Speicherkosten und erfasst die aussagekräftigsten Merkmale der Daten.
Exemplar-Auswahl und Pairwise Learning: Für jedes ungelabelte Sample projiziert SEED es in den SVD-basierten Repräsentationsraum. Anschließend berechnet es Kosinus-Distanzen, um das am besten geeignete gelabelte Exemplar (oder eine Gruppe von Exemplaren) aus dem Buffer zu finden. Ein adaptiver Schwellenwert-Mechanismus wählt die beste Übereinstimmung basierend auf dem aktuellen Verhältnis gelabelter Daten aus.
Verlustfunktion: Anstelle von Contrastive Loss verwendet SEED einen maßgeschneiderten Binary Cross-Entropy (BCE)-Loss. Er erzwingt repräsentationale Ähnlichkeit zwischen einem ungelabelten Sample und seinem ausgewählten gelabelten Gegenstück im latenten Raum.
Gradient Projection Memory (GPM): Um katastrophales Vergessen zu mildern, nutzt SEED GPM. Die Gradienten des aktuellen Tasks werden orthogonal zu den Gradientenrichtungen vorheriger Tasks projiziert (speziell für Malware-Klassen), wodurch sichergestellt wird, dass das Erlernen neuer Merkmale nicht mit zuvor gelernten Malware-Definitionen interferiert.

2.2 Training mit ungesehenen Tasks (vollständig ungelabelte Daten)

Beim Auftreten von Tasks ohne Labels wendet SEED eine Active-Learning-Strategie an, um den Task in einen partiell gelabelten zu transformieren:

Unsicherheitsquantifizierung: Das Modell berechnet die Unsicherheit ungelabelter Samples, indem es deren mittlere Kosinus-Distanz zu den im Buffer gespeicherten benignen und Malware-Gruppen misst.
Ausgewählte Selektion: Um eine Verzerrung zugunsten der Mehrheitsklasse (benign) zu vermeiden, wählt die Methode Samples für die Analysten-Labeling basierend auf einer ausgewogenen Ranking-Strategie aus (Auswahl von Samples, die weit von oder nahe an bestimmten Gruppen liegen, um Repräsentation aus beiden Klassen sicherzustellen).
Transition: Sobald eine Teilmenge von Samples von einem Sicherheitsanalysten gelabelt wurde, wird der Task als „gesehener Task" behandelt und unter Verwendung der in Abschnitt 2.1 beschriebenen Methodik verarbeitet.

2.3 Verzögerte Buffer-Aktualisierungsstrategie

Um das Problem von Label-Rauschen (häufig im Sicherheits-Labeling, wo erste Urteile fehlerhaft oder instabil sein können) zu adressieren, führt SEED eine verzögerte Buffer-Aktualisierung ein. Neu gelabelte Samples werden nicht sofort zum Replay-Buffer hinzugefügt. Stattdessen werden sie für einen festen Verzögerungszeitraum (z. B. 1, 3 oder 11 Monate) zurückgehalten, um Labels zu stabilisieren (was die Konvergenz von Multi-Engine-Antiviren-Urteilen nachahmt). Dies verhindert, dass verrauschte Labels während des replay-basierten Lernprozesses propagiert werden.

3. Hauptbeiträge

Identifikation von Limitationen im Contrastive Learning: Die Arbeit zeigt, dass Contrastive-Learning-Methoden (wie HCL) in semi-supervised Settings bei Fehlen starker semantischer Strukturen eine signifikante Leistungsverschlechterung erleiden, was die Notwendigkeit alternativer Ansätze unterstreicht.
SEED-Framework: Eine neuartige semi-supervised continual Learning-Methode, die:
- SVD nutzt, um einen robusten Repräsentationsraum aus begrenzten gelabelten Daten zu konstruieren.
- Contrastive Loss durch einen Pairwise-Similarity-Learning-Ansatz mit maßgeschneidertem BCE-Loss ersetzt.
- Active Learning integriert, um informative Samples aus vollständig ungelabelten Tasks auszuwählen.
Rauschminderung: Die Einführung einer verzögerten Buffer-Aktualisierungsstrategie zur Minderung der nachteiligen Effekte von Label-Rauschen, was Robustheit selbst bei hohen Rauschquoten (bis zu 80 %) zeigt.
Umfassende Evaluation: Umfangreiche Experimente auf Windows- (BODMAS) und Android-Datensätzen (AndroZoo, APIGraph), die die Wirksamkeit der Methode unter variierenden Labeling-Budgets und Rauschniveaus demonstrieren.

4. Experimentelle Ergebnisse

Die Autoren bewerteten SEED gegenüber klassischen continual Learning-Baselines (EWC, A-GEM, MIR, CBRS) und Contrastive-Learning-Methoden (CADE, HCL, HCL*).

Leistung auf BODMAS (Windows): SEED erzielte eine durchschnittliche Verbesserung von 40 % im AUT (ungesehene Malware-Erkennung) im Vergleich zu HCL* über variierende Labeling-Budgets hinweg. Es übertraf HCL* (0,810 vs. 0,613) und CADE signifikant.
Leistung auf AndroZoo (Android): SEED zeigte eine durchschnittliche Verbesserung von 14 % gegenüber HCL* (0,855 vs. 0,780).
Leistung auf APIGraph (Android): Auf diesem Datensatz, der starke semantische Strukturen (API-Aufrufe) aufweist, blieb SEED mit HCL* konkurrenzfähig und erreichte einen AUT von 0,930 im Vergleich zu 0,948 bei HCL*. Dies deutet darauf hin, dass SEED vielseitig ist und auch dann gut abschneidet, wenn semantische Strukturen existieren, obwohl es dort am besten glänzt, wo diese fehlen.
Robustheit gegenüber Label-Rauschen: Unter hohem Label-Rauschen (bis zu 80 %) behielt SEED mit der verzögerten Buffer-Strategie eine stabile Leistung bei (z. B. unseen-AUT(A) um 0,85–0,90 auf AndroZoo), während Modelle, die direkt auf verrauschten Labels trainiert wurden, drastisch an Leistung einbüßten.
Sensitivitätsanalyse: Die Methode zeigte konsistente Verbesserungen bei höheren Labeling-Raten, insbesondere auf BODMAS, und demonstrierte, dass der 95 %-SVD-Schwellenwert und Kosinus-Distanzmetriken die stabilste Leistung lieferten.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass SEED eine praktische Lösung für die Malware-Erkennung in ressourcenbeschränkten, Open-World-Umgebungen bietet, in denen vollständig gelabelte Daten nicht verfügbar sind. Ihre primäre Bedeutung liegt in:

Entkopplung von semantischer Struktur: Im Gegensatz zu Contrastive-Methoden, die starke semantische Beziehungen zur Bildung positiver/negativer Paare benötigen, verlässt sich SEED auf eine Projektion in einen Basisvektor-Raum, was es auf diversen Datensätzen unabhängig von der inhärenten Struktur effektiv macht.
Budget-Effizienz: Es nutzt effektiv einen kleinen Bruchteil gelabelter Daten (z. B. 20 %), um sich an Concept Drift anzupassen, und reduziert so die Abhängigkeit von exhaustivem manuellem Labeling.
Stabilität gegenüber Rauschen: Durch die Anerkennung der dynamischen Natur von Sicherheits-Labels bietet die verzögerte Buffer-Strategie einen realistischen Mechanismus zum Umgang mit Label-Rauschen ohne komplexe Rauschmodellierung.

Die Autoren schließen, dass SEED unter begrenzter Supervision robust ist, Contrastive Learning bei Fehlen starker semantischer Strukturen übertrifft und dennoch konkurrenzfähig bleibt, wenn eine solche Struktur vorhanden ist, und somit einen ausgewogenen Ansatz für die kontinuierliche Malware-Erkennung bietet.