🤖 machine learning

Mitigating The Effect of Class Imbalance in Data with Hierarchical and Dependable Structure

Dieses Paper schlägt ein Hierarchy-Aware RoBERTa-Framework vor, das lernbare Parent-Class-Embeddings nutzt, um Klassenungleichgewichte bei der CWE-Vulnerabilitätsklassifizierung effektiv zu mildern, und demonstriert dabei, dass die Einbeziehung hierarchischer Strukturen herkömmliche Oversampling-Techniken übertrifft, welche oft die Modellleistung verschlechtern.

Ursprüngliche Autoren: Bipin Chhetri, Deepika Giri, Avishek Kadel, Rabin Kumar Karki, Akbar Siami Namin

Veröffentlicht 2026-07-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Bipin Chhetri, Deepika Giri, Avishek Kadel, Rabin Kumar Karki, Akbar Siami Namin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, einen riesigen Haufen Indizien über Computer-Sicherheitslücken zu sortieren. Diese Sicherheitslücken sind in einem riesigen Stammbaum namens Common Weakness Enumeration (CWE) organisiert. An der Spitze des Baumes stehen breite Kategorien wie „Base“ (das große Ganze), und je weiter man nach unten geht, desto spezifischer werden die Zweige, die in winzigen, seltenen Blättern wie „Compound“ oder „Pillar“ enden.

Das Problem? Die Beweistüte des Detektivs ist völlig unausgewogen. Es gibt hunderte von Hinweisen für die großen, häufigen Kategorien, aber nur eine Handvoll für die seltenen, spezifischen. Es ist wie eine Bibliothek mit 500 Büchern über „Obst“, aber nur 5 Büchern über „Drachenfrucht“. Wenn man versucht, einen Computer beizubringen, dies zu sortieren, wird er faul und rät einfach jedes Mal „Obst“, weil das das ist, was er am häufigsten sieht.

Das „Fake-Indiz“-Experiment (Was nicht funktionierte)

Um dies zu beheben, versuchten viele Experten einen Trick namens Oversampling. Sie nahmen die wenigen seltenen Hinweise und erfanden neue, gefälschte Indizien, um die Zahlen auszugleichen. Sie verwendeten zwei populäre Methoden: SMOTE und ADASYN.

Stellen Sie sich das wie einen Koch vor, der versucht, einer Suppe den Geschmack von mehr seltenen Gewürzen zu verleihen. Anstatt echte, zusätzliche Gewürze zu finden, nehmen sie zwei vorhandene Gewürzkörner, vermischen diese miteinander und hoffen, dass die neue Mischung authentisch schmeckt.

Das Paper testete dies an verschiedenen Arten von „Detektiven“ (Computermodellen):

Die Old-School-Detektive (Random Forest und SVM): Diese Modelle sind wie Detektive, die einfache Listen von Fakten betrachten. Wenn man ihnen die gefälschten, gemischten Gewürze fütterte, erhielten sie einen winzigen Schub. Ihre Genauigkeit stieg von 0,65 auf 0,69 für den Random Forest, und die Support Vector Machine (SVM) blieb stabil bei etwa 0,71–0,72. Es half ein wenig, aber nicht viel.
Die High-Tech-Detektive (CNN und BiGRU): Dies sind intelligentere Deep-Learning-Modelle, die verstehen, wie Wörter zusammenfließen. Als die Forscher ihnen die gefälschten, gemischten Gewürze fütterten, war das Ergebnis eine Katastrophe. Die Genauigkeit des CNN stürzte von 0,71 auf 0,55 mit SMOTE und auf 0,51 mit ADASYN ab. Die BiGRU fiel von 0,70 auf 0,53 und 0,44.

Warum? Das Paper argumentiert, dass diese High-Tech-Modelle wie Köche sind, die den Unterschied zwischen einem echten Gewürz und einer künstlichen Mischung schmecken können. Wenn man zwei verschiedene Computer-„Wörter“ miteinander mischt, um ein gefälschtes zu erstellen, bricht man die Regeln des Stammbaums. Man erschafft vielleicht eine „Variante“, die behauptet, ein Kind eines „Base“ zu sein, aber die gefälschte Mischung respektiert diese Eltern-Kind-Beziehung nicht tatsächlich. Es ist, als würde man versuchen, eine „Drachenfrucht“ herzustellen, indem man eine „Apfel“ und eine „Banane“ vermischt. Das Ergebnis ist keine Drachenfrucht; es ist ein verwirrender Mix, der den Detektiv verwirrt.

Die „Stammbaum“-Lösung (Was tatsächlich funktionierte)

Anstatt gefälschte Indizien zu erstellen, bauten die Autoren einen neuen Detektiv namens Hierarchy-Aware RoBERTa.

Stellen Sie sich vor, dieser Detektiv hat eine spezielle Karte des Stammbaums in seiner Tasche. Er liest nicht nur das Indiz; er prüft auch die Karte, um zu sehen: „Warte, wenn dieses Indiz zu einer ‚Base‘-Schwachstelle gehört, muss die Antwort mit diesem Elternteil verwandt sein.“

Das Modell funktioniert so:

Es liest die Textbeschreibung der Schwachstelle (unter Verwendung eines leistungsstarken Werkzeugs namens SecureBERT).
Es greift sich eine „Parent ID“ aus dem Stammbaum (wie die Information, dass das Indiz zum „Base“-Zweig gehört).
Es kombt die Textlesung mit dem Standort auf der Karte, um eine endgültbare Vermutung anzustellen.

Die Ergebnisse:
Dieser neue Detektiv brauchte überhaupt keine gefälschten Indizien. Er erreichte einen gewichteten F1-Score von 0,76 ohne jegliche Data Augmentation.

Vergleichen Sie dies mit dem Standard-BERT-Modell, das einen Score von 0,74 erreichte.
Am wichtigsten ist: Betrachten Sie die seltene „Class“-Kategorie. Das Standard-BERT-Modell erreichte für diese seltene Gruppe nur einen F1-Score von 0,49. Der neue Hierarchy-Aware-Ansatz steigerte diesen auf 0,60.

Das Fazrazit

Das Paper legt nahe, dass es, wenn man einen strukturierten Stammbaum von Daten hat, eine schlechte Idee ist, die Daten durch das Vermischen bestehender Teile zu „fälschen“ (Oversampling). Es funktioniert okay für einfache Modelle, aber es macht fortgeschrittene Modelle kaputt.

Stattdessen ist der beste Ansatz, dem Modell von Anfang an beizubringen, den Stammbaum zu respektieren. Indem man dem Modell eine „Karte“ der Eltern-Kind-Beziehungen gibt, kann es die seltenen, schwierigen Fälle viel besser lösen als durch das bloße Auffüllen der Trainingsdaten mit synthetischem Rauschen.

Die Autoren weisen jedoch vorsichtig darauf hin, dass selbst ihr bester Detektiv mit den seltensten Kategorien wie „Compound“ und „Pillar“ zu kämpfen hat, die jeweils nur 8 bzw. 5 Stichproben hatten. Für diese extrem seltenen Gruppen blieb der F1-Score über alle Modelle hinweg bei 0,00, was darauf hindeutet, dass selbst eine Stammbaum-Karte nicht ausreicht, um das Rätsel zu lösen, wenn es fast gar keine Daten gibt.

Technisches Resümee: Abschwächung der Auswirkungen von Klassenimbalanz in Daten mit hierarchischer und abhängiger Struktur

Problemstellung

Die Klassifizierung von Cybersicherheits-Schwachstellen unter Verwendung der Common Weakness Enumeration (CWE)-Taxonomie stellt zwei primäre Herausforderungen dar: extreme Klassenimbalanz und starke hierarchische Abhängigkeiten zwischen den Schwachstellenkategorien. Die CWE-Taxonomie organisiert Schwachstellen in Abstraktionsebenen (Base, Class, Pillar, Variant, Compound), wobei Knoten auf höherer Ebene breite Konzepte repräsentieren und Knoten auf niedrigerer Ebene spezifische Details darstellen. In der Praxis dominieren eine kleine Anzahl von Schwachstellentypen den Korpus, während seltene, aber hochwirksame Kategorien signifikant unterrepräsentiert bleiben.

Obwohl Transformer-basierte Encoder wie BERT und RoBERTa sich als starke Baselines etabliert haben, haben sie Schwierigkeiten mit seltenen Kategorien aufgrund der Klassenimbalanz. Darüber hinaus besitzen CWE-Labels explizite Eltern-Kind-Abhängigkeiten (z. B. ist ein „Variant“ immer ein Kind eines „Base“), was bedeutet, dass Fehlklassifizierungen auf höheren Abstraktionsebenen nach unten kaskadieren. Traditionelle Ansätze zur Imbalanz, wie Random Oversampling, Undersampling und synthetische Generierungstechniken wie die Synthetic Minority Oversampling Technique (SMOTE) und Adaptive Synthetic Sampling (ADASYN), werden zwar weit verbreitet angewendet, ihre Wirksamkeit bei hierarchischen, strukturierten Text-Embeddings bleibt jedoch weitgehend unerforscht. Insbesondere ist unklar, ob lineare Interpolation in hochdimensionalen Embedding-Räumen die strukturellen Zwänge der CWE-Hierarchie respektiert.

Methodik

Die Studie evaluiert eine Reihe von Modellen unter verschiedenen Datenausgleichsbedingungen und schlägt eine neuartige Architektur vor, die die hierarchische Struktur direkt in den Lernprozess integriert.

1. Experimentelle Baselines und Oversampling

Die Autoren evaluierten empirisch verschiedene Machine-Learning- (Random Forest, SVM), Deep-Learning- (CNN, BiGRU) und Transformer-basierte (BERT) Modelle auf einem imbalanten hierarchischen CWE-Datensatz.

Oversampling: SMOTE und ADASYN wurden ausschließlich auf den Trainingssatz angewendet. SMOTE glich alle Klassen auf 393 Stichproben mit $k$ -neighbors=2 an, während ADASYN die Synthese auf schwierige Grenzregionen konzentrierte, um eine nahezu paritätische Anzahl zu erreichen.
Modelle:
- Klassisches ML: Random Forest (100 Bäume) und SVM (linearer Kernel).
- Deep Learning: CNN (128 Filter, Kernelgrößen [4,6,6]) und BiGRU (128 Hidden Dimension).
- Transformer: BERT-base (uncased) und das vorgeschlagene Hierarchy-Aware RoBERTa.
- Training: Alle Deep-Learning-Modelle wurden mit einer Batch-Größe von 8 für 15 Epochen trainiert.

2. Vorgeschlagener Ansatz: Hierarchy-Aware RoBERTa

Das Paper führt ein Hierarchy-Aware RoBERTa-Framework ein, das die CWE-Strukturinformationen explizit durch lernbare Parent-Class-Embeddings integriert.

Architektur: Das Modell nutzt einen vortrainierten SecureBERT-Encoder, um eine 768-dimensionale [CLS]-Repräsentation aus dem Eingabetext zu generieren.
Hierarchische Injektion: Ein lernbares Parent-Kategorie-Embedding (24-dimensional) wird eingeführt, um grobkörnige strukturelle Beziehungen zu erfassen. Dieses Embedding wird gemeinsam mit dem Netzwerk trainiert.
Fusion: Die semantische Repräsentation ( $h_{cls}$ ) und der hierarchische Kontext ( $h_p$ ) werden mittels Konkatenation fusioniert: $h_f = [h_{cls}, h_p]$ .
Klassifizierung: Die fusionierte Repräsentation wird mit Dropout (0.3) regularisiert und an einen linearen Klassifizierungskopf übergeben, um Logits auszugegeben.
Formulierung: Die Aufgabe wird nicht als unabhängige Vorhersage $P(Y_{child}|X_{text})$ formuliert, sondern als bedingtes Wahrscheinlichkeitsproblem $P(Y_{child}|X_{text}, Y_{parent})$ , wobei die „Parent ID“ als struktureller Prior genutzt wird.

Zentrale Beiträge

Empirische Evaluierung: Die Studie bietet eine umfassende Evaluierung von ML-, DL- und Transformer-Modellen unter SMOTE- und ADASYN-Resampling auf einem imbalanten hierarchischen CWE-Datensatz.
Analyse der synthetischen Interpolation: Die Autoren zeigen auf, dass die synthetische Interpolation in hochdimensionalen Embedding-Räumen inhärente Eltern-Kind-Constraints verletzt. Während dies marginale Vorteile für klassische ML-Modelle bietet, verschlechtert es die Leistung von Deep-Learning-Architekturen konsistent.
Hierarchy-Aware Modell: Die Einführung eines Hierarchy-Aware RoBERTa-Modells, das CWE-Struktur-Priors über lernbare Parent-Class-Embeddings injiziert und so eine End-to-End-Gemeinschaftsmodellierung von semantischem Inhalt und hierarchischer Struktur ermöglicht.
Leistungssteigerungen: Das vorgeschlagene Modell erreicht einen gewichteten F1-Score von 0,76 ohne Datenausgleich und übertrifft damit alle Baselines. Bemerkenswert ist, dass es den F1-Score für die Kategorie „Class“ von 0,49 (BERT-Baseline) auf 0,60 verbessert.

Ergebnisse

Auswirkung des Oversampling:
- Klassisches ML: SMOTE und ADASYN lieferten schwache, aber positive Verbesserungen für Random Forest (Genauigkeit stieg von 0,65 auf 0,69) und SVM (Genauigkeit blieb stabil bei etwa 0,71–0,72).
- Deep Learning: Oversampling verschlechterte die Leistung konsistent. Die Genauigkeit des Vanilla-CNN sank von 0,71 auf 0,55 (SMOTE) und 0,51 (ADASYN). BiGRU sank auf 0,53 bzw. 0,44.
- Transformer: BERT erreichte 0,74 Genauigkeit ohne Augmentierung. Das vorgeschlagene Hierarchy-Aware RoBERTa erreichte die höchste Genauigkeit von 0,76.
Pro-Klasse-Leistung:
- Das vorgeschlagene Modell erreichte den höchsten gewichteten F1-Score (0,76) im Vergleich zu BERT (0,73), CNN (0,68 Baseline) und BiGRU (0,69 Baseline).
- Signifikante Gewinne wurden in Minderheitenklassen beobachtet; beispielsweise verbesserte sich der F1-Score der Kategorie „Class“ von 0,49 (BERT) auf 0,60 (Hierarchy-Aware RoBERTa).
- Extrem spärliche Kategorien (Compound und Pillar) verblieben bei allen Modellen bei einem F1-Wert von 0,00, was die Grenzen des überwachten Lernens bei extremer Datensparsamkeit verdeutlicht.

Bedeutung und Behauptungen

Das Paper argumentiert, dass hierarchiebewusstes Repräsentationslernen eine fundiertere Alternative zum Oversampling für die strukturierte Schwachstellenklassifizierung darstellt. Die Autoren behaupten, dass synthetische Interpolationstechniken (SMOTE/ADASYN) in diesem Bereich versagen, weil sie:

Proben erzeugen, denen in hochdimensionalen kontextuellen Räumen die linguistische Kohärenz fehlt.
Die strukturellen Abhängigkeiten der CWE-Taxonomie verletzen (z. B. kann ein „Variant“ nicht ohne ein „Base“ existieren), was strukturell ungültige Embeddings erzeugt, die das Modell verwirren.
Proben als unabhängige Entitäten in einem flachen Merkmalsraum behandeln und dabei die baumstrukturierte Graphnatur der CWEs ignorieren, bei der Fehler vom Eltern- zum Kindknoten kaskadieren.

Durch die explizite Modellierung der Eltern-Kind-Beziehung über lernbare Embeddings erzwingt das vorgeschlagene Framework strukturelle Konsistenz und verbessert die Diskriminierung zwischen Minderheiten- und semantisch abhängigen Klassen, ohne das Rauschen, das durch synthetische Datengenerierung entsteht.

Limitationen

Die Autoren räumen bescheiden einige Einschränkungen ein:

Inferenz-Abhängigkeit: Das Modell setzt voraus, dass Parent-Level-Metadaten während der Inferenz verfügbar sind, was zwar mit Coarse-to-Fine-Pipelines übereinstimmt, aber nicht für alle Szenarien geeignet sein kann.
Statische Hierarchie: Die Hierarchie wird als fest betrachtet; das Modell kann sich ohne Retraining möglicherweise nicht an neue oder umstrukturierte Knoten anpassen, da sich die CWE-Taxonomie kontinuierlich aktualisiert.
Umfang der Hierarchie: Nur die direkte Parent-Information wird erfasst, wodurch Multi-Hop-Ahnen, Geschwisterbeziehungen und die Baumtiefe vernachlässigt werden, was die Leistung bei tief verschachtelten Klassen wie Compound und Pillar einschränkt.
Parameter-Overhead: Lernbare Parent-Embeddings führen einen moderaten Parameter-Overhead hinzu, der die Skalierung auf sehr große Taxonomien erschweren könnte.
Domänenspezifität: Der Ansatz wurde nur innerhalb der CWE-Domäne evaluiert, wesche die Generalisierbarkeit auf andere hierarchische Aufgaben empirisch unvalidiert bleibt.