🤖 machine learning

Mitigating The Effect of Class Imbalance in Data with Hierarchical and Dependable Structure

Cet article propose un cadre RoBERTa sensible à la hiérarchie qui exploite des plongements de classes parentes apprenables pour atténuer efficacement le déséquilibre des classes dans la classification des vulnérabilités CWE, démontrant que l'incorporation de la structure hiérarchique surpasse les techniques de suréchantillonnage traditionnelles qui dégradent souvent la performance du modèle.

Auteurs originaux : Bipin Chhetri, Deepika Giri, Avishek Kadel, Rabin Kumar Karki, Akbar Siami Namin

Publié 2026-07-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bipin Chhetri, Deepika Giri, Avishek Kadel, Rabin Kumar Karki, Akbar Siami Namin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective essayant de trier une pile massive d'indices sur les failles de sécurité informatique. Ces failles sont organisées dans un arbre généalogique géant appelé Common Weakness Enumeration (CWE). Au sommet de l'arbre se trouvent des catégories larges comme « Base » (la vue d'ensemble), et à mesure que vous descendez, les branches deviennent plus spécifiques, se terminant par de minuscules feuilles rares comme « Compound » ou « Pillar ».

Le problème ? Le sac à preuves du détective est totalement déséquilibré. Il y a des centaines d'indices pour les catégories larges et communes, mais seulement une poignée pour les plus rares et spécifiques. C'est comme avoir une bibliothèque avec 500 livres sur les « Fruits » mais seulement 5 livres sur le « Fruit du dragon ». Si vous essayez d'apprendre à un ordinateur à trier cela, il devient paresseux et se contente de deviner « Fruit » à chaque fois, parce que c'est ce qu'il voit le plus souvent.

L'expérience de la « Fausse Indice » (Ce qui n'a pas fonctionné)

Pour corriger cela, de nombreux experts ont tenté une astuce appelée suréchantillonnage (oversampling). Ils ont pris les quelques indices rares et ont tenté d'en inventer de nouveaux, de faux indices, pour que les nombres paraissent égaux. Ils ont utilisé deux méthodes populaires : SMOTE et ADASYN.

Pensez à cela comme un chef essayant de faire en sorte qu'une soupe ait le goût de certaines épices rares. Au lieu de trouver plus d'épices réelles, il prend deux grains d'épices existants, les mélange ensemble, et espère que le nouveau mélange aura un goût authentique.

L'article a testé cela sur différents types de « détectives » (modèles informatiques) :

Les détectives à l'ancienne (Random Forest et SVM) : Ces modèles sont comme des détectives qui examinent de simples listes de faits. Lorsqu'ils ont été nourris avec les fausses épices mélangées, ils ont obtenu un minuscule coup de pouce. Leur précision est passée de 0,65 à 0,69 pour le Random Forest, et la Machine à Vecteurs de Support (SVM) est restée stable autour de 0,71–0,72. Cela a aidé un peu, mais pas beaucoup.
Les détectives de haute technologie (CNN et BiGRU) : Ce sont des modèles d'apprentissage profond plus intelligents qui comprennent comment les mots s'écoulent ensemble. Lorsqu'on a nourri ces modèles avec les fausses épices mélangées, les résultats ont été un désastre. La précision du CNN s'est effondrée de 0,71 à 0,55 avec SMOTE et à 0,51 avec ADASYN. Le BiGRU est tombé de 0,70 à 0,53 et 0,44.

Pourquoi ? L'article soutient que ces modèles de haute technologie sont comme des chefs capables de goûter la différence entre une épice réelle et un mélange artificiel. Lorsque vous mélangez deux « mots » informatiques différents pour créer un faux mot, vous brisez les règles de l'arbre généalogique. Vous pouvez créer une « Variante » qui prétend être l'enfant d'une « Base », mais le mélange artificiel ne respecte pas réellement cette relation parent-enfant. C'est comme essayer de fabriquer un « Fruit du dragon » en mélangeant une « Pomme » et une « Banane ». Le résultat n'est pas un Fruit du dragon ; c'est un fouillis déroutant qui perd le détective.

La solution de l'« Arbre Généalogique » (Ce qui a réellement fonctionné)

Au lieu de créer de faux indices, les auteurs ont construit un nouveau détective nommé Hierarchy-Aware RoBERTa.

Imaginez que ce détective possède une carte spéciale de l'arbre généalogique dans sa poche. Il ne se contente pas de lire l'indice ; il vérifie également la carte pour voir : « Attendez, si cet indice concerne une faiblesse de type 'Base', la réponse doit être liée à ce parent ».

Le modèle fonctionne comme suit :

Il lit la description textuelle de la faille (en utilisant un outil puissant appelé SecureBERT).
Il récupère un « ID de Parent » de l'arbre généalogique (comme savoir que l'indice appartient à la branche « Base »).
Il combine la lecture du texte avec l'emplacement sur la carte pour faire une supposition finale.

Les Résultats :
Ce nouveau détective n'a eu besoin d'aucun faux indice. Il a atteint un score F1 pondéré de 0,76 sans aucune augmentation de données.

Comparez cela au modèle BERT standard, qui a obtenu 0,74.
Plus important encore, regardez la catégorie rare « Class ». Le modèle BERT standard n'a obtenu qu'un score F1 de 0,49 pour ce groupe rare. Le nouveau modèle « Hierarchy-Aware » a fait grimper ce score à 0,60.

L'essentiel

L'article suggère que lorsque vous avez un arbre généalogique structuré de données, essayer de « simuler » plus de données en mélangeant des morceaux existants (suréchantillonnage) est une mauvaise idée. Cela fonctionne assez bien pour les modèles simples, mais cela casse les modèles plus avancés.

Au lieu de cela, la meilleure approche consiste à apprendre au modèle à respecter la structure de l'arbre généalogique dès le départ. En donnant au modèle une « carte » des relations parent-enfant, il peut bien mieux comprendre les cas rares et complexes que s'il se contentait d'étouffer les données d'entraînement avec du bruit synthétique.

Cependant, les auteurs notent prudemment que même leur meilleur détective éprouve des difficultés avec les catégories les plus rares, comme « Compound » et « Pillar », qui n'avaient respectivement que 8 et 5 échantillons. Pour ces groupes extrêmement rares, le score F1 est resté à 0,00 pour tous les modèles, suggant que lorsqu'il n'y a presque aucune donnée, même une carte d'arbre généalogique ne suffit pas à résoudre le mystère.

Résumé technique : Atténuation de l'effet du déséquilibre des classes dans les données à structure hiérarchique et dépendante

Énoncé du problème

La classification des vulnérabilités de cybersécurité utilisant la taxonomie CWE (Common Weakness Enumeration) présente deux défis principaux : un déséquilibre extrême des classes et de fortes dépendances hiérarchiques entre les catégories de faiblesses. La taxonomie CWE organise les faiblesses en niveaux d'abstraction (Base, Class, Pillar, Variant, Compound), où les nœuds de niveau supérieur représentent des concepts larges et les nœuds de niveau inférieur représentent des détails spécifiques. En pratique, un petit nombre de types de faiblesses dominent le corpus, tandis que des catégories rares mais à haut impact restent significativement sous-représentées.

Bien que les encodeurs basés sur les Transformers comme BERT et RoBERTa se soient imposés comme de solides bases de référence pour la classification de texte CWE, ils peinent face aux catégories rares dues au déséquilibre des classes. De plus, les étiquettes CWE possèdent des dépendances parent-enfant explicites (par exemple, un « Variant » est toujours un enfant d'une « Base »), ce qui signifie que les erreurs de classification aux niveaux d'abstraction supérieurs se propagent vers le bas. Les approches traditionnelles du déséquilibre, telles que le suréchantillonnage aléatoire, le sous-échantillonnage et les techniques de génération synthétique comme SMOTE (Synthetic Minority Oversampling Technique) et ADASYN (Adaptive Synthetic Sampling), sont largement adoptées, mais leur efficacité sur les plongements (embeddings) textuels hiérarchiques et structurés reste largement inexplorée. Plus précisément, il n'est pas clair si l'interpolation linéaire dans les espaces de plongement de haute dimension respecte les contraintes structurelles de la hiérarchie CWE.

Méthodologie

L'étude évalue une gamme de modèles sous différentes conditions d'augmentation de données et propose une nouvelle architecture qui intègre directement la structure hiérarchique dans le processus d'apprentissage.

1. Références expérimentales et suréchantillonnage

Les auteurs ont évalué empiriquement des modèles d'apprentissage automatique (Random Forest, SVM), d'apprentissage profond (CNN, BiGRU) et de Transformers (BERT) sur un ensemble de données CWE hiérarchique déséquilibré.

Suréchantillonnage : SMOTE et ADASYN ont été appliqués exclusivement à l'ensemble d'entraînement. SMOTE a égalisé toutes les classes à 393 échantillons en utilisant $k$ -voisins=2, tandis qu'ADASYN a concentré la synthèse sur les régions de frontières plus difficiles pour atteindre des comptes quasi paritaires.
Modèles :
- ML Classique : Random Forest (100 arbres) et SVM (noyau linéaire).
- Apprentissage profond : CNN (128 filtres, tailles de noyau [4,6,6]) et BiGRU (dimension cachée de 128).
- Transformers : BERT-base (uncased) et le proposé Hierarchy-Aware RoBERTa.
- Entraînement : Tous les modèles d'apprentissage profond ont été entraînés avec une taille de lot (batch size) de 8 sur 15 époques.

2. Approche proposée : Hierarchy-Aware RoBERTa

Le document introduit un cadre Hierarchy-Aware RoBERTa qui incorpore explicitement l'information structurelle CWE via des plongements de classes parentes apprenables.

Architecture : Le modèle utilise un encodeur SecureBERT pré-entraîné pour générer une représentation [CLS] de 768 dimensions à partir du texte d'entrée.
Injection hiérarchique : Un plongement de catégorie parente apprenable (24 dimensions) est introduit pour capturer les relations structurelles à grain grossier. Ce plongement est entraîné conjointement avec le réseau.
Fusion : La représentation sémantique ( $h_{cls}$ ) et le contexte hiérarchique ( $h_p$ ) sont fusionnés par concaténation : $h_f = [h_{cls}, h_p]$ .
Classification : La représentation fusionnée est régularisée par un dropout (0.3) et transmise à une tête de classification linéaire pour produire les logits.
Formulation : La tâche est formulée non pas comme une prédiction indépendante $P(Y_{child}|X_{text})$ , mais comme un problème de probabilité conditionnelle $P(Y_{child}|X_{text}, Y_{parent})$ , utilisant l'« ID du parent » comme un a priori structurel.

Principales contributions

Évaluation empirique : L'étude fournit une évaluation complète des modèles ML, DL et Transformer sous rééchantillonnage SMOTE et ADASYN sur un ensemble de données CWE hiérarchique déséquilibré.
Analyse de l'interpolation synthétique : Les auteurs démontrent que l'interpolation synthétique dans les espaces de plongement de haute dimension viole les contraintes parent-enfant inhérentes. Bien qu'offrant des bénéfices marginaux pour les modèles de ML classique, ces méthodes dégradent systématiquement les performances des architectures d'apprentissage profond.
Modèle conscient de la hiérarchie (Hierarchy-Aware) : L'introduction d'un modèle Hierarchy-Aware RoBERTa qui injecte les a priori structurels CWE via des plongements de classes parentes apprenables, permettant une modélisation conjointe de bout en bout du contenu sémantique et de la structure hiérarchique.
Gains de performance : Le modèle proposé atteint un score F1 pondéré de 0,76 sans augmentation de données, surpassant toutes les références. Notamment, il améliore le score F1 de la catégorie « Class » de 0,49 (baseline BERT) à 0,60.

Résultats

Impact du suréchantillonnage :
- ML Classique : SMOTE et ADASYN ont apporté des améliorations faibles mais positives pour Random Forest (la précision est passée de 0,65 à 0,69) et SVM (la précision est restée stable autour de 0,71–0,72).
- Apprentissage profond : Le suréchantillonnage a systématiquement dégradé les performances. La précision du CNN vanilla est tombée de 0,71 à 0,55 (SMOTE) et 0,51 (ADASYN). Le BiGRU est passé de 0,70 à 0,53 et 0,44, respectivement.
- Transformers : BERT a atteint une précision de 0,74 sans augmentation. Le proposé Hierarchy-Aware RoBERTa a atteint la précision la plus élevée de 0,76.
Performance par classe :
- Le modèle proposé a obtenu le score F1 pondéré le plus élevé (0,76) par rapport à BERT (0,73), CNN (baseline 0,68) et BiGRU (baseline 0,69).
- Des gains significatifs ont été observés dans les classes minoritaires ; par exemple, le score F1 de la catégorie « Class » est passé de 0,49 (BERT) à 0,60 (Hierarchy-Aware RoBERTa).
- Les catégories extrêmement rares (Compound et Pillar) sont restées à un F1 de 0,00 pour tous les modèles, soulignant les limites de l'apprentissage supervisé face à une extrême rareté des données.

Signification et affirmations

L'article soutient que l'apprentissage de représentation conscient de la hiérarchie est une alternative plus fondamentale au suréchantillonnage pour la classification de vulnérabilités structurée. Les auteurs affirment que les techniques d'interpolation synthétique (SMOTE/ADASYN) échouent dans ce domaine car :

Elles produisent des échantillons qui manquent de cohérence linguistique dans les espaces contextuels de haute dimension.
Elles violent les dépendances structurelles de la taxonomie CWE (par exemple, un « Variant » ne peut exister sans une « Base »), créant des plongements structurellement invalides qui confondent le modèle.
Elles traitent les échantillons comme des entités indépendantes dans un espace de caractéristiques plat, ignorant la nature de graphe en arbre des CWE où les erreurs se propagent du parent vers l'enfant.

En modélisant explicitement la relation parent-enfant par des plongements apprenables, le cadre proposé impose une cohérence structurelle et améliore la discrimination entre les classes minoritaires et sémantiquement dépendantes sans le bruit introduit par la génération de données synthétiques.

Limites

Les auteurs reconnaissent modestement plusieurs limites :

Dépendance à l'inférence : Le modèle suppose que les métadonnées de niveau parent sont disponibles lors de l'inférence, ce qui s'aligne sur les pipelines du grossier au fin (coarse-to-fine) mais peut ne pas convenir à tous les scénarios.
Hiérarchie statique : La hiérarchie est traitée comme fixe ; le modèle peut ne pas se généraliser à de nouveaux nœuds ou à des nœuds réorganisés sans réentraînement, étant donné les mises à jour continues de la taxonomie CWE.
Portée de la hiérarchie : Seules les informations directes du parent sont capturées, négligeant les ancêtres multi-sauts, les relations de type « sibling » (fratrie) et la profondeur de l'arbre, ce qui limite les performances sur les classes profondément imbriquées comme Compound et Pillar.
Surcharge de paramètres : Les plongements de parents apprenables ajoutent une surcharge modeste de paramètres, ce qui pourrait entraver le passage à l'échelle vers de très grandes taxonomies.
Spécificité du domaine : L'approche a été évaluée uniquement dans le domaine CWE, laissant sa généralisabilité à d'autres tâches hiérarchiques non validée empiriquement.