Résumé Technique : MARGIN – Géométrie Régularisée Sensible aux Marges pour la Détection de Vulnérabilités Déséquilibrées

1. Énoncé du Problème

L'article aborde le défi critique de la détection de vulnérabilités logicielles dans des scénarios réels, où les modèles d'apprentissage profond font face à deux formes distinctes mais cumulatives de déséquilibre des données :

• Déséquilibre de Fréquence : Les jeux de données de vulnérabilités présentent une distribution à longue traîne sévère. Un petit nombre de catégories CWE (Common Weakness Enumeration) (par exemple, CWE-79, CWE-89) dominent les données, tandis que de nombreuses autres (par exemple, CWE-400, CWE-98) sont rares. Les fonctions de perte standard traitent tous les échantillons de manière égale, ce qui amène les modèles à biaiser vers les classes majoritaires et à négliger les vulnérabilités minoritaires.
• Déséquilibre de Difficulté : Au-delà de la fréquence, différentes catégories CWE possèdent des niveaux variables de difficulté d'apprentissage intrinsèque. Les vulnérabilités présentant une grande diversité structurelle (par exemple, CWE-119, qui inclut les débordements de pile/tas et les erreurs de type off-by-one) exhibent une forte variance intra-classe dans les représentations de caractéristiques, ce qui les rend plus difficiles à apprendre que celles présentant des motifs répétitifs (par exemple, CWE-415).

Les auteurs soutiennent que les méthodes existantes traitent principalement le déséquilibre de fréquence (via le rééchantillonnage ou le rééquilibrage des poids) mais échouent à prendre en compte le déséquilibre de difficulté. Ils réinterprètent ces problèmes d'un point de vue de la géométrie des plongements, observant que ces deux déséquilibres induisent des distorsions géométriques dans l'espace de représentation hypersphérique. Plus précisément, les classes minoritaires ou difficiles échouent à converger étroitement autour de leurs prototypes, ce qui amène leurs régions de masse probabiliste à empiéter sur les cellules de Voronoï d'autres classes. Cette « région de distorsion » conduit à des erreurs de classification et à des frontières de décision instables.

2. Méthodologie : MARGIN

Le cadre proposé, MARGIN (Margin-Aware Regularized Geometry for Imbalanced Vulnerability DetectioN), est une approche basée sur la métrique opérant sur une hypersphère unité pour apprendre des représentations de vulnérabilités discriminantes. Il intègre un apprentissage de marge adaptatif avec une modélisation de prototypes hypersphériques.

Composants Principaux :

1. Espace de Plongement Hypersphérique :
   La méthode utilise une perte Cosine Softmax où les caractéristiques et les poids du classifieur sont normalisés en $\ell_2$, les plaçant sur une hypersphère unité $S^{d-1}$. Les classes sont représentées par des prototypes, et l'objectif est d'aligner les plongements d'échantillons avec leurs prototypes correspondants tout en maintenant une séparation angulaire.

2. Modélisation Géométrique avec la Distribution vMF :
   Pour quantifier la concentration des distributions de classes, les auteurs modélisent les plongements à l'aide de la distribution von Mises–Fisher (vMF). Le paramètre de concentration $\kappa_i$ estime à quel point les échantillons se regroupent autour d'une moyenne de classe.

   • Cellules de Voronoï : Dans des conditions idéales d'équilibre (Effondrement Neural), les classes forment une structure de Cadre Équiangulaire Serré (ETF), partitionnant la sphère en cellules de Voronoï égales.
   • Région de Distorsion : Dans des contextes déséquilibrés, la masse probabiliste d'une classe (définie par son angle d'apex vMF $\theta^{vMF}_i$) dépasse souvent sa cellule de Voronoï correspondante ($\theta^{cell}$). La zone où cette masse empiète sur les régions de décision d'autres classes constitue la « région de distorsion », causant directement des Faux Positifs et des Faux Négatifs.

3. Mécanisme de Marge Adaptative :
   Pour réduire la région de distorsion, MARGIN introduit une marge angulaire dynamique $m_i$ pour chaque classe.

   • La marge est calculée en fonction de la différence entre l'angle d'apex vMF de la classe et l'angle d'apex de Voronoï idéal : $m_i = \max(\frac{\theta^{vMF}_i - \theta^{cell}}{2}, \dots)$.
   • Ce mécanisme ajuste dynamiquement la contrainte : les classes présentant une forte dispersion (forte difficulté ou faible fréquence) reçoivent des marges plus grandes pour forcer leur masse probabiliste à revenir dans leurs cellules de Voronoï, tandis que les classes compactes reçoivent des marges plus petites.

4. Mise à l'Échelle des Logits Sensible à la Concentration :
   Le cadre inclut un facteur de mise à l'échelle $s_i$ pour les logits, adapté à la concentration de classe $\kappa_i$.

   • Les classes à faible concentration (forte variance, difficiles à apprendre) se voient attribuer des facteurs de mise à l'échelle plus grands pour affiner leurs frontières de décision et amplifier les signaux de gradient.
   • Les classes à forte concentration se voient attribuer des facteurs plus petits pour éviter qu'elles ne dominent le processus d'apprentissage.
   • Cela est réalisé via une stratégie de classement doux dans l'espace de la concentration logarithmique.

5. Inférence avec des Médianes Géométriques :
   Lors de l'inférence, MARGIN construit des prototypes pilotés par les données en calculant la médiane géométrique des plongements d'entraînement normalisés pour chaque classe, plutôt que de se fier uniquement aux vecteurs de poids appris. Cela fournit des prototypes plus robustes qui reflètent mieux la distribution empirique des caractéristiques.

3. Contributions Clés

L'article expose trois contributions principales :

1. Réinterprétation Géométrique du Déséquilibre : Les auteurs réexaminent les déséquilibres de fréquence et de difficulté, en analysant leurs effets à travers le prisme de la géométrie des plongements. Ils démontrent que ces déséquilibres se manifestent par un désalignement entre les régions de masse probabiliste conditionnelles aux classes et leurs régions de décision de Voronoï idéales.
2. Le Cadre MARGIN : Ils proposent un cadre unifié d'apprentissage métrique qui atténue simultanément les deux déséquilibres. En intégrant des marges adaptatives (pour aligner la masse probabiliste avec les cellules de Voronoï) et une mise à l'échelle sensible à la concentration (pour équilibrer les contributions de gradient), MARGIN stabilise les frontières de décision sans nécessiter de rééchantillonnage complexe.
3. Validation Empirique : Des expériences extensives sur des jeux de données publics (BigVul, MegaVul, ReposVul) montrent que MARGIN surpasse systématiquement des bases de référence solides, y compris des méthodes basées sur les graphes (ReVeal, LIVABLE) et des modèles récents d'apprentissage de représentations (HCL-VC, CLeVeR), en particulier dans la classification CWE fine et sur les classes rares.

4. Résultats Expérimentaux

L'évaluation a été menée sur trois jeux de données présentant des échelles et des distributions à longue traîne variables. Les résultats clés incluent :

• Gains de Performance : MARGIN a obtenu des résultats à l'état de l'art sur tous les jeux de données. Sur BigVul, il a atteint un F1 binaire de 86,57 % et un macro-F1 de 70,72 % pour la classification CWE, surpassant la meilleure base de référence suivante (CLeVeR) de plus de 7 points de pourcentage en macro-F1.
• Robustesse sur les Classes Rares : Dans le jeu de données MegaVul, qui présente un déséquilibre sévère, MARGIN a atteint un F1 binaire de 51,06 % et un macro-F1 de 34,65 %, surpassant significativement les bases de référence qui peinaient avec les types CWE rares.
• Études d'Ablation : La suppression de la marge adaptative ou de la mise à l'échelle adaptative des logits a entraîné des baisses de performance, confirmant que les deux mécanismes sont essentiels. La marge a spécifiquement amélioré l'équilibre entre précision et rappel, tandis que la mise à l'échelle a stabilisé la dynamique d'apprentissage pour les classes minoritaires.
• Analyse Géométrique : Des études de cas ont démontré que MARGIN réduit avec succès la « région de distorsion » (mesurée via la dynamique FPR/FNR) et conduit l'espace de plongement vers une structure ETF stable et bien séparée, comme en témoignent des métriques de regroupement améliorées (NMI, ARI) et un nombre de conditionnement de matrice de Gram réduit.

5. Signification et Revendications

L'article revendique que MARGIN offre une interprétation géométrique principielle du déséquilibre dans la détection de vulnérabilités. En modélisant explicitement l'espace de plongement et en régularisant la géométrie pour aligner la masse probabiliste avec les régions de décision, la méthode améliore non seulement la précision de classification, mais aussi la robustesse et l'interprétabilité du modèle.

Les auteurs soulignent que leur approche s'attaque à la cause racine du biais dans les contextes déséquilibrés — la distorsion géométrique de l'espace de plongement — plutôt qu'à simplement traiter le symptôme via le rééquilibrage des données. Ils notent que, bien que l'évaluation actuelle soit limitée aux jeux de données C/C++ en raison de la disponibilité des données, le cadre géométrique est agnostique au backbone et théoriquement applicable à d'autres langages. Ce travail comble le fossé entre la gestion pratique du déséquilibre et l'apprentissage de variétés théorique, fournissant une fondation plus stable pour les systèmes de détection de vulnérabilités critiques pour la sécurité.