Technische Samenvatting: MARGIN – Margin-bewuste Geregulariseerde Geometrie voor Ongelijkmatige Kwetsbaarheidsdetectie

1. Probleemstelling

Het artikel behandelt de kritieke uitdaging van softwarekwetsbaarheidsdetectie in real-world scenario's, waarbij diepe leermodellen geconfronteerd worden met twee onderscheiden maar versterkende vormen van data-ongelijkheid:

• Frequentie-ongelijkheid: Kwetsbaarheidsdatasets vertonen een ernstige langstaartverdeling. Een klein aantal Common Weakness Enumeration (CWE)-categorieën (bijv. CWE-79, CWE-89) domineert de data, terwijl veel andere (bijv. CWE-400, CWE-98) zeldzaam zijn. Standaard verliesfuncties behandelen alle steekproeven gelijk, wat leidt tot een bias van modellen ten gunste van meerderheidsklassen en verwaarlozing van minderheidskwetsbaarheden.
• Moeilijkheidsongelijkheid: Naast frequentie bezitten verschillende CWE-categorieën verschillende niveaus van intrinsieke leermoeilijkheid. Kwetsbaarheden met hoge structurele diversiteit (bijv. CWE-119, dat stack/heap-overflows en off-by-one-fouten omvat) vertonen hoge intra-class variantie in kenmerkrepresentaties, waardoor ze moeilijker te leren zijn dan die met repetitieve patronen (bijv. CWE-415).

De auteurs betogen dat bestaande methoden voornamelijk frequentie-ongelijkheid aanpakken (via hersampling of herweging), maar falen in het rekening houden met moeilijkheidsongelijkheid. Zij herinterpreteren deze problemen vanuit een inbeddingsgeometrisch perspectief, waarbij zij observeren dat beide ongelijkheden geometrische vervormingen induceren in de hypersferische representatieruimte. Specifiek falen minderheids- of moeilijke klassen om strak te convergeren rond hun prototypes, waardoor hun gebieden van waarschijnlijkheidsmassa binnendringen in de Voronoi-cellen van andere klassen. Dit "vervormingsgebied" leidt tot verkeerde classificatie en instabiele beslissingsgrenzen.

2. Methodologie: MARGIN

Het voorgestelde kader, MARGIN (Margin-Aware Regularized Geometry for Imbalanced Vulnerability DetectioN), is een op metriek gebaseerde aanpak die opereert op een eenheidshypersfeer om discriminatieve kwetsbaarheidsrepresentaties te leren. Het integreert adaptieve margin-lering met hypersferische prototypemodellering.

Kerncomponenten:

1. Hypersferische Inbeddingsruimte:
   De methode maakt gebruik van een Cosine Softmax-verlies waarbij kenmerken en classifier-weights $\ell_2$-genormaliseerd zijn, waardoor ze op een eenheidshypersfeer $S^{d-1}$ worden geplaatst. Klassen worden vertegenwoordigd door prototypes, en het doel is om steekproefinbeddingen uit te lijnen met hun overeenkomstige prototypes terwijl hoekige scheiding wordt behouden.

2. Geometrische Modellering met vMF-verdeling:
   Om de concentratie van klassendistributies te kwantificeren, modelleren de auteurs inbeddingen met behulp van de von Mises–Fisher (vMF)-verdeling. De concentratieparameter $\kappa_i$ schat hoe strak steekproeven clusteren rond een klassenmiddelpunt.

   • Voronoi-cellen: Onder ideale gebalanceerde omstandigheden (Neural Collapse) vormen klassen een Equiangular Tight Frame (ETF)-structuur, waarbij de sfeer wordt onderverdeeld in gelijke Voronoi-cellen.
   • Vervormingsgebied: In ongelijke situaties overschrijdt de waarschijnlijkheidsmassa van een klasse (gedefinieerd door haar vMF-apex-hoek $\theta^{vMF}_i$) vaak haar overeenkomstige Voronoi-cel ($\theta^{cell}$). Het gebied waar deze massa binnendringt in de beslissingsgebieden van andere klassen vormt het "vervormingsgebied", wat direct leidt tot False Positives en False Negatives.

3. Adaptief Margin-mechanisme:
   Om het vervormingsgebied te verminderen, introduceert MARGIN een dynamische hoekige margin $m_i$ voor elke klasse.

   • De margin wordt berekend op basis van het verschil tussen de vMF-apex-hoek van de klasse en de ideale Voronoi-apex-hoek: $m_i = \max(\frac{\theta^{vMF}_i - \theta^{cell}}{2}, \dots)$.
   • Dit mechanisme past de beperking dynamisch aan: klassen met hoge dispersie (hoge moeilijkheid of lage frequentie) ontvangen grotere margins om hun waarschijnlijkheidsmassa terug te dwingen binnen hun Voronoi-cellen, terwijl compacte klassen kleinere margins ontvangen.

4. Concentratie-bewuste Logits-schaalverdeling:
   Het kader omvat een schalingsfactor $s_i$ voor de logits, aangepast aan de klassenconcentratie $\kappa_i$.

   • Klassen met lage concentratie (hoge variantie, moeilijk te leren) krijgen grotere schalingsfactoren toegewezen om hun beslissingsgrenzen te verscherpen en gradiëntsignalen te versterken.
   • Klassen met hoge concentratie krijgen kleinere factoren toegewezen om te voorkomen dat ze het trainingsproces domineren.
   • Dit wordt bereikt via een soft ranking-strategie in de log-concentratieruimte.

5. Inferentie met Geometrische Mediaan:
   Tijdens inferentie construeert MARGIN datagestuurde prototypes door de geometrische mediaan van de genormaliseerde trainingsinbeddingen voor elke klasse te berekenen, in plaats van uitsluitend te vertrouwen op geleerde weight-vectoren. Dit levert robuustere prototypes op die de empirische kenmerkverdeling beter weerspiegelen.

3. Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

1. Geometrische Herinterpretatie van Ongelijkheid: De auteurs bekijken frequentie- en moeilijkheidsongelijkheid opnieuw, waarbij ze hun effecten analyseren door de lens van inbeddingsgeometrie. Zij tonen aan dat deze ongelijkheden zich manifesteren als een misalignement tussen klassen-voorwaardelijke waarschijnlijkheidsmassa-regio's en hun ideale Voronoi-beslissingsregio's.
2. Het MARGIN-kader: Zij stellen een unificerend op metriek gebaseerd leerframework voor dat beide ongelijkheden gelijktijdig mitigeert. Door adaptieve margins (om waarschijnlijkheidsmassa uit te lijnen met Voronoi-cellen) en concentratie-bewuste schaling (om gradiëntbijdragen in evenwicht te brengen) te integreren, stabiliseert MARGIN beslissingsgrenzen zonder complexe hersampling te vereisen.
3. Empirische Validatie: Uitgebreide experimenten op publieke datasets (BigVul, MegaVul, ReposVul) tonen aan dat MARGIN consequent betere prestaties levert dan sterke baselines, waaronder op grafieken gebaseerde methoden (ReVeal, LIVABLE) en recente representatieleringsmodellen (HCL-VC, CLeVeR), met name in fijnmazige CWE-classificatie en op zeldzame klassen.

4. Experimentele Resultaten

De evaluatie werd uitgevoerd op drie datasets met variërende schalen en langstaartdistributies. Belangrijkste bevindingen zijn:

• Prestatiewinsten: MARGIN behaalde state-of-the-art resultaten op alle datasets. Op BigVul bereikte het een binaire F1 van 86,57% en een macro-F1 van 70,72% voor CWE-classificatie, waarmee het de volgende beste baseline (CLeVeR) met meer dan 7 procentpunten in macro-F1 overtrof.
• Robuustheid op Zeldzame Klassen: In de MegaVul-dataset, die ernstige ongelijkheid presenteert, behaalde MARGIN een binaire F1 van 51,06% en een macro-F1 van 34,65%, waarmee het baselines aanzienlijk overtrof die worstelden met zeldzame CWE-types.
• Ablatiestudies: Het verwijderen van de adaptieve margin of de adaptieve logits-schaalverdeling resulteerde in prestatiedalingen, wat bevestigt dat beide mechanismen essentieel zijn. De margin verbeterde specifiek het evenwicht tussen precisie en recall, terwijl schaling de leerdynamiek voor minderheidsklassen stabiliseerde.
• Geometrische Analyse: Case studies tonen aan dat MARGIN succesvol het "vervormingsgebied" reduceert (gemeten via FPR/FNR-dynamiek) en de inbeddingsruimte drijft naar een stabiele, goed gescheiden ETF-structuur, zoals blijkt uit verbeterde clustermetingen (NMI, ARI) en een verlaagde voorwaardegetal van de Gram-matrix.

5. Betekenis en Claims

Het artikel beweert dat MARGIN een geprincipieerde geometrische interpretatie biedt van ongelijkheid in kwetsbaarheidsdetectie. Door de inbeddingsruimte expliciet te modelleren en de geometrie te regulariseren om waarschijnlijkheidsmassa uit te lijnen met beslissingsregio's, verbetert de methode niet alleen de classificatie-accuraatheid, maar ook de robuustheid en interpreteerbaarheid van het model.

De auteurs benadrukken dat hun aanpak de oorzaak van bias in ongelijke situaties aanpakt—de geometrische vervorming van de inbeddingsruimte—in plaats van alleen het symptoom te behandelen via data-herweging. Zij merken op dat hoewel de huidige evaluatie beperkt is tot C/C++-datasets vanwege data-beschikbaarheid, het geometrische kader backbone-agnostisch is en theoretisch toepasbaar op andere talen. Het werk overbrugt de kloof tussen praktische omgang met ongelijkheid en theoretisch manifold-leren, en biedt een stabielere basis voor beveiligingskritieke kwetsbaarheidsdetectiesystemen.