Riepilogo Tecnico: MARGIN – Geometria Regolarizzata Consapevole del Margine per il Rilevamento di Vulnerabilità in Squilibrio

1. Enunciato del Problema

Il documento affronta la sfida critica del rilevamento delle vulnerabilità software in scenari reali, dove i modelli di deep learning devono fronteggiare due forme distinte ma sinergiche di squilibrio dei dati:

• Squilibrio di Frequenza: I dataset di vulnerabilità mostrano una distribuzione fortemente asimmetrica (long-tailed). Un piccolo numero di categorie CWE (Common Weakness Enumeration) (ad esempio, CWE-79, CWE-89) domina i dati, mentre molte altre (ad esempio, CWE-400, CWE-98) sono rare. Le funzioni di perdita standard trattano tutti i campioni allo stesso modo, causando un bias dei modelli verso le classi maggioritarie e trascurando le vulnerabilità minoritarie.
• Squilibrio di Difficoltà: Oltre alla frequenza, diverse categorie CWE possiedono livelli intrinseci variabili di difficoltà di apprendimento. Le vulnerabilità con alta diversità strutturale (ad esempio, CWE-119, che include overflow di stack/heap e errori off-by-one) presentano un'alta varianza intra-classe nelle rappresentazioni delle caratteristiche, rendendole più difficili da apprendere rispetto a quelle con pattern ripetitivi (ad esempio, CWE-415).

Gli autori sostengono che i metodi esistenti affrontano principalmente lo squilibrio di frequenza (tramite ricampionamento o ridistribuzione dei pesi) ma non riescono a tenere conto dello squilibrio di difficoltà. Rileggono queste problematiche da una prospettiva geometrica dell'embedding, osservando che entrambi gli squilibri inducono distorsioni geometriche nello spazio di rappresentazione ipersferico. Nello specifico, le classi minoritarie o difficili non convergono strettamente attorno ai loro prototipi, causando che le loro regioni di massa di probabilità invadano le celle di Voronoi di altre classi. Questa "regione di distorsione" porta a errori di classificazione e a confini decisionali instabili.

2. Metodologia: MARGIN

Il framework proposto, MARGIN (Margin-Aware Regularized Geometry for Imbalanced Vulnerability DetectioN), è un approccio basato su metriche che opera su un'ipersfera unitaria per apprendere rappresentazioni discriminative delle vulnerabilità. Integra l'apprendimento del margine adattivo con la modellazione dei prototipi ipersferici.

Componenti Principali:

1. Spazio di Embedding Ipersferico:
   Il metodo utilizza una Cosine Softmax Loss in cui le caratteristiche e i pesi del classificatore sono normalizzati $\ell_2$, posizionandoli su un'ipersfera unitaria $S^{d-1}$. Le classi sono rappresentate da prototipi, e l'obiettivo è allineare gli embedding dei campioni con i rispettivi prototipi mantenendo una separazione angolare.

2. Modellazione Geometrica con Distribuzione vMF:
   Per quantificare la concentrazione delle distribuzioni di classe, gli autori modellano gli embedding utilizzando la distribuzione von Mises–Fisher (vMF). Il parametro di concentrazione $\kappa_i$ stima quanto strettamente i campioni si raggruppano attorno alla media di una classe.

   • Celle di Voronoi: In condizioni di equilibrio ideale (Neural Collapse), le classi formano una struttura di Equiangular Tight Frame (ETF), partizionando la sfera in celle di Voronoi uguali.
   • Regione di Distorsione: In contesti squilibrati, la massa di probabilità di una classe (definita dal suo angolo di apice vMF $\theta^{vMF}_i$) spesso supera la sua cella di Voronoi corrispondente ($\theta^{cell}$). L'area in cui questa massa invade le regioni decisionali di altre classi costituisce la "regione di distorsione", causando direttamente Falsi Positivi e Falsi Negativi.

3. Meccanismo del Margine Adattivo:
   Per ridurre la regione di distorsione, MARGIN introduce un margine angolare dinamico $m_i$ per ogni classe.

   • Il margine è calcolato sulla base della differenza tra l'angolo di apice vMF della classe e l'angolo di apice di Voronoi ideale: $m_i = \max(\frac{\theta^{vMF}_i - \theta^{cell}}{2}, \dots)$.
   • Questo meccanismo regola dinamicamente il vincolo: le classi con alta dispersione (alta difficoltà o bassa frequenza) ricevono margini più ampi per forzare la loro massa di probabilità all'interno delle loro celle di Voronoi, mentre le classi compatte ricevono margini più piccoli.

4. Scalatura dei Logit Consapevole della Concentrazione:
   Il framework include un fattore di scala $s_i$ per i logit, adattato alla concentrazione della classe $\kappa_i$.

   • Le classi con bassa concentrazione (alta varianza, difficili da apprendere) ricevono fattori di scala più grandi per affinare i loro confini decisionali e amplificare i segnali di gradiente.
   • Le classi con alta concentrazione ricevono fattori più piccoli per impedire loro di dominare il processo di addestramento.
   • Questo è ottenuto tramite una strategia di ranking soft nello spazio della concentrazione logaritmica.

5. Inferenza con Mediane Geometriche:
   Durante l'inferenza, MARGIN costruisce prototipi guidati dai dati calcolando la mediana geometrica degli embedding di addestramento normalizzati per ogni classe, invece di affidarsi esclusivamente ai vettori di peso appresi. Questo fornisce prototipi più robusti che riflettono meglio la distribuzione empirica delle caratteristiche.

3. Contributi Chiave

Il documento delinea tre contributi principali:

1. Rilettura Geometrica dello Squilibrio: Gli autori riesaminano gli squilibri di frequenza e difficoltà, analizzandone gli effetti attraverso la lente della geometria dell'embedding. Dimostrano che questi squilibri si manifestano come un disallineamento tra le regioni di massa di probabilità condizionate alla classe e le loro regioni decisionali di Voronoi ideali.
2. Il Framework MARGIN: Propongono un framework unificato di metric-learning che mitiga simultaneamente entrambi gli squilibri. Integrando margini adattivi (per allineare la massa di probabilità con le celle di Voronoi) e scalatura consapevole della concentrazione (per bilanciare i contributi dei gradienti), MARGIN stabilizza i confini decisionali senza richiedere un complesso ricampionamento.
3. Validazione Empirica: Estesi esperimenti su dataset pubblici (BigVul, MegaVul, ReposVul) mostrano che MARGIN supera costantemente basi solide, inclusi metodi basati su grafi (ReVeal, LIVABLE) e recenti modelli di apprendimento delle rappresentazioni (HCL-VC, CLeVeR), in particolare nella classificazione fine-granulare CWE e sulle classi rare.

4. Risultati Sperimentali

La valutazione è stata condotta su tre dataset con scale variabili e distribuzioni long-tailed. Le scoperte chiave includono:

• Miglioramenti delle Prestazioni: MARGIN ha ottenuto risultati all'avanguardia su tutti i dataset. Su BigVul, ha raggiunto un F1 binario dell'86,57% e un macro-F1 del 70,72% per la classificazione CWE, superando la migliore base di confronto successiva (CLeVeR) di oltre 7 punti percentuali nel macro-F1.
• Robustezza sulle Classi Rare: Nel dataset MegaVul, che presenta uno squilibrio severo, MARGIN ha raggiunto un F1 binario del 51,06% e un macro-F1 del 34,65%, superando significativamente le basi di confronto che faticavano con i tipi CWE rari.
• Studi di Ablazione: La rimozione del margine adattivo o della scalatura adattiva dei logit ha portato a cali di prestazioni, confermando che entrambi i meccanismi sono essenziali. Il margine ha specificamente migliorato l'equilibrio tra precisione e richiamo, mentre la scalatura ha stabilizzato la dinamica di apprendimento per le classi minoritarie.
• Analisi Geometrica: Studi di caso hanno dimostrato che MARGIN riduce con successo la "regione di distorsione" (misurata tramite le dinamiche FPR/FNR) e spinge lo spazio di embedding verso una struttura ETF stabile e ben separata, come evidenziato da metriche di clustering migliorate (NMI, ARI) e da un numero di condizione della matrice di Gram ridotto.

5. Significato e Affermazioni

Il documento afferma che MARGIN offre un'interpretazione geometrica fondata dello squilibrio nel rilevamento delle vulnerabilità. Modellando esplicitamente lo spazio di embedding e regolarizzando la geometria per allineare la massa di probabilità con le regioni decisionali, il metodo migliora non solo l'accuratezza della classificazione, ma anche la robustezza e l'interpretabilità del modello.

Gli autori sottolineano che il loro approccio affronta la causa radice del bias negli ambienti squilibrati—la distorsione geometrica dello spazio di embedding—invece di trattare solo il sintomo tramite la ridistribuzione dei pesi dei dati. Notano che, sebbene la valutazione attuale sia limitata ai dataset C/C++ a causa della disponibilità dei dati, il framework geometrico è agnostico rispetto al backbone e teoricamente applicabile ad altri linguaggi. Il lavoro colma il divario tra la gestione pratica degli squilibri e l'apprendimento teorico delle varietà, fornendo una base più stabile per i sistemi di rilevamento delle vulnerabilità critici per la sicurezza.