Riepilogo Tecnico: MulVul

Definizione del Problema

Il documento affronta due limitazioni critiche nell'automazione del rilevamento delle vulnerabilità del codice tramite Large Language Models (LLM):

1. Eterogeneità dei Pattern di Vulnerabilità: I tipi di vulnerabilità (ad esempio, buffer overflow rispetto ad attacchi di injection) richiedono capacità di ragionamento distinte. Un singolo modello unificato fatica a catturare questi diversi pattern specifici per tipo all'interno di uno spazio latente condiviso, portando a vulnerabilità mancate o a un alto tasso di falsi allarmi.
2. Scalabilità del Prompt Engineering: I sistemi reali coinvolgono centinaia di voci della Common Weakness Enumeration (CWE). Progettare manualmente prompt unici per agenti specializzati per un numero così vasto di categorie è impraticabile. Inoltre, fare affidamento su un singolo modello sia per la generazione dei prompt che per la valutazione introduce un bias di autocorrezione, mentre i sistemi multi-agente rischiano di amplificare le allucinazioni se non adeguatamente radicati.

I metodi esistenti spesso si affidano a prompt fissi privi di ancoraggio esterno o tentano di rilevare tutti i tipi di vulnerabilità simultaneamente con un singolo modello, fallendo nel bilanciare l'efficienza computazionale con una copertura ampia.

Metodologia: Framework MulVul

MulVul è un framework multi-agente basato sul recupero (retrieval-augmented) progettato per un rilevamento delle vulnerabilità preciso e ad ampia copertura. Opera attraverso una strategia da grossolano a fine (coarse-to-fine) e impiega l'Evoluzione dei Prompt Cross-Model.

1. Architettura: Router-Detector

Il sistema utilizza un'architettura gerarchica allineata con la tassonomia CWE:

• Agente Router: Agisce come un dispatcher. Prevede prima le prime-$k$ categorie di vulnerabilità a grana grossa (ad esempio, "Errori di Buffer di Memoria"). Utilizza uno Strumento di Recupero Globale per interrogare una base di conoscenza alla ricerca di evidenze trans-categoria, assicurando che la categoria corretta non venga filtrata prematuramente.
• Agenti Detector: Agenti specializzati vengono invocati solo per le categorie selezionate dal Router. Ogni Detector esegue l'identificazione fine-grained di tipi di vulnerabilità specifici (ad esempio, "CWE-119 Buffer Overflow").
  • Isolamento: I Detector operano in isolamento senza comunicazione tra agenti per prevenire la cascata di errori.
  • Recupero Contrastivo: Ogni Detector utilizza uno strumento specializzato per recuperare evidenze da tre pool: positivi nella categoria, esempi puliti e "hard negatives" fuori dalla categoria. Questo approccio contrastivo aiuta a distinguere falle di sicurezza sottili.

2. Base di Conoscenza (SCALE)

Il framework si affida a una base di conoscenza delle vulnerabilità costruita utilizzando SCALE (Structured Code Representation). SCALE converte gli snippet di codice in Alberi di Commenti Strutturati (commenti in linguaggio naturale allegati ai nodi AST che codificano il flusso di controllo). Queste rappresentazioni sono embeddate (usando UniXcoder) e indicizzate per un recupero efficiente dei vicini più prossimi.

3. Evoluzione dei Prompt Cross-Model

Per risolvere il collo di bottiglia della scalabilità del prompt engineering manuale, MulVul introduce un nuovo meccanismo di ottimizzazione che scinde la generazione dei prompt dalla valutazione:

• LLM Generatore ($M_{evo}$): (ad esempio, Claude) propone e muta iterativamente i prompt candidati.
• LLM Esecutore ($M_{exec}$): (ad esempio, GPT-4o) esegue gli agenti con questi prompt e restituisce feedback sulle prestazioni (Recall@k per il Router; F1 per i Detector).
• Processo: Questa separazione mitiga il bias di autocorrezione inerente all'ottimizzazione a modello singolo. Il prompt del Router è ottimizzato per il richiamo (garantendo che la categoria corretta sia nei primi-$k$), mentre i prompt dei Detector sono ottimizzati per l'equilibrio precisione-richiamo (F1 score).

Contributi Chiave

1. Framework MulVul: Un nuovo sistema multi-agente basato sul recupero che bilancia l'efficienza computazionale con la copertura del rilevamento, indirizzando gli input verso esperti specializzati solo quando necessario.
2. Evoluzione dei Prompt Cross-Model: Un meccanismo che ottimizza automaticamente i prompt per agenti specializzati separando la generazione ed l'esecuzione tra diversi LLM, risolvendo efficacementmente la sfida della scalabilità dell'ingegneria manuale e riducendo il bias.
3. Prestazioni allo Stato dell'Arte: Esperimenti esaustivi che dimostrano miglioramenti significativi rispetto alle baseline esistenti nel rilevamento di vulnerabilità multi-classe.

Risultati Sperimentali

Il framework è stato valutato sul benchmark PrimeVul, che copre 6.968 funzioni C/C++ vulnerabili e 229.764 funzioni benigne attraverso 130 tipi di CWE.

• Prestazioni Complessive: MulVul ha raggiunto un Macro-F1 del 34,79% a livello di tipo, superando la migliore baseline (LLM×CPG) di 10,21 punti percentuali (un miglioramento relativo del 41,5%).
• Trade-off Precisione-Richiamo: Il sistema ha ottenuto una Macro-Precision del 27,90% e una Macro-Recall del 46,19%, dimostrando un equilibrio superiore rispetto alle baseline che spesso sacrificano l'una per l'altra.
• Studi di Ablazione:
  • Recupero (Retrieval): La rimozione del recupero ha causato il calo di prestazioni maggiore (l'F1 è sceso dal 34,56% al 21,80%), confermando la necessità di ancorare il ragionamento con le evidenze.
  • Evoluzione dei Prompt: Sostituire i prompt evoluti con template manuali ha ridotto le prestazioni dell'11,76%, validando l'efficacia della strategia di evoluzione cross-model.
  • Multi-Agente: Rimuovere l'architettura ad agenti (usando un singolo modello) ha causato un calo del 5,95%.
• Prestazioni Few-Shot: Mul{\text{u}}l ha dimostrato prestazioni robuste sui tipi di CWE rari (meno di 100 campioni), raggiungendo circa il 48% di F1 rispetto al ~25% della migliore baseline. Ciò evidenzia la capacità del sistema di trasferire la conoscenza tra pattern di vulnerabilità correlati.
• Parametro di Routing ($k$): Il parametro di routing ottimale è stato individuato in $k=3$, dove il Macro-F1 ha raggiunto il picco del 34,79%.

Significato e Rivendicazioni

L'articolo sostiene che MulVul rappresenti un nuovo stato dell'arte per il rilevamento di vulnerabilità multi-classe. La sua importanza risiede nel:

• Affrontare l'Eterogeneità: Decomponendo il compito in routing grossolano e rilevamento fine-grained, supera i limiti dei modelli unificati nel gestire diversi pattern di vulnerabilità.
• Scalabilità: Il meccanismo di Evoluzione dei Prompt Cross-Model automatizza la creazione di istruzioni specializzate per centinaia di categorie, rendendo fattibile il rilevamento a copertura ampia senza ingegneria manuale.
• Robustezza: La combinazione di generazione aumentata dal recupero e operazione di agenti isolati mitiga efficacemente le allucinazioni e l'amplificazione degli errori, problemi comuni nei sistemi multi-agente LLM.

Gli autori riconoscono i limiti, tra cui la valutazione limitata al codice C/C++, il costo computazionale delle molteplici chiamate API LLM e la necessità di ulteriori valutazioni sulla trasferibilità dei prompt ad altri backbone LLM. Notano inoltre il potenziale rischio di doppio uso degli strumenti automatizzati di rilevamento delle vulnerabilità.