MultiVer: Zero-Shot Multi-Agent Vulnerability Detection

1. Il Problema

La rilevazione delle vulnerabilità nel codice software presenta un compromesso fondamentale tra precisione (minimizzare i falsi positivi) e richiamo (minimizzare i falsi negativi).

• Strumenti di analisi statica tradizionali: (es. CodeQL, Bandit) offrono alta precisione ma un richiamo estremamente basso (5-11% su PyVul), mancando la maggior parte delle vulnerabilità reali.
• Modelli Linguistici (LLM) Zero-Shot: Migliorano il richiamo rispetto agli strumenti statici, ma rimangono significativamente inferiori rispetto ai modelli fine-tuned (addestrati su dati etichettati). Ad esempio, su PyVul, GPT-3.5 zero-shot raggiunge il 61.1% di richiamo, mentre la versione fine-tuned arriva all'81.3%.
• Il divario: Esiste un gap di circa 20 punti percentuali tra le prestazioni zero-shot e quelle fine-tuned, che rappresenta il costo dell'acquisizione di dati di vulnerabilità etichettati. L'obiettivo è colmare questo divario senza utilizzare dati di addestramento.

2. Metodologia: MultiVer

Il paper presenta MultiVer, un sistema zero-shot basato su un ensemble di agenti multipli che analizzano il codice da diverse prospettive.

Architettura a Quattro Agenti

Il sistema esegue in parallelo quattro agenti specializzati, ciascuno focalizzato su una dimensione specifica:

1. Agente Sicurezza (peso 0.45): Esegue il matching di pattern mappati su CWE e analisi LLM potenziata da RAG (Retrieval-Augmented Generation).
2. Agente Correttezza (peso 0.35): Rileva bug tramite analisi AST (Abstract Syntax Tree) sulla gestione delle eccezioni e la validazione degli input.
3. Agente Prestazioni (peso 0.15): Identifica inefficienze algoritmiche.
4. Agente Stile (peso 0.05): Valuta la qualità del codice.

Pipeline di Analisi a Tre Livelli

Ogni agente segue una pipeline ottimizzata per costi e accuratezza:

1. Livello 1 (Pattern Matching): Rilevamento deterministico di firme di vulnerabilità (es. SQL injection) in <50ms.
2. Livello 2 (RAG): Recupero di 5 esempi simili e 3 specifiche rilevanti da una base di conoscenza curata (CVEFixes, BugsInPy) tramite FAISS.
3. Livello 3 (LLM): Invocazione di un modello LLM (Claude Opus 4.5) con "extended thinking" per produrre un verdetto strutturato (PASS/WARNING/FAIL) basato sui risultati dei livelli precedenti.

Strategia di Votazione (Ensemble Voting)

I verdeti degli agenti vengono combinati tramite due modalità:

• Votazione di Unione (Union Voting): Segnala un avviso se qualsiasi agente rileva un problema. Questa strategia massimizza il richiamo (accettando più falsi positivi), ideale per audit di sicurezza dove un falso negativo è costoso.
• Votazione Ponderata (Weighted Voting): Combina i punteggi basandosi sul peso dell'agente, sulla severità del verdetto e sulla confidenza. Offre un compromesso tra precisione e richiamo, ma con prestazioni inferiori in termini di richiamo totale.

Campionamento di Auto-Consistenza

Per l'agente di sicurezza, il sistema utilizza il campionamento di auto-consistenza (3 chiamate parallele con temperature diverse) per ridurre la varianza nei casi ambigui.

3. Risultati Chiave

Gli esperimenti sono stati condotti su due benchmark: PyVul (vulnerabilità reali Python) e SecurityEval (campioni sintetici).

Prestazioni su PyVul

• Richiamo (Recall): MultiVer (con votazione di unione) raggiunge 82.7% ± 0.6%, superando il modello fine-tuned GPT-3.5 (81.3%) di 1.4 punti percentuali. È il primo sistema zero-shot a superare le prestazioni di un modello fine-tuned su questo benchmark.
• Precisione: Il sistema ottiene una precisione del 48.8% (contro il 63.9% di GPT-3.5 fine-tuned).
• F1 Score: 61.4% (competitivo con CodeQwen zero-shot a 61.8%).
• Confronto con Baseline: Supera di gran lunga gli strumenti statici (CodeQL: 10.8%, Bandit: 5.3%) e i modelli LLM zero-shot puri (GPT-4: 33.3%).

Prestazioni su SecurityEval

• Raggiunge un tasso di rilevamento del 91.7%, allineandosi con sistemi specializzati come Aardvark (92%) e superando Vul-RAG (78.9%).

Studi di Ablazione

• L'ensemble multi-agente contribuisce con +17 punti percentuali di richiamo rispetto all'analisi di sola sicurezza.
• L'agente di correttezza da solo aggiunge +11 punti percentuali.
• L'uso del RAG riduce leggermente il richiamo (da 92.0% a 82.7%) ma migliora la precisione, agendo come un ancoraggio contro i falsi positivi basati su pattern sintattici ingannevoli.

4. Contributi Principali

1. Superamento del Fine-Tuning: Dimostrazione che un ensemble multi-agente zero-shot può superare le prestazioni di richiamo di modelli fine-tuned senza dati di addestramento.
2. Architettura Multi-Dimensionale: Validazione dell'ipotesi che le vulnerabilità si manifestino attraverso dimensioni multiple (sicurezza, correttezza, prestazioni, stile) e che un'analisi combinata sia superiore.
3. Analisi del Trade-off: Caratterizzazione dettagliata del compromesso tra richiamo e precisione, mostrando come la votazione di unione sia preferibile per gli audit di sicurezza.
4. Efficienza degli Agenti: Isolamento del contributo di ciascun agente, dimostrando che la diversità degli agenti è la fonte principale del miglioramento delle prestazioni.

5. Significato e Implicazioni

Il lavoro di MultiVer è significativo per diversi motivi:

• Cambiamento di Paradigma: Dimostra che per applicazioni di sicurezza, dove i falsi negativi (vulnerabilità mancate) sono molto più costosi dei falsi positivi (tempo di revisione aggiuntivo), è preferibile un sistema zero-shot ad alto richiamo rispetto a un modello fine-tuned ad alta precisione.
• Accessibilità: Permette di ottenere prestazioni di stato dell'arte senza la necessità di raccogliere e etichettare grandi dataset di vulnerabilità, abbattendo le barriere all'ingresso per la ricerca e l'applicazione pratica.
• Limiti e Futuro: Il sistema attuale ha un alto tasso di falsi positivi (85% su PyVul), rendendolo inadatto al blocco automatico in pipeline CI/CD in tempo reale, ma ideale per audit mirati pre-deployment. Le future ricerche si concentreranno sulla riduzione dei falsi positivi tramite training contrastivo su coppie codice vulnerabile/corretto o RAG a livello di conoscenza semantica.

In sintesi, MultiVer stabilisce un nuovo standard per la rilevazione delle vulnerabilità zero-shot, dimostrando che l'aggregazione intelligente di agenti specializzati può competere e superare i modelli addestrati su dati specifici, ottimizzando il metrico più critico per la sicurezza: il richiamo.