VulnAgent-X: A Layered Agentic Framework for Repository-Level Vulnerability Detection

1. Il Problema

La rilevazione delle vulnerabilità software è una sfida critica nell'ingegneria del software a causa della complessità delle interazioni tra la struttura del codice, il contesto del repository e le condizioni di runtime.
Le limitazioni degli approcci esistenti includono:

• Visione locale: I metodi basati sull'apprendimento automatico (es. VulDeePecker, Devign) si concentrano su unità di codice isolate, fallendo nel cogliere dipendenze a lungo raggio o contesti cross-file.
• Predizione "One-shot": I modelli di linguaggio (LLM) e gli agenti attuali spesso tentano di prevedere la vulnerabilità in un singolo passaggio, senza un processo di verifica iterativo.
• Mancanza di validazione: L'assenza di meccanismi di validazione dinamica e raccolta di prove riduce l'affidabilità in scenari reali di repository, portando a un alto tasso di falsi positivi e negativi.
• Sovrastima delle capacità: Benchmark recenti (come PrimeVul) mostrano che i modelli esistenti sovrastimano le proprie capacità quando applicati a contesti realistici e complessi.

2. Metodologia: VulnAgent-X

Il paper propone VulnAgent-X, un framework agentico stratificato che trasforma la rilevazione delle vulnerabilità da una semplice classificazione statica a un processo di audit guidato dalle prove, suddiviso in cinque fasi sequenziali:

1. Fase I: Screening rapido del rischio (Fast risk screening)

   • Esegue un triage a basso costo per identificare regioni sospette.
   • Calcola un punteggio di rischio iniziale combinando segnali statici, metadati e modelli linguistici leggeri.
   • Mantiene solo le top-K regioni per un'analisi più approfondita, riducendo il rumore.

2. Fase II: Espansione del contesto (Context expansion)

   • Un "Context Agent" costruisce un set di contesto limitato ma pertinente per ogni regione selezionata.
   • Include chiamanti/chiamati, file di configurazione, test e modifiche simili, classificati per rilevanza semantica e di dipendenza.
   • Garantisce che il contesto sia "boundato" (limitato) per evitare costi computazionali eccessivi mantenendo l'utilità.

3. Fase III: Analisi multi-agente (Multi-agent analysis)

   • Il framework lancia agenti specializzati per un'ispezione complementare:
     • Router Agent: Classifica il tipo di problema e instrada il caso.
     • Semantic Analysis Agent: Analizza modifiche strutturali, flussi di controllo e gestione delle eccezioni.
     • Security Analysis Agent: Esamina i flussi source-to-sink, la mancata sanitizzazione e i pattern di debolezza.
     • Logic Bug Agent: Si concentra su errori di correttezza non strettamente di sicurezza (es. race condition, stati invalidi).
     • Sceptic Agent: Cerca attivamente contro-argomenti o prove che smentiscano le affermazioni deboli o irraggiungibili (riducendo i falsi positivi).

4. Fase IV: Verifica dinamica (Dynamic verification)

   • Per le scoperte ad alto rischio o incerte, un "Verification Agent" genera artefatti di validazione minimi (es. input di riproduzione, test unitari, payload).
   • Questa fase è selettiva: viene attivata solo per casi specifici per bilanciare affidabilità e costo di runtime.

5. Fase V: Fusione delle prove (Evidence fusion)

   • La decisione finale combina segnali statici, evidenze contestuali, accordo tra agenti, risultati di verifica dinamica e contro-evidenze.
   • Produce un output interpretabile che include tipo di problema, localizzazione, riepilogo delle prove, livello di confidenza e linee guida per la remediation.

Il sistema include anche un meccanismo di escalation consapevole della confidenza: i casi facili escono presto, quelli moderati ricevono revisione extra, e quelli ad alto rischio/bassa confidenza attivano la verifica dinamica.

3. Contributi Chiave

• Cambio di paradigma: Sposta la rilevazione delle vulnerabilità da una classificazione statica a un processo di audit a più stadi guidato dalle prove.
• Architettura Agentico Stratificata: Introduce un flusso di lavoro collaborativo con agenti specializzati (incluso un "Sceptic Agent" per la ricerca di contro-evidenze) e verifica dinamica selettiva.
• Gestione del Contesto: Implementa un'espansione del contesto "boundata" che bilancia la necessità di informazioni cross-file con l'efficienza computazionale.
• Interpretabilità: Fornisce non solo una predizione binaria, ma una catena di ragionamento, evidenze e guide alla correzione.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su benchmark a livello di funzione (Devign, Big-Vul, PrimeVul) e a livello di commit (JULY).

• Prestazioni Superiori: VulnAgent-X supera tutti i baseline (statici, GNN, modelli LLM fine-tuned, agenti singoli, RAG-only) in termini di F1-score e AUROC. I guadagni sono particolarmente significativi su PrimeVul, un benchmark realistico che riduce la duplicazione e utilizza split cronologici.
  • Su PrimeVul, il F1-score sale a 0.316 contro lo 0.271 del miglior competitor multi-stage sequenziale.
• Localizzazione: Il framework mostra la migliore accuratezza nella localizzazione delle vulnerabilità (Top-1/Top-3 accuracy e MRR), fondamentale per i revisori del codice.
• Robustezza Cross-Project: Mantiene le prestazioni più elevate in valutazioni cross-progetto, dimostrando robustezza allo spostamento della distribuzione.
• Efficienza e Costo: Nonostante la complessità, l'uso di un'escalation a più livelli riduce i costi medi del 39.6% in termini di token e del 35.1% in tempo rispetto all'esecuzione "full multi-agent", grazie all'uscita anticipata per il 62.4% dei campioni.
• Analisi di Ablazione: Rimuovere l'espansione del contesto causa il calo più grande nel recall; rimuovere l'Agente Scettico peggiora la precisione (aumento dei falsi positivi); rimuovere la verifica dinamica riduce la qualità della confidenza.

5. Significato e Implicazioni

VulnAgent-X dimostra che trattare la sicurezza del software come un processo di audit iterativo e guidato dalle prove è più efficace delle predizioni monolitiche.

• Riduzione dei Falsi Positivi: L'introduzione di agenti scettici e verifica dinamica mitiga significativamente i falsi allarmi, un problema cronico negli strumenti di analisi statica.
• Scalabilità: L'approccio stratificato permette di gestire repository complessi senza saturare le risorse computazionali, rendendo l'analisi di sicurezza praticabile in ambienti reali.
• Futuro della Code Intelligence: Il lavoro suggerisce che il futuro dell'IA per la sicurezza non risiede solo in modelli di linguaggio più grandi, ma in workflow agentici che integrano ragionamento, recupero di contesto e validazione empirica.

In sintesi, VulnAgent-X rappresenta un avanzamento significativo verso sistemi di sicurezza software autonomi, affidabili e interpretabili, capaci di operare efficacemente nel complesso ecosistema dei repository moderni.