A Multi-Agent Framework for Automated Exploit Generation with Constraint-Guided Comprehension and Reflection

1. Il Problema

Lo sviluppo software moderno fa ampio uso di librerie open-source, introducendo rischi significativi di sicurezza. Sebbene gli strumenti di analisi statica possano identificare potenziali vulnerabilità su larga scala, spesso generano un numero eccessivo di report con un alto tasso di falsi positivi, richiedendo un enorme sforzo manuale per la verifica.

La Generazione Automatica di Exploit (AEG) è emersa come soluzione promettente per confermare l'autenticità di una vulnerabilità generando una prova di concetto (PoC) funzionante. Tuttavia, gli approcci tradizionali presentano limiti critici:

• Fuzzing: Fatica a coprire percorsi di esecuzione complessi o profondi.
• Esecuzione Simbolica: Incontra difficoltà nel risolvere vincoli complessi (es. manipolazioni di stringhe, funzioni di ordine superiore) a causa delle limitazioni dei framework SMT attuali.
• LLM (Large Language Models): Sebbene mostrino potenziale, soffrono di limitazioni nel contesto (finestra di token), allucinazioni, perdita di focus in compiti complessi e incapacità di verificare autonomamente la correttezza del codice generato senza feedback esterni.

2. Metodologia: VulnSage

Per superare queste sfide, gli autori propongono VulnSage, un framework multi-agente che simula il flusso di lavoro di un ricercatore di sicurezza umano. Il sistema è orchestrato da un agente supervisore e composto da diversi agenti specializzati che lavorano in cicli iterativi:

Architettura degli Agenti

1. Supervisor Agent: Basato sull'architettura ReAct (Reasoning and Acting), coordina gli altri agenti. Decide autonomamente quale agente chiamare in base allo stato corrente (analisi, generazione, validazione o riflessione) e termina il processo quando l'exploit è confermato o si conclude che l'allerta è un falso positivo.
2. Code Analyzer Agent: Esegue un'analisi statica (taint analysis) per identificare potenziali vulnerabilità. Estrae le informazioni rilevanti per ogni allerta, inclusi:
   • La catena di chiamate (call chain) dal punto di ingresso (source) al punto critico (sink).
   • L'insieme delle classi definite dall'utente necessarie per costruire gli input.
   • Un template iniziale per l'exploit.
3. Code Generation Agent: Trasforma il problema di generazione dell'exploit in un insieme di vincoli (constraints) descritti in linguaggio naturale (più gestibili per gli LLM rispetto al linguaggio formale SMT).
   • Estrarre i vincoli in modo incrementale analizzando le funzioni della catena di chiamate.
   • Generare codice di exploit che soddisfi questi vincoli, utilizzando un prompt strutturato con Chain-of-Thought (CoT).
4. Validation Agent: Esegue l'exploit generato in un ambiente sandbox. Raccoglie informazioni di compilazione ed esecuzione (trace, stack error) e verifica la correttezza rispetto a "oracoli" specifici per il tipo di vulnerabilità (es. esecuzione di un comando specifico per RCE, richiesta a un provider JNDI malevolo).
5. Reflection Agents: Un set di agenti che analizzano i fallimenti dell'esecuzione:
   • Correction Insight Agent: Analizza gli errori di runtime e genera nuovi vincoli o "insight" per correggere il codice dell'exploit, guidando il Code Generation Agent verso una soluzione corretta.
   • False Positive Reasoning Agent: Valuta se un fallimento sia dovuto a un falso positivo (es. presenza di funzioni di sanitizzazione o imprecisioni nell'analisi statica), permettendo di terminare precocemente la generazione e risparmiare risorse.

Innovazione Chiave

Il framework risolve il problema del contesto limitato degli LLM e della complessità dei vincoli trasformando la logica di controllo del flusso in vincoli in linguaggio naturale, che vengono accumulati e forniti all'LLM in modo incrementale. Inoltre, il ciclo di feedback basato sull'esecuzione reale permette di correggere errori di sintassi e logica che gli LLM commetterebbero in un approccio "one-shot".

3. Contributi Chiave

1. Architettura Multi-Agent: Introduzione di VulnSage, che affronta i limiti di contesto degli LLM e la complessità dell'AEG suddividendo il compito in agenti specializzati.
2. Comprensione Guidata dai Vincoli: Estrazione del codice rilevante e codifica in vincoli in linguaggio naturale per guidare l'LLM nella comprensione della vulnerabilità, superando le limitazioni dei solver SMT tradizionali.
3. Meccanismo di Riflessione e Feedback: Sviluppo di un ciclo di auto-miglioramento che valida gli exploit, utilizza i feedback di runtime per raffinare il codice e ragiona sui falsi positivi.
4. Efficacia Empirica: Validazione sperimentale che dimostra prestazioni superiori rispetto agli strumenti più avanzati e la scoperta di vulnerabilità zero-day in scenari reali.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su benchmark (SecBench.js) e dataset reali (pacchetti npm e Maven per JavaScript e Java).

• Performance su SecBench.js: VulnSage ha generato exploit per il 53,47% delle vulnerabilità, un miglioramento del 34,64% rispetto allo stato dell'arte (EXPLOADE.js) e dell'89,76% rispetto a NodeMedic-FINE.
• Scoperta di Zero-Day: In scenari reali, VulnSage ha scoperto e verificato 146 vulnerabilità zero-day. Di queste, 73 hanno ricevuto un ID CVE e 22 sono state già divulgate pubblicamente.
• Analisi dei Componenti (Ablation Study):
  • La rimozione delle informazioni dettagliate sul flusso di dati (MiniAlert) riduce drasticamente l'efficacia (fino al 47% in meno su dataset reali), confermando l'importanza dell'analisi statica preliminare.
  • L'assenza degli agenti di riflessione (NoRefl) riduce la capacità di correggere errori, confermando che l'iterazione è fondamentale.
  • La rimozione del tracciamento dell'esecuzione (NoTrace) ha un impatto minore ma significativo, dimostrando che gli errori di runtime sono cruciali per il debugging.
• Modelli LLM: Il modello Qwen3-Max ha mostrato le migliori prestazioni grazie alla sua architettura avanzata e alla grande finestra di contesto (252K token), superando modelli come GPT-4o e DeepSeek-V3.
• Costi: Il costo medio per vulnerabilità è di circa $0,97 e richiede circa 8 minuti di tempo di elaborazione, rendendo l'approccio fattibile per l'uso pratico.

5. Significato

VulnSage rappresenta un passo avanti significativo nella sicurezza del software, spostando il paradigma dalla semplice rilevazione di vulnerabilità (spesso rumorosa) alla conferma automatica e pratica tramite la generazione di exploit.

• Riduzione del Falso Positivo: Fornisce non solo la conferma di una vulnerabilità, ma anche una spiegazione dettagliata per i falsi positivi, riducendo il carico di lavoro manuale per i ricercatori di sicurezza.
• Scalabilità: Dimostra che gli LLM, se integrati in un'architettura multi-agente con feedback di esecuzione, possono gestire la complessità logica e strutturale dei programmi reali meglio delle tecniche tradizionali di esecuzione simbolica o fuzzing.
• Impatto Reale: La capacità di scoprire 146 nuove vulnerabilità in pacchetti ampiamente utilizzati sottolinea l'importanza critica di tali strumenti per la sicurezza delle catene di approvvigionamento software (software supply chain).

In sintesi, VulnSage combina l'analisi statica rigorosa con la capacità generativa e di ragionamento degli LLM, creando un sistema autonomo in grado di validare le vulnerabilità con un livello di accuratezza ed efficienza precedentemente irraggiungibile.