A Multi-Agent Framework for Automated Exploit Generation with Constraint-Guided Comprehension and Reflection

Probleemstelling

Open-source bibliotheken zijn essentieel in moderne softwareontwikkeling, maar introduceren aanzienlijke veiligheidsrisico's. Traditionele statische analyse-tools (zoals CodeQL) kunnen kwetsbaarheden op grote schaal detecteren, maar genereren vaak overweldigende rapporten met een hoog percentage false positives (vals-positieven). Om de authenticiteit van een kwetsbaarheid te bevestigen, is Automated Exploit Generation (AEG) nodig: het automatisch genereren van een werkend bewijs van concept (PoC).

Bestaande AEG-methoden hebben echter ernstige beperkingen:

1. Fuzzing: Faalt vaak bij complexe programmalogica of diepe uitvoeringspaden omdat het moeilijk is om specifieke, geldige invoer te genereren die de kwetsbaarheid bereikt.
2. Symbolische Executie: Tools zoals EXPLOADE.js vertalen paden naar formele constraints. Dit faalt echter bij complexe logica, zoals hogere-orde functies, polymorfisme en complexe string-manipulaties, die huidige SMT-oplossers (Satisfiability Modulo Theories) niet kunnen oplossen.
3. Large Language Models (LLMs): Hoewel LLMs uitstekend zijn in codebegrip, hebben ze moeite met AEG vanwege contextlimieten, hallucinaties, en het onvermogen om complexe, multi-stap taken (analyse, generatie, validatie) zelfstandig en foutloos uit te voeren zonder feedback.

Methodologie: VulnSage

De auteurs stellen VulnSage voor, een multi-agent framework dat de workflow van een menselijke beveiligingsonderzoeker nabootst. Het systeem decomposeert de complexe AEG-taak in gespecialiseerde sub-agenten die worden gecoördineerd door een centrale Supervisor Agent via iteratieve cycli.

De architectuur bestaat uit de volgende componenten:

1. Supervisor Agent:

   • Werkt volgens het ReAct-paradigma (Reasoning and Acting).
   • Beslist autonoom welke agent erop moet worden ingeroepen op basis van de huidige voortgang.
   • Beheert de iteratieve cyclus en stopt het proces wanneer een exploit succesvol is of wanneer wordt geconcludeerd dat het een false positive is.

2. Code Analyzer Agent:

   • Voert statische analyse uit (taint analysis) om potentiële kwetsbaarheden te identificeren.
   • Verzamelt gedetailleerde informatie: de aanroepketen (call chain), invoerclassificaties en een basis-sjabloon voor de exploit.
   • Dit lost het probleem van de contextlimiet op door alleen relevante codefragmenten te selecteren in plaats van de hele codebase.

3. Code Generation Agent:

   • Constraint Extractie: In plaats van formele logica, vertaalt deze agent de taint-flow naar natuurtaalkundige constraints. Dit is cruciaal omdat LLMs beter zijn in het begrijpen van natuurlijke taal dan in het oplossen van formele SMT-constraints. De constraints worden incrementeel opgebouwd door functies in de aanroepketen te analyseren.
   • Exploit Generatie: Genereert de daadwerkelijke exploit-code die voldoet aan deze constraints, gebruikmakend van Chain-of-Thought (CoT) redenering.

4. Validation Agent:

   • Voert de gegenereerde exploit uit in een zandbak (sandbox).
   • Controleert of de uitvoering overeenkomt met de verwachte "oracles" (bijv. uitvoering van een specifieke commando voor RCE, of het laden van een kwaadaardige JNDI-URI).
   • Verzamelt compilatie- en runtime-informatie (foutmeldingen, stack traces) voor feedback.

5. Reflection Agents:

   • Correction Insight Agent: Analyseert mislukte uitvoeringen en runtime-fouten om nieuwe inzichten te genereren. Deze inzichten worden teruggekoppeld naar de Code Generation Agent om de constraints te verfijnen en de exploit te corrigeren.
   • False Positive Reasoning Agent: Onderzoekt of een mislukte exploit wijst op een false positive (bijv. door aanwezigheid van een sanitizer-functie of onnauwkeurige statische analyse), waardoor het proces vroegtijdig kan worden afgebroken.

Belangrijkste Bijdragen

1. Multi-Agent Architectuur: Een nieuw framework dat de contextlimiet van LLMs overbrugt door statische analyse te combineren met gespecialiseerde agenten voor analyse, generatie en validatie.
2. Constraint-Gedreven Begrip: Het vertalen van complexe programmalogica naar natuurlijke taal-constraints, wat LLMs in staat stelt om realistische code te genereren die voldoet aan invoercondities zonder expliciete formele oplossers.
3. Reflectie- en Feedbackmechanisme: Een continue lus van validatie en zelfcorrectie die het systeem in staat stelt om fouten te herstellen en false positives te identificeren, wat essentieel is voor de nauwkeurigheid.
4. Empirische Validatie: Uitgebreide experimenten die de superioriteit van de aanpak aantonen ten opzichte van state-of-the-art tools.

Resultaten

De auteurs hebben VulnSage getest op de SecBench.js benchmark en een groot Real-world Dataset (bestaande uit npm- en Maven-pakketten).

• Prestaties op SecBench.js: VulnSage genereerde 34,64% meer succesvolle exploits dan de state-of-the-art tool EXPLOADE.js en 89,76% meer dan NodeMedic-FINE. In totaal werden 254 exploits gegenereerd (tegenover 166 voor EXPLOADE.js).
• Real-world Applicatie: Op een dataset van bijna 140.000 pakketten (Java en JavaScript) slaagde VulnSage erin om 183 exploits te genereren voor daadwerkelijke kwetsbaarheden.
• Zero-Day Ontdekking: Het systeem ontdekte en verifieerde 146 nieuwe (zero-day) kwetsbaarheden. Hiervan zijn er 73 een CVE-ID toegekend en 22 openbaar gemaakt.
• Efficiëntie: Gemiddeld kost het genereren van een exploit ongeveer 8 minuten en $0,97 aan API-kosten (gebaseerd op Qwen3-Max). Hoewel dit hoger is dan bij JavaScript, is het aanzienlijk efficiënter dan handmatige verificatie door experts.

Betekenis en Impact

VulnSage markeert een belangrijke stap voorwaarts in de automatisering van beveiligingsbeoordeling. Het lost het fundamentele probleem op van het "valideren" van statische analyse-resultaten door te bewijzen dat een kwetsbaarheid echt exploiteerbaar is.

• Voorbijgaan aan traditionele beperkingen: Door LLMs te gebruiken in plaats van SMT-oplossers voor het oplossen van complexe constraints (zoals polymorfisme en string-validatie), kan VulnSage scenario's aanpakken die voor eerdere tools onmogelijk waren.
• Praktische toepasbaarheid: De ontdekking van 146 zero-day kwetsbaarheden in actieve bibliotheken onderstreept de directe waarde voor de software supply chain security.
• Schaalbaarheid: Het multi-agent ontwerp maakt het mogelijk om de complexiteit van grote codebases te hanteren zonder de kwaliteit van de analyse te verliezen, wat een model biedt voor toekomstige AI-gedreven beveiligingsinstrumenten.

Kortom, VulnSage demonstreert dat een zorgvuldig ontworpen multi-agent systeem, dat statische analyse combineert met de generatieve kracht en het redeneervermogen van LLMs, een krachtige oplossing biedt voor het bevestigen en exploiteren van softwarekwetsbaarheden in de echte wereld.