Technische Samenvatting: MulVul

Probleemdefinitie

Het artikel behandelt twee kritieke beperkingen bij het automatiseren van de detectie van kwetsbaarheden in code met behulp van Large Language Models (LLMs):

1. Heterogeniteit van kwetsbaarheidspatronen: Verschillende typen kwetsbaarheden (bijv. buffer overflows versus injectie-aanvallen) vereisen onderscheidende redeneerkracht. Een enkel verenigd model heeft moeite om deze diverse, typespecifieke patronen binnen een gedeelde latente ruimte te vatten, wat leidt tot gemiste kwetsbaarheden of hoge aantallen vals alarm.
2. Schaalbaarheid van Prompt Engineering: Real-world systemen omvatten honderden Common Weakness Enumeration (CWE) vermeldingen. Het handmatig ontwerpen van unieke prompts voor gespecialiseerde agenten voor een dergelijk groot aantal categorieën is onhaalbaar. Bovendien introduceert het vertrouwen op een enkel model voor zowel de generatie als de evaluatie van prompts een zelfcorrectie-bias, terwijl multi-agent systemen het risico lopen hallucinaties te versterken als ze niet goed gegrond zijn.

Bestaande methoden vertrouwen vaak op vaste prompts zonder externe gronding of proberen alle typen kwetsbaarheden gelijktijdig te detecteren met een enkel model, waarbij ze er niet in slagen om computationele efficiëntie te balanceren met brede dekking.

Methodologie: MulVul Framework

MulVul is een retrieval-augmented multi-agent framework dat is ontworpen voor precieze en breed dekkende kwetsbaarheidsdetectie. Het werkt via een coarse-to-fine strategie en maakt gebruik van Cross-Model Prompt Evolution.

1. Architectuur: Router-Detector

Het systeem maakt gebruik van een hiërarchische architectuur die is afgestemd op de CWE-taxonomie:

• Router Agent: Fungeert als een dispatcher. Het voorspelt eerst de top-$k$ grofmazige kwetsbaarheidscategorieën (bijv. "Memory Buffer Errors"). Het gebruikt een Global Retrieval Tool om een kennisbank te doorzoeken naar bewijslast over verschillende categorieën heen, om er zeker van te zijn dat de juiste categorie niet voortijdig wordt weggefilterd.
• Detector Agents: Gespecialiseerde agenten worden alleen aangeroepen voor de categorieën die door de Router zijn geselecteerd. Elke Detector voert fijnmazige identificatie uit van specifieke typen kwetsbaarheden (bijv. "CWE-119 Buffer Overflow").
  • Isolatie: Detectors opereren in isolatie zonder communicatie tussen agenten om foutencascades te voorkomen.
  • Contrastieve Retrieval: Elke Detector gebruikt een gespecialiseerde tool om bewijs te extraheren uit drie pools: in-categorie positieven, schone voorbeelden en out-of-category "hard negatives". Deze contrastieve aanpak helpt subtiele beveiligingsgebreken te onderscheiden.

2. Kennisbank (SCALE)

Het framework vertrouwt op een kennisbank voor kwetsbaarheden die is geconstrueerd met behulp van SCALE (Structured Code Representation). SCALE zet codefragmenten om in Structured Comment Trees (natuurlijke taalcomments gekoppeld aan AST-nodes die de control flow coderen). Deze representaties worden geëmbed (met behulp van UniXcoder) en geïndexeerd voor efficiënte nearest-neighbor retrieval.

3. Cross-Model Prompt Evolution

Om de schaalbaarheidsproblematiek van handmatige prompt engineering op te lossen, introduceert MulVul een nieuw optimalisatiemechanisme dat de generatie van prompts ontkoppelt van de evaluatie:

• Generator LLM ($M_{evo}$): (bijv. Claude) stelt iteratief kandidaat-prompts voor en muteert deze.
• Executor LLM ($M_{exec}$): (bijv. GPT-4o) voert de agenten uit met deze prompts en geeft prestatiefeedback terug (Recall@k voor de Router; F1 voor Detectors).
• Proces: Deze scheiding vermindert de zelfcorrectie-bias die inherent is aan single-model optimalisatie. De Router-prompt wordt geoptimaliseerd voor recall (zorgen dat de juiste categorie in de top-$k$ zit), terwijl de Detector-prompts worden geoptimaliseerd voor de precisie-recall balans (F1-score).

Belangrijkste Bijdragen

1. MulVul Framework: Een nieuw retrieval-augmented multi-agent systeem dat een balans vindt tussen computationele efficiëntie en detectiedekking door inputs te routeren naar gespecialiseerde experts wanneer dat nodig is.
2. Cross-Model Prompt Evolution: Een mechanisme dat automatisch prompts optimaliseert voor gespecialiseerde agenten door generatie en executie over verschillende LLM's te scheiden, wat effectief de schaalbaarheid uitdaging van handmatige engineering oplost en bias vermindert.
3. State-of-the-Art Prestaties: Uitgebreide experimenten die significante verbeteringen laten zien ten opzichte van bestaande baselines in multi-class kwetsbaarheidsdetectie.

Experimentele Resultaten

Het framework werd geëvalueerd op de PrimeVul benchmark, die 6.968 kwetsbare en 229.764 benigne C/C++ functies beslaat over 130 CWE-typen.

• Algemene Prestaties: MulVul behaalde een Macro-F1 van 34,79% op type-niveau, waarmee het de beste baseline (LLM×CPG) versloeg met 10,21 procentpunt (een relatieve verbetering van 41,5%).
• Precisie-Recall Afweging: Het systeem behaalde een Macro-Precisie van 27,90% en een Macro-Recall van 46,19%, wat een superieure balans aantoont vergeleken met baselines die vaak de een opofferen voor de ander.
• Ablatie-studies:
  • Retrieval: Het verwijderen van retrieval veroorzaakte de grootste prestatiedaling (F1 daalde van 34,56% naar 21,80%), wat de noodzaak bevestigt om redenering te funderen met bewijslast.
  • Prompt Evolution: Het vervangen van geëvolueerde prompts door handmatige templates verminderde de prestaties met 11,76%, wat de effectiviteit van de cross-model evolatiestrategie valideert.
  • Multi-Agent: Het verwijderen van de agent-architectuur (gebruik van een enkel model) resulteerde in een daling van 5,95%.
• Few-Shot Prestaties: MulVul demonstreerde robuuste prestaties op zeldzame CWE-typen (minder dan 100 samples), waarbij het ~48% F1 behaalde vergeleken met ~25% voor de beste baseline. Dit benadrukt het vermogen van het systeem om kennis te transfereren naar gerelateerde kwetsbaarheidspatronen.
• Routing Parameter ($k$): De optimale routingparameter werd gevonden op $k=3$, waar de Macro-F1 piekte op 34,79%.

Betekenis en Claims

Het artikel beweert dat MulVul een nieuwe state-of-the-art vertegenwoordigt voor multi-class kwetsbaarheidsdetectie. De betekenis ligt in:

• Adresseren van Heterogeniteit: Door de taak te deconstrueren in grove routing en fijnmazige detectie, overwint het de beperkingen van verenigde modellen bij het afhandelen van diverse kwetsbaarheidspatronen.
• Schaalbaarheid: Het Cross-Model Prompt Evolution mechanisme automatiseert de creatie van gespecialiseerde instructies voor honderden categorieën, waardoor brede detectie haalbaar wordt zonder handmatige engineering.
• Robuustheid: De combinatie van retrieval-augmented generatie en geïsoleerde agent-operatie mitigeert effectief hallucinaties en foutenversterking, wat veelvoorkomende valkuilen zijn in multi-agent LLM systemen.

De auteurs erkennen beperkingen, waaronder de evaluatie die beperkt is tot C/C++ code, de computationele kosten van meerdere LLM API-aanroepen, en de noodzaak voor verdere evaluatie van de prompt-transferbaarheid naar andere LLM-backbones. Ze merken ook het potentieel voor dual-use risico's op van geautomatiseerde tools voor kwetsbaarheidsdetectie.