🤖 AI

MulVul: Retrieval-augmented Multi-Agent Code Vulnerability Detection via Cross-Model Prompt Evolution

MulVul ist ein Retrieval-Augmented Multi-Agent-Framework, das die Einschränkungen der Schwachstellenerkennung durch Einzelmodelle und manuelles Prompt-Engineering adressiert, indem es eine Coarse-to-Fine-Routing-Strategie sowie einen neuartigen Cross-Model-Prompt-Evolution-Mechanismus einsetzt, um eine signifikant höhere Genauigkeit über verschiedene Schwachstellentypen hinweg zu erreichen.

Ursprüngliche Autoren: Zihan Wu, Jie Xu, Yun Peng, Chun Yong Chong, Xiaohua Jia

Veröffentlicht 2026-01-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zihan Wu, Jie Xu, Yun Peng, Chun Yong Chong, Xiaohua Jia

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ganz bestimmte Arten von Fehlern in einer riesigen Bibliothek von Computercode zu finden. Das ist ein wenig so, als würde man versuchen, die Nadel im Heuhaufen zu finden, aber die „Nadeln“ kommen in tausenden verschiedenen Formen, Größen und Farben.

Das Paper stellt ein neues System namens MulVul vor, um dieses Problem zu lösen. So funktioniert es, erklärt durch einfache Analogien:

Das Problem: Einheitsgröße passt nicht immer

Stellen Sie sich vor, Sie stellen einen einzigen, sehr klugen Detektiv ein, um jede Art von Verbrechen in einer Stadt aufzuklären.

Das Problem: Manche Verbrechen sind wie Banküberfälle (die Wissen über Schlösser und Alarme erfordern), während andere wie Identitätsdiebstahl sind (der Wissen über Social Engineering erfordert). Ein einzelner Detektiv mag in dem einen großartig sein, aber im anderen völlig ungeeignet.
Der alte Weg: Frühere KI-Tools versuchten, einen einzigen „Super-Detektiv“ einzusetzen, der alles gleichzeitig aufdeckt. Da es so viele verschiedene Arten von Code-Schwachstellen gibt (über 130 Typen!), wird dieser einzelne Detektiv oft verwirrt, übersieht Dinge oder schlägt fälschlicherweise Alarm.
Das manuelle Problem: Man könnte versuchen, für jede Art von Schwachstelle eine spezifische Anweisung (einen „Prompt“) für die KI zu schreiben. Aber bei hunderten von Typen ist das Schreiben und Testen dieser Anweisungen von Hand unmöglich – es dauert zu lange und ist zu teuer.

Die Lösung: MulVul (Das spezialisierte Team)

Mul- $\text{Vul}$ ändert die Spielregeln, indem es ein Team von Spezialisten anstelle eines Generalisten einsetzt. Es arbeitet in zwei Hauptphasen:

1. Der „Router“ (Der Verkehrspolizist)

Wenn ein Stück Code eintrifft, geht er nicht zu jedem. Zuerst geht er an einen Router-Agenten.

Was er tut: Der Router betrachtet den Code und fragt: „Um welche Art von Ärger handelt es sich hier wahrscheinlich?“ Er muss nicht die exakte Schwachstelle kennen; er muss nur die grobe Kategorie erraten (z. B. „Das sieht nach einem Speicherfehler aus“ oder „Das sieht nach einem Injection-Angriff aus“).
Der Trick: Er nutzt ein Retrieval-Tool. Stellen Sie sich das wie den Router vor, der in einem riesigen, organisierten Lexikon vergangener Verbrechen blättert, um ähnliche Fälle zu finden, bevor er eine Vermutung anstellt. Dies hilft ihm, willkürliches Raten zu vermeiden.
Das Ergebnis: Er wählt die drei wahrscheinlichsten Kategorien aus und leitet den Code nur an die Spezialisten weiter, die für diese spezifischen Kategorien zuständig sind. Das spart Zeit und Geld.

2. Die „Detektoren“ (Die Forensik-Experten)

Sobald der Router den Code an die richtigen Spezialisten weitergeleitet hat, übernehmen die Detector-Agenten.

Was sie tun: Dies sind hochspezialisierte Agenten. Einer sucht nur nach Speicherfehlern; ein anderer sucht nur nach Injection-Angriffen.
Der Trick: Ähnlich wie der Router nutzen auch sie ein Retrieval-Tool. Aber sie sind klüger dabei. Sie suchen nach „kontrastiven“ Beispielen. Stellen Sie sich einen Detektiv vor, der die Geschichte eines Verdächtigen sowohl mit einer wahren Geschichte eines ähnlichen Verbrechens als auch mit einer falschen Geschichte eines ähnlichen Verbrechens vergleicht, um die winzigen Unterschiede zu finden. Dies hilft ihnen, die exakte Schwachstelle zu lokalisieren, ohne durch ähnlich aussehenden Code verwirrt zu werden.
Isolation: Entscheidend ist, dass diese Detektive alleine arbeiten. Sie sprechen nicht miteinander. Wenn ein Detektiv einen Fehler macht, breitet sich dieser nicht auf die anderen aus, was eine Kettenreaktion von Fehlern verhindert.

Das Geheimrezept: „Cross-Model Prompt Evolution“

Das Schreiben der Anweisungen (Prompts) für diese KI-Agenten ist der schwierigste Teil. Wenn man eine KI bittet, Anweisungen für sich selbst zu schreiben, könnte sie in einer Schleife stecken bleiben und ihre eigenen schlechten Ideen für gut halten.

MulVul nutzt ein cleveres Zwei-KI-System, um dies zu beheben:

Der Generator (Der Architekt): Eine KI (wie Claude) versucht, die Anweisungen zu schreiben und zu verbessern. Sie rät: „Vielleicht mache ich es besser, wenn ich es so sage.“
Der Executor (Der Tester): Eine andere KI (wie GPT-4o) versucht tatsächlich, diesen Anweisungen zu folgen, um Fehler zu finden. Sie berichtet zurück: „Diese Anweisung hat gut funktioniert“ oder „Diese hat versagt“.
Die Schleife: Der Generator nutzt dieses Feedback, um bessere Anweisungen zu schreiben, und der Tester überprüft diese erneut. Da es sich um unterschiedliche Modelle handelt, kann der „Architekt“ den „Tester“ nicht dazu bringen, eine schlechte Idee für gut zu halten. Dies schafft einen Zyklus ständiger Verbesserung, bis die Anweisungen perfekt sind.

Die Ergebnisse

Die Autoren haben dieses System an einem massiven Datensatz realer Code-Schwachstellen (genannt PrimeVul) getestet.

Die Punktzahl: MulVul erreichte einen Wert von 34,79 %, was 41,5 % besser ist als die bisher beste Methode.
Warum es wichtig ist: Es fand mehr echte Fehler und löste weniger Fehlalarme aus als alles andere, was getestet wurde.
Der „Evolution“-Boost: Der Teil, in dem die beiden KIs die Anweisungen gemeinsam verbesserten, machte das System 51,6 % besser, als wenn Menschen die Anweisungen manuell geschrieben hätten.

Zusammenfassung

Mul $\text{Vul}$ ist wie eine High-Tech-Sicherheitsfirma, die sich nicht auf einen einzigen überarbeiteten Wachmann verlässt. Stattdessen nutzt sie einen klugen Verkehrspolizisten, der die Verdächtigen an den richtigen Forensik-Experten weiterleitet, und diese Experten nutzen eine Bibliothek vergangener Fälle, um das Rätsel zu lösen. Um sicherzustellen, dass die Experten genau wissen, was zu tun ist, nutzt die Firma zwei verschiedene KI-Gehirne, um ihre Regelbücher ständig neu zu schreiben und zu perfektionieren, damit sie die gefährlichsten Bugs mit hoher Genauigkeit erfassen.

Technisches Resümee: MulVul

Problemdefinition

Die Arbeit adressiert zwei kritische Einschränkungen bei der Automatisierung der Erkennung von Code-Schwachstellen mittels Large Language Models (LLMs):

Heterogenität von Schwachstellenmustern: Verschiedene Schwachstellentypen (z. B. Pufferüberläufe vs. Injection-Angriffe) erfordern unterschiedliche Denkfähigkeiten. Ein einziges vereinheitlichtes Modell hat Schwierigkeiten, diese vielfältigen, typspezifischen Muster innerhalb eines gemeinsamen latenten Raums zu erfassen, was zu übersehenen Schwachstellen oder hohen Fehlalarmraten führt.
Skalierbarkeit des Prompt Engineerings: Reale Systeme umfassen hunderte Einträge der Common Weakness Enumeration (CWE). Das manuelle Entwerfen einzigartiger Prompts für spezialisierte Agenten über eine so große Anzahl von Kategorien hinweg ist nicht praktikabel. Zudem führt das Vertrauen auf ein einzelnes Modell sowohl für die Prompt-Generierung als auch für die Evaluierung zu einem Self-Correction-Bias, während Multi-Agenten-Systeme das Risiko verstärken können, Halluzinationen zu produzieren, wenn sie nicht ordnungsgemäß fundiert sind.

Bestehende Methoden verlassen sich oft auf feste Prompts ohne externe Fundierung oder versuchen, alle Schwachstellentypen gleichzeitig mit einem einzigen Modell zu erkennen, wodurch sie die Balance zwischen Recheneffizienz und breiter Abdeckung verfehlen.

Methodik: Mul-Vul-Framework

MulVul ist ein retrieval-augmentiertes Multi-Agenten-Framework, das auf präzise und breit abdeckende Schwachstellenerkennung ausgelegt ist. Es arbeitet durch eine Coarse-to-Fine-Strategie (von grob nach fein) und verwendet Cross-Model Prompt Evolution.

1. Architektur: Router-Detector

Das System nutzt eine hierarchische Architektur, die an der CWE-Taxonomie ausgerichtet ist:

Router-Agent: Fungiert als Dispatcher. Er sagt zuerst die Top- $k$ grobkörnigen Schwachstellenkategorien voraus (z. B. „Memory Buffer Errors“). Er verwendet ein Global Retrieval Tool, um eine Wissensdatenbank nach evidenzbasierten Informationen über Kategorien hinweg abzufragen, um sicherzustellen, dass die korrekte Kategorie nicht vorzeitig herausgefiltert wird.
Detector-Agenten: Spezialisierte Agenten werden nur für die vom Router ausgewählten Kategorien aufgerufen. Jeder Detector führt eine feinkörnige Identifizierung spezifischer Schwachstellentypen durch (z. B. „CWE-119 Buffer Overflow“).
- Isolation: Detectors arbeiten isoliert ohne Kommunikation zwischen den Agenten, um Fehlerkaskaden zu verhindern.
- Kontrastive Suche (Contrastive Retrieval): Jeder Detector verwendet ein spezialisiertes Tool, um Evidenz aus drei Pools abzurufen: In-Kategorie-Positive, saubere Beispiele und Out-of-Kategorie „Hard Negatives“. Dieser kontrastive Ansatz hilft dabei, subtile Sicherheitsmängel zu unterscheiden.

2. Wissensdatenbank (SCALE)

Das Framework stützt sich auf eine Wissensdatenbank für Schwachstellen, die mittels SCALE (Structured Code Representation) konstruiert wurde. SCALE konvertiert Code-Snippets in strukturierte Kommentar-Bäume (natürliche Sprachkommentare, die an AST-Knoten mit Kontrollfluss-Kodierung angehängt sind). Diese Repräsentationen werden eingebettet (unter Verwendung von UniXcoder) und für eine effiziente Nearest-Neighbor-Suche indiziert.

3. Cross-Model Prompt Evolution

Um das Skalierbarkeitsproblem des manuellen Prompt Engineerings zu lösen, führt MulVul einen neuartigen Optimierungsmechanismus ein, der die Prompt-Generierung von der Evaluierung entkoppelt:

Generator LLM ( $M_{evo}$ ): (z. B. Claude) schlägt iterativ Kandidaten-Prompts vor und mutiert diese.
Executor LLM ( $M_{exec}$ ): (z. B. GPT-4o) führt die Agenten mit diesen Prompts aus und liefert Leistungsfeedback (Recall@k für den Router; F1 für die Detectors).
Prozess: Diese Trennung mildert den inhärenten Self-Correction-Bias einer einzelnen Modelloptimierung ab. Der Router-Prompt wird auf Recall optimiert (um sicherzustellen, dass die korrekte Kategorie in den Top- $k$ enthalten ist), während die Detector-Prompts auf das Präzisions-Recall-Gleichgewicht (F1-Score) optimiert werden.

Kernbeiträge

MulVul-Framework: Ein neuartiges retrieval-augmentiertes Multi-Agenten-System, das durch das Routing von Eingaben an spezialisierte Experten nur bei Bedarf ein Gleichgewicht zwischen Recheneffizienz und Erkennungsabdeckung herstellt.
Cross-Model Prompt Evolution: Ein Mechanismus, der Prompts für spezialisierte Agenten automatisch optimiert, indem er die Generierung und Ausführung über verschiedene LLMs trennt, wodurch das Skalierbarkeitsproblem des manuellen Engineerings effektiv gelöst und der Bias reduziert wird.
State-of-the-Art Performance: Umfassende Experimente, die signifikante Verbesserungen gegenüber bestehenden Baselines in der Multi-Class-Schwachstellenerkennung zeigen.

Experimentelle Ergebnisse

Das Framework wurde auf dem PrimeVul Benchmark evaluiert, der 6.968 vulnerable und 229.764 benigne C/C++ Funktionen über 130 CWE-Typen umfasst.

Gesamtleistung: MulVul erreichte ein Macro-F1 von 34,79 % auf Typ-Ebene und übertraf damit die beste Baseline (LLM×CPG) um 10,21 Prozentpunkte (eine relative Verbesserung von 41,5 %).
Präzisions-Recall-Trade-off: Das System erreichte eine Macro-Precision von 27,90 % und einen Macro-Recall von 46,19 %, was ein überlegenes Gleichgewicht im Vergleich zu Baselines demonstriert, die oft das eine oder andere opfern.
Ablationsstudien:
- Retrieval: Das Entfernen des Retrievals verursachte den größten Leistungseinbruch (F1 fiel von 34,56 % auf 21,80 %), was die Notwendigkeit bestätigt, das Reasoning mit Evidenz zu fundieren.
- Prompt Evolution: Das Ersetzen der evolvierten Prompts durch manuelle Templates reduzierte die Leistung um 11,76 %, was die Effektivität der Cross-Model-Evolution-Strategie validiert.
- Multi-Agent: Das Entfernen der Agenten-Architektur (Verwendung eines einzelnen Modells) führte zu einem Rückgang um 5,95 %.
Few-Shot-Leistung: MulVul zeigte eine robuste Leistung bei seltenen CWE-Typen (weniger als 100 Samples) und erreichte ~48 % F1 im Vergleich zu ~25 % der besten Baseline. Dies unterstreicht die Fähigkeit des Systems, Wissen über verwandte Schwachstellenmuster hinweg zu transferieren.
Routing-Parameter ( $k$ ): Der optimale Routing-Parameter wurde mit $k=3$ ermittelt, wobei das Macro-F1 bei 34,79 % seinen Höhepunkt erreichte.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass MulVul einen neuen Stand der Technik für die Multi-Class-Schwachstellenerkennung darstellt. Die Bedeutung liegt in:

Adressierung der Heterogenität: Durch die Zerlegung der Aufgabe in grobes Routing und feingranulare Detektion überwindet es die Grenzen vereinheitlichter Modelle bei der Handhabung diverser Schwachstellenmuster.
Skalierbarkeit: Der Mechanismus der Cross-Model Prompt Evolution automatisiert die Erstellung spezialisierter Anweisungen für hunderte Kategorien, was eine breite Abdeckung ohne manuelles Engineering ermöglicht.
Robustheit: Die Kombination aus Retrieval-Augmented Generation und isolierter Agenten-Operation mildert effektiv Halluzinationen und Fehlerverstärkungen ab, die häufige Fallstricke in Multi-Agenten-LLM-Systemen sind.

Die Autoren räumen Einschränkungen ein, darunter die Beschränkung der Evaluierung auf C/C++ Code, die Rechenkosten mehrerer LLM-API-Aufrufe und die Notwendigkeit einer weiteren Evaluierung der Prompt-Transferierbarkeit auf andere LLM-Backbones. Sie weisen zudem auf das potenzielle Dual-Use-Risiko automatisierter Werkzeuge zur Erkennung von Schwachstellen hin.