🤖 AI

MultiVer: Zero-Shot Multi-Agent Vulnerability Detection

Die Studie stellt MultiVer vor, ein zero-shot Multi-Agenten-System, das durch einen Ensemble-Ansatz mit vier spezialisierten Agenten und einer Union-Voting-Strategie die Recall-Leistung von feinabgestimmten Modellen bei der Schwachstellenerkennung übertrifft und dabei zeigt, dass für sicherheitskritische Anwendungen, bei denen falsch-negative Ergebnisse schwerwiegender sind, ein solcher Ansatz ohne Feinabstimmung ausreicht.

Ursprüngliche Autoren: Shreshth Rajan

Veröffentlicht 2026-02-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Shreshth Rajan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die unsichtbaren Löcher im Zaun

Stell dir vor, du hast einen riesigen, komplexen Zaun um dein Haus gebaut (das ist dein Computerprogramm). Du willst sicherstellen, dass niemand durch ein Loch klettern kann.

Bisher gab es zwei Arten, diesen Zaun zu prüfen:

Die starren Regeln (Alte Werkzeuge): Diese prüfen nur, ob ein Brett fehlt. Sie sind sehr genau, wenn sie etwas finden, aber sie übersehen 90 % der echten Löcher, weil sie nicht kreativ genug sind.
Der gut ausgebildete Wachhund (Künstliche Intelligenz mit Training): Dieser Hund wurde mit vielen Fotos von Löchern trainiert. Er findet sehr viele, aber man muss ihm erst diese Fotos zeigen (das kostet Zeit und Geld). Ohne Training ist er etwas schlauer als die Regeln, aber immer noch nicht perfekt.

Die Forscher von MultiVer haben sich gefragt: „Was wäre, wenn wir nicht einen super-trainierten Hund nehmen, sondern ein ganzes Team von vier verschiedenen Experten, die den Zaun gleichzeitig aus verschiedenen Blickwinkeln prüfen?"

Die Lösung: Das Vier-Personen-Team

Stell dir MultiVer nicht als einen einzelnen Roboter vor, sondern als ein Team aus vier Spezialisten, die alle gleichzeitig an deinem Code arbeiten. Jeder schaut sich etwas anderes an:

Der Sicherheits-Experte: Der klassische Wachhund. Er sucht nach bekannten Diebstählen (z. B. „Jemand versucht, eine fremde Tür aufzubrechen").
Der Logik-Experte: Er schaut nicht auf Diebstahl, sondern darauf, ob die Mechanik funktioniert. „Wenn dieser Hebel gezogen wird, stürzt das ganze Haus ein, weil das Fundament nicht stimmt."
Der Performance-Experte: Er fragt: „Ist das effizient? Läuft das Haus so langsam, dass es zusammenbricht?"
Der Stil-Experte: Er achtet auf Sauberkeit. „Ist der Zaun ordentlich gebaut? Sieht es verworren aus?"

Die Magie: Jeder dieser Experten hat seine eigene Art zu denken. Manchmal findet der Logik-Experte ein Loch, das der Sicherheits-Experte völlig übersehen hätte, weil es technisch gesehen „sicher" aussieht, aber logisch falsch ist.

Die Strategie: „Besser zu viel als zu wenig"

Normalerweise wollen wir bei Sicherheitschecks, dass wir uns nicht täuschen lassen. Wenn der Wachhund bellt, soll es wirklich ein Dieb sein.

MultiVer macht aber etwas Mutiges: Sie nutzen eine „Union-Abstimmung" (Einigkeit durch Vielfalt).
Das bedeutet: Wenn jeder der vier Experten auch nur einen kleinen Zweifel hat („Hey, da könnte was faul sein"), dann wird der Code als unsicher markiert.

Die Analogie: Stell dir vor, du hast vier Freunde, die einen verdächtigen Koffer prüfen.
- Freund A sagt: „Der Koffer sieht komisch aus."
- Freund B sagt: „Der Koffer riecht seltsam."
- Freund C sagt: „Der Koffer ist zu schwer."
- Freund D sagt: „Der Koffer ist zu leicht."
- MultiVer sagt: „Okay, einer von euch hat etwas bemerkt? Dann öffnen wir den Koffer sofort und prüfen ihn!"

Das führt dazu, dass sie fast nichts übersehen (sehr hohe „Erinnerungsrate" oder Recall). Sie finden mehr Löcher als jeder einzelne Wachhund, der extra dafür trainiert wurde.

Der Preis: Viele falsche Alarme

Das Problem bei dieser Methode ist, dass sie sehr viele falsche Alarme schlägt.

Das Szenario: Der Logik-Experte schreit „Achtung!", weil ein Hebel komisch aussieht. Aber eigentlich ist alles in Ordnung.
Das Ergebnis: MultiVer findet mehr echte Löcher als die trainierten Systeme, aber sie schreien auch viel öfter „Feuer!", wenn nur ein Streichholz angezündet wurde.

In der IT-Sicherheit ist das aber oft in Ordnung.

Ein verpasstes Loch (Falsch-Negativ): Ein Hacker kommt rein, und dein Haus wird geplündert. Das ist katastrophal.
Ein falscher Alarm (Falsch-Positiv): Du musst den Koffer nochmal öffnen und prüfen. Das kostet nur ein bisschen Zeit und Nerven.

MultiVer sagt also: „Lieber 100 Mal unnötig prüfen, als ein einziges Mal einen Dieb durchlassen."

Was haben sie herausgefunden?

Kein Training nötig: Dieses Team aus vier Experten muss nicht erst mit tausenden Fotos von Löchern trainiert werden. Es funktioniert sofort (Zero-Shot), weil die vier einfach gut zusammenarbeiten.
Sie sind besser als die Trainierten: Auf dem Test „PyVul" haben sie 82,7 % aller Löcher gefunden. Der beste trainierte Wachhund (GPT-3.5) fand nur 81,3 %. Das ist das erste Mal, dass ein untrainiertes System ein trainiertes schlägt!
Der Trade-off: Sie finden mehr, sind aber „lauter". Ihre Genauigkeit (wie oft sie wirklich recht haben) ist niedriger, aber für Sicherheitsprüfungen vor dem Start eines Programms ist das genau das Richtige.

Fazit

MultiVer ist wie ein Riesenteam aus vier verschiedenen Detektiven, die einen Fall gemeinsam lösen. Sie sind so gut darin, irgendein Problem zu finden, dass sie sogar besser sind als ein einzelner Detektiv, der jahrelang dafür studiert hat. Ja, sie machen öfter Fehler und schreien bei harmlosen Dingen auf, aber wenn es um die Sicherheit deines Hauses geht, ist es besser, auf Nummer sicher zu gehen und alles zu überprüfen, als etwas zu übersehen.

Kurz gesagt: Ein Team aus vier Generalisten, die zusammenarbeiten, ist manchmal besser als ein einzelner Spezialist – besonders wenn das Risiko eines Überfalls zu groß ist, um es zu riskieren.

1. Problemstellung

Die Erkennung von Software-Sicherheitslücken (Vulnerabilities) steht vor einem fundamentalen Dilemma:

Statische Analyse-Tools (z. B. CodeQL, Bandit) erreichen eine hohe Präzision, aber eine sehr geringe Trefferquote (Recall). Auf dem Benchmark PyVul erreichen sie nur 5,3 % bis 10,8 % Recall.
Large Language Models (LLMs) verbessern den Recall erheblich, benötigen jedoch oft Fine-Tuning mit gelabelten Daten, was teuer und aufwendig ist. Ein zero-shot GPT-3.5 erreicht 61,1 % Recall, während ein feinabgestimmtes (fine-tuned) Modell 81,3 % erreicht.
Die Lücke: Es besteht eine signifikante Kluft von ca. 20 Prozentpunkten zwischen zero-shot und fine-tuned Leistung. Das Ziel der Arbeit ist es, diese Lücke zu schließen, ohne Trainingsdaten zu verwenden, indem ein Multi-Agenten-Ansatz genutzt wird, der Sicherheitslücken über mehrere Dimensionen hinweg analysiert.

2. Methodik: MultiVer-Architektur

Das vorgestellte System MultiVer ist ein Zero-Shot Multi-Agenten-Ensemble, das Code parallel durch vier spezialisierte Agenten analysiert. Die Architektur basiert auf der Hypothese, dass Sicherheitslücken in verschiedenen Dimensionen (Sicherheit, Korrektheit, Performance, Stil) auftreten und eine Union-Abstimmung (Union Voting) mehr Lücken findet als eine einzelne Analyse.

A. Die vier Agenten

Jeder Agent hat ein spezifisches Gewicht und analysiert eine andere Dimension:

Security-Agent (Gewicht 0,45): Führt musterbasierte Suche (CWE-mapped) und RAG-augmentierte LLM-Analyse durch.
Correctness-Agent (Gewicht 0,35): Erkennt Bugs durch AST-Analyse (Abstract Syntax Tree) von Exception-Handling und Eingabevalidierung.
Performance-Agent (Gewicht 0,15): Identifiziert algorithmische Ineffizienzen.
Style-Agent (Gewicht 0,05): Bewertet Code-Qualität.

B. Drei-Ebenen-Analysepipeline

Jeder Agent durchläuft eine optimierte Pipeline:

Tier 1 (Deterministisch): Mustererkennung gegen bekannte CVE-Signaturen (z. B. SQL-Injection). Sehr schnell (<50 ms), deckt ca. 53 % der Sicherheitslücken ab.
Tier 2 (Retrieval): Bei Unsicherheit werden $k=5$ ähnliche Beispiele und 3 relevante Spezifikationen aus einer Wissensdatenbank (CVEFixes, BugsInPy) mittels FAISS abgerufen.
Tier 3 (LLM-Analyse): Ein leistungsstarkes LLM (Claude Opus 4.5) analysiert die Ergebnisse der vorherigen Stufen und liefert ein strukturiertes Urteil (PASS/WARNING/FAIL) mit Begründung.

C. Ensemble-Voting und Selbstkonsistenz

Union Voting: Ein Code wird als verwundbar markiert, wenn jeder Agent (insbesondere Security oder Correctness) eine Warnung ausgibt. Dies maximiert den Recall, senkt aber die Präzision.
Weighted Voting: Eine gewichtete Summe der Urteile, die einen Kompromiss zwischen Recall und Präzision sucht.
Self-Consistency: Um die Varianz zu reduzieren, werden beim Security-Agenten mehrere LLM-Aufrufe mit unterschiedlichen Temperaturen durchgeführt und das Mehrheitsvotum gebildet.

3. Schlüsselbeiträge

Übertrumpfung von Fine-Tuning: MultiVer ist das erste Zero-Shot-System, das auf dem PyVul-Benchmark die Recall-Leistung von feinabgestimmten Modellen (Fine-Tuned GPT-3.5) übertrifft (82,7 % vs. 81,3 %).
Multi-Dimensionale Analyse: Die Abdeckungsanalyse zeigt, dass das Ensemble allein durch die Kombination der Agenten eine Steigerung von 17 Prozentpunkten im Recall gegenüber einer reinen Sicherheitsanalyse erzielt. Der Correctness-Agent allein trägt 11 Prozentpunkte bei.
Charakterisierung des Trade-offs: Das System demonstriert bewusst, dass für Sicherheitsanwendungen ein höherer Recall (auch auf Kosten der Präzision) vorzuziehen ist, da False Negatives (übersehene Lücken) teurer sind als False Positives (überflüssige Prüfungen).
RAG-Effekte: Die Studie zeigt einen unerwarteten Trade-off bei der Retrieval-Augmentation (RAG): RAG senkt sowohl False Positives als auch True Positives, da es das Modell an bekannte Muster „ankert".

4. Ergebnisse

Die Evaluation erfolgte auf zwei Benchmarks: PyVul (reale Python-Schwachstellen) und SecurityEval (synthetische Daten).

Metrik	MultiVer (Zero-Shot)	Fine-Tuned GPT-3.5	Zero-Shot GPT-3.5
Recall (PyVul)	82,7 %	81,3 %	61,1 %
Präzision (PyVul)	48,8 %	63,9 %	50,8 %
F1-Score (PyVul)	61,4 %	71,6 %	55,5 %
Detektionsrate (SecurityEval)	91,7 %	N/A	N/A

PyVul: MultiVer erreicht einen Recall von 82,7 % (±0,6 %) und übertrifft damit das feinabgestimmte GPT-3.5 um 1,4 Prozentpunkte.
SecurityEval: Das System erreicht 91,7 % und steht spezialisierten Systemen wie Aardvark (92 %) gleich.
Ablationsstudie: Ohne den Multi-Agenten-Ansatz (nur Security-Agent) sinkt der Recall auf 65,7 %. Das Entfernen von RAG erhöht den Recall sogar auf 92,0 %, aber die False-Positive-Rate (FPR) steigt drastisch auf 94,1 %.

5. Bedeutung und Fazit

Die Arbeit zeigt, dass für Sicherheitsanwendungen, bei denen das Übersehen einer Schwachstelle (False Negative) katastrophale Folgen hat, Zero-Shot Multi-Agenten-Ensembles eine überlegene Alternative zu Fine-Tuning darstellen können.

Design-Philosophie: MultiVer priorisiert bewusst den Recall über die Präzision. Mit einer Präzision von 48,8 % und einer FPR von 85 % erzeugt das System viele False Positives. Dies ist jedoch im Kontext von Pre-Deployment-Audits akzeptabel, da manuelle Überprüfung kostengünstiger ist als ein Sicherheitsvorfall.
Herausforderungen: Die hohe FPR resultiert daraus, dass das Modell oft nicht zwischen verwundbarem Code und dessen gepatchter Version unterscheiden kann, wenn sich der Code nur minimal unterscheidet.
Zukunftsausblick: Um die Präzision zu erhöhen, ohne den Recall zu opfern, schlagen die Autoren kontrastives Training (verwundbar vs. gepatcht) oder wissensbasiertes RAG (statt code-basiert) vor.

Zusammenfassend beweist MultiVer, dass durch intelligente Ensemble-Methoden und die Ausnutzung komplementärer Analyse-Dimensionen die Notwendigkeit von gelabelten Trainingsdaten für hochperformante Schwachstellenerkennung umgangen werden kann.