CVE-Factory: Scaling Expert-Level Agentic Tasks for Code Security Vulnerability
Dieser Beitrag stellt CVE-Factory vor, ein Multi-Agenten-Framework, das spärliche CVE-Metadaten automatisch in hochwertige, ausführbare Sicherheitstasks umwandelt, um den LiveCVEBench-Benchmark und einen groß angelegten Trainingsdatensatz zu erstellen und damit die Fähigkeit von Code-Agenten zur Schwachstellenerkennung erheblich zu verbessern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Sicherheitsbeamter, der versucht, einem neuen Roboter beizubringen, wie man kaputte Schlösser an einer Million verschiedener Türen repariert. Das Problem ist, dass die einzigen Anweisungen, die Sie haben, winzige, vage Klebezettel sind, auf denen steht: „Tür 404 ist kaputt", ohne Ihnen zu sagen, wie sie kaputt ist, wie die Tür aussieht oder welche Werkzeuge Sie benötigen, um sie zu reparieren.
Dies ist der aktuelle Stand der KI-Sicherheitsforschung. Wir haben Listen von Schwachstellen (sogenannte CVEs), aber sie sind nur spärliche Datenpunkte. Um KI-Agenten zu trainieren, diese zu beheben, benötigen wir vollständige „Trainingskits": ein funktionierendes Modell der kaputten Tür, einen Test, um zu beweisen, dass sie kaputt ist, und eine verifizierte Lösung.
CVE-Factory ist ein neues System, das wie eine supereffiziente, automatisierte Baubrigade funktioniert. Es nimmt diese winzigen, vagen Klebezettel und baut sofort ein komplettes, funktionierendes Trainingskit für den Roboter.
So funktioniert es, unter Verwendung einfacher Analogien:
1. Das Problem: Der „vage Klebezettel"
Derzeit müssen Sicherheitsexperten diese Trainingskits manuell erstellen. Sie lesen einen Schwachstellenbericht, finden die Software, richten eine gefälschte Computerumgebung ein, brechen sie absichtlich, schreiben einen Test, um den Bruch zu erkennen, und schreiben dann die Reparatur.
- Die Realität: Dies nimmt Experten pro Tür über 10 Stunden in Anspruch. Es ist zu langsam und zu teuer, um dies für Tausende von Türen zu tun.
- Das Ergebnis: KI-Roboter haben nicht genügend Übungsmaterial, sodass sie im Bereich Sicherheit schlecht bleiben.
2. Die Lösung: Das „Fließband" (CVE-Factory)
Die Autoren haben CVE-Factory entwickelt, das wie eine spezialisierte Fabrik mit einem Förderband funktioniert. Anstatt dass eine Person den gesamten Job erledigt, haben sie den Prozess in sechs distincte Stationen unterteilt, die jeweils von einem spezialisierten KI-Agenten betrieben werden.
Stellen Sie es sich wie eine High-Tech-Autoreparaturwerkstatt vor, in der kein einzelner Mechaniker versucht, alles auf einmal zu erledigen:
- Station 1: Der Detektiv (Analyzer)
Die KI liest den vagen Klebezettel und führt eine Websuche durch, um die Baupläne, das spezifische Automodell und das genau defekte Teil zu finden. Sie erstellt eine klare „Aktenmappe". - Station 2: Der Architekt (Generator)
Unter Verwendung der Aktenmappe schreibt diese KI die Anweisungen für den Roboter: „Hier ist die kaputte Tür. Hier ist ein Test, um zu beweisen, dass sie kaputt ist. Hier ist, wie eine perfekte Reparatur aussieht." - Station 3: Der Baumeister (Builder)
Diese KI baut die eigentliche Umgebung auf. Sie richtet den „gefälschten Computer" (unter Verwendung von Docker-Containern) so ein, dass er exakt wie die echte Software aussieht. Entscheidend ist, dass sie dies ohne die Lösung oder den Test zu sehen, baut, damit sie nicht schummelt. Sie baut nur die Szene. - Station 4: Der Inspektor (Validator)
Bevor jemand versucht, es zu reparieren, prüft dieser Agent: „Ist die Tür in diesem gefälschten Raum tatsächlich kaputt? Funktioniert der Test?" Wenn der Raum nicht richtig eingerichtet ist, sendet er ihn zurück zum Baumeister, um ihn zu reparieren. - Station 5: Der Mechaniker (Solver)
Dieser Agent versucht, die Tür unter Verwendung der Anweisungen zu reparieren. Er wendet den Patch an und führt den Test durch. - Station 6: Der Qualitätskontrollchef (Checker)
Der Endboss. Er führt einen vollständigen End-to-End-Check durch. Hat die Reparatur tatsächlich funktioniert? Hat der Roboter versehentlich etwas anderes kaputt gemacht? Ist der Test echt, oder hat der Roboter die Ergebnisse nur gefälscht?
Das Geheimnis: Wenn an einer Station etwas schiefgeht, gibt das System nicht einfach auf. Es verfügt über eine „Rückkopplungsschleife". Wenn der Inspektor sagt: „Die Tür ist nicht kaputt", sendet er die Aufgabe zurück zum Baumeister, um die Tür neu zu bauen, nicht an eine neue Person. Dies stellt sicher, dass das Endprodukt von hoher Qualität ist.
3. Die Ergebnisse: Experten-Niveau-Geschwindigkeit
Das Team testete diese Fabrik gegen menschliche Experten, die bereits 215 dieser Trainingskits erstellt hatten.
- Genauigkeit: Die Kits der Fabrik waren 95 % so gut wie die Kits der menschlichen Experten.
- Geschwindigkeit: Menschen benötigen 5–24 Stunden pro Kit. Die Fabrik benötigt etwa 48 Minuten.
- Skalierbarkeit: Mit 20 gleichzeitig arbeitenden Arbeitern baute die Fabrik alle 215 Kits in unter 5 Stunden. Ein menschliches Team hätte Wochen benötigt.
4. Der neue Spielplatz: LiveCVEBench
Da die Fabrik so schnell ist, hörten die Autoren nicht einfach bei 215 auf. Sie bauten einen neuen, sich ständig aktualisierenden Spielplatz namens LiveCVEBench.
- Es enthält 190 reale Sicherheitstasks.
- Es deckt 14 verschiedene Programmiersprachen ab (nicht nur Python).
- Es umfasst aufkommende Bedrohungen, wie Schwachstellen in KI-Tools selbst.
- Es aktualisiert sich automatisch, sobald neue Schwachstellen entdeckt werden, im Gegensatz zu alten Benchmarks, die in der Zeit eingefroren sind.
5. Den Roboter trainieren
Schließlich nutzten sie die Fabrik, um über 1.000 Trainingstasks zu erstellen, um ein KI-Modell (Qwen3-32B) zu unterrichten.
- Vor dem Training: Die KI konnte nur 5,3 % der Sicherheitstasks lösen.
- Nach dem Training: Sie sprang auf 35,8 % und schlug damit viel größere, teurere Modelle.
- Bonus: Die Fähigkeiten, die sie lernte, waren nicht nur für die Sicherheit; sie wurde auch besser bei allgemeinen Codierungsaufgaben.
Zusammenfassung
CVE-Factory ist ein Multi-Agenten-System, das die Erstellung hochwertiger Sicherheits-Trainingsdaten automatisiert. Es wandelt spärliche, langweilige Schwachstellenberichte in vollständige, interaktive „Escape-Room"-artige Herausforderungen für KI-Agenten um. Es beweist, dass wir durch das Aufteilen einer komplexen Aufgabe in kleinere, spezialisierte Schritte und die Zusammenarbeit von KI-Agenten Trainingsdaten auf einem Niveau und mit einer Geschwindigkeit generieren können, die Menschen einfach nicht erreichen können. Dies ermöglicht es uns, intelligentere, sicherere KI-Agenten schneller als je zuvor zu trainieren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.