💻 computer science

AutoBaxBuilder: Bootstrapping Code Security Benchmarking

Die Arbeit stellt AutoBaxBuilder vor, eine automatisierte Pipeline, die große Sprachmodelle nutzt, um hochwertige Benchmarks für Codesicherheit schnell und kosteneffizient zu generieren, wodurch der manuelle Aufwand für die Benchmark-Erstellung erheblich reduziert wird und gleichzeitig Probleme der Datenkontamination sowie der Skalierbarkeit angegangen werden.

Ursprüngliche Autoren: Tobias von Arx, Niels Mündler, Mark Vero, Maximilian Baader, Martin Vechev

Veröffentlicht 2026-05-22

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Tobias von Arx, Niels Mündler, Mark Vero, Maximilian Baader, Martin Vechev

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Lehrer, der versucht, eine Klasse sehr fortgeschrittener Schüler (Large Language Models, oder LLMs) zu benoten, die lernen, Computercode zu schreiben. Das Problem ist, dass diese Schüler sehr gut darin werden, Code zu schreiben, der korrekt aussieht, aber versteckte Sicherheitsfallen enthält, wie Hintertüren oder schwache Schlösser, die Hacker ausnutzen könnten.

Um sie zu testen, benötigen Sie eine „Abschlussprüfung" (einen Benchmark), die nicht nur überprüft, ob der Code funktioniert, sondern auch, ob er sicher ist.

Das Problem: Der Engpass der „menschlichen Benotung"
Früher war das Erstellen dieser Sicherheitsprüfungen wie das handwerkliche Basteln eines einzigartigen, komplexen Fluchtraums für jeden einzelnen Schüler. Es erforderte, dass Sicherheitsexperten Stunden damit verbrachten, Szenarien zu entwerfen, Testfragen zu formulieren und spezifische „Hacks" (Exploits) zu entwickeln, um zu sehen, ob der Code versagen würde.

Der Haken: Bis ein Experte eine Prüfung fertiggestellt hatte, hatten die Schüler die Antworten möglicherweise bereits auswendig gelernt (weil die Prüfungsfragen in ihre Trainingsdaten geleakt waren).
Das Ergebnis: Wir waren schneller mit frischen, schwierigen Prüfungen am Ende, als wir sie schreiben konnten, und die Prüfungen, die wir hatten, wurden für die klügsten Schüler zu einfach.

Die Lösung: AUTOBAXBUILDER (Die „selbstreplizierende Prüfungsfabrik")
Die Autoren haben ein neues System namens AUTOBAXBUILDER entwickelt. Stellen Sie sich dies als eine KI-gestützte „Prüfungsfabrik" vor, die ihre eigenen Sicherheitstests von Grund auf neu erstellen kann, ohne dass ein Mensch den Stift halten muss.

So funktioniert die Fabrik, Schritt für Schritt, unter Verwendung einer einfachen Analogie:

1. Der Architekt (Szenariengenerierung)

Zuerst agiert das System wie ein Architekt. Es erhält den Auftrag: „Entwerfen Sie ein neues Szenario für eine Webanwendung, wie einen Ausweisgenerator oder einen Datei-Uploader." Es erfindet eine völlig neue Idee, die noch nie gesehen wurde, und stellt sicher, dass die Schüler nicht durch Auswendiglernen alter Antworten betrügen können.

2. Der Baumeister & Der Inspektor (Funktionale Tests)

Als Nächstes bittet das System einige verschiedene KI-„Baumeister", die Anwendung basierend auf dieser neuen Idee zu konstruieren.

Die Wendung: Das System agiert dann als strenger Inspektor. Es erstellt eine Checkliste (funktionale Tests), um zu sehen, ob das Gebäude standhält.
Die Schleife: Wenn das Gebäude einstürzt, sagt das System zum Baumeister: „Reparieren Sie es!" Wenn die Checkliste zu streng ist (z. B. „Die Tür muss genau 3,00 Zoll breit sein", während die Regeln nur „eine Tür" forderten), erkennt das System, dass die Checkliste falsch ist, und korrigiert sie. Es verfeinert das Gebäude und die Checkliste immer wieder, bis sie perfekt übereinstimmen.

3. Der Hacker (Sicherheits-Exploits)

Dies ist der kritischste Teil. Sobald das Gebäude solide ist, setzt das System eine „Hacker-Mütze" auf.

Es betrachtet das Gebäude und fragt: „Wie könnte ein Einbrecher hereinkommen?"
Es versucht einzubrechen. Wenn es gelingt, notiert es die Methode.
Der entscheidende Check: Um sicherzustellen, dass der „Hacker" nicht nur rät, erstellt das System eine zweite Version des Gebäudes, die sicher ist (verstärkte Türen, Alarmanlagen). Es führt den Trick des Hackers an dem sicheren Gebäude aus.
- Wenn der Trick das sichere Gebäude zerstört, liegt der Hacker falsch (der Trick ist zu allgemein).
- Wenn der Trick das schwache Gebäude zerstört, aber versagt, das sichere zu knacken, ist der Test gültig.
Dieser Prozess wiederholt sich, bis das System einen „Schlüssel" findet, der die schwache Tür öffnet, aber nicht die starke.

Die Ergebnisse: Eine schnellere, günstigere, bessere Prüfung

Die Autoren nutzten diese Fabrik, um AUTOBAXBENCH zu erstellen, eine massive neue Sammlung von 40 Sicherheitsprüfungen (mehr als die Verdopplung der bisher besten Sammlung).

Geschwindigkeit & Kosten: Anstatt dass ein Mensch 3 Stunden benötigt, um eine Prüfung zu erstellen, erledigt die Fabrik dies in weniger als 2 Stunden für weniger als 4 $. Sie reduziert den menschlichen Aufwand um das 12-fache.
Qualität: Als sie die Prüfungen der Fabrik mit den alten, von Menschen erstellten verglichen, waren die Tests der Fabrik genauso gut, aber oft strenger. Sie entdeckten mehr Sicherheitslücken, die die menschlichen Experten übersehen hatten.
Der Realitätscheck: Als sie die intelligentesten KI-Codierungsmodelle der Welt auf diesen neuen Prüfungen testeten, waren die Ergebnisse ernüchternd. Selbst die besten Modelle konnten nur etwa 36 % der Sicherheitstests bestehen. Das bedeutet, dass KI zwar großartig darin ist, Code zu schreiben, der funktioniert, aber immer noch schrecklich darin ist, Code zu schreiben, der sicher ist.

Zusammenfassung
Die Arbeit stellt ein Werkzeug vor, das die Erstellung von Sicherheitstests für KI-Code automatisiert. Es ist wie ein unermüdlicher Sicherheitsbeamter, der neue Labyrinthe erfinden, die Wände bauen und diese dann sofort zu knacken versuchen kann, um sicherzustellen, dass die Wände stark genug sind. Dies ermöglicht es Forschern, KI-Modelle weiterhin mit frischen, schwierigen Herausforderungen zu testen, ohne darauf warten zu müssen, dass Menschen jeden einzelnen Test manuell schreiben.

Technische Zusammenfassung: AUTOBAXBUILDER

Problemstellung

Da Large Language Models (LLMs) zunehmend in die Softwareentwicklung integriert werden, ist die zuverlässige Bewertung der Korrektheit und Sicherheit von von LLMs generiertem Code zu einer kritischen Aufgabe geworden. Vorherige Forschungsergebnisse zeigen, dass LLMs häufig Code mit Sicherheitsanfälligkeiten generieren und dabei oft die Sicherheit zugunsten der funktionalen Korrektheit vernachlässigen. Bestehende Evaluierungsframeworks leiden unter drei Hauptbeschränkungen:

Datenkontamination: Manuell erstellte Benchmarks gelangen unvermeidlich in die Trainingsdaten zukünftiger Modelle, was die Validität der Evaluierung beeinträchtigt.
Skalierbarkeit und Erweiterbarkeit: Die Erstellung neuer Benchmarks erfordert erheblichen menschlichen Aufwand für das Design von Szenarien, das Schreiben funktionaler Tests und die Entwicklung von Sicherheitsausnutzungen, was es schwierig macht, mit der raschen Verbesserung von Modellen Schritt zu halten.
Schwierigkeit der Skalierung: Benchmarks müssen kontinuierlich an Schwierigkeit zunehmen, um leistungsfähigere LLMs herauszufordern, eine Aufgabe, die für menschliche Experten ressourcenintensiv ist.

Aktuelle Benchmarks bewerten Korrektheit und Sicherheit oft auf separaten Aufgaben oder konzentrieren sich nur auf die Generierung auf Funktionsebene, wodurch sie die Komplexitäten ganzer Anwendungs-Backends nicht erfassen. Während der Benchmark BAXBENCH dies durch die Evaluierung von Webanwendungs-Backends von Anfang bis Ende adressierte, beruhte seine Erstellung stark auf manuellem menschlichen Aufwand, was seine Langlebigkeit und Skalierbarkeit begrenzte.

Methodik: AUTOBAXBUILDER

Die Autoren schlagen AUTOBAXBUILDER vor, eine automatisierte, agentenbasierte Pipeline, die die Erstellung von Code-Sicherheits-Benchmarking-Aufgaben von Grund auf neu initialisiert. Das System nutzt die Code-Verständnisfähigkeiten von LLMs in Kombination mit robusten, ausführungsbasierten Zuverlässigkeitsprüfungen, um Szenariospezifikationen, funktionale Tests und End-to-End-Sicherheitsausnutzungen ohne menschliches Eingreifen zu generieren.

Die Pipeline arbeitet in drei iterativen Verfeinerungsschritten, die von einem zentralen LLM (dem „Orchestrator") orchestriert und gegen Referenzlösungen validiert werden, die von „Solution LLMs" generiert wurden:

Szenario-Vorschlag: Der Orchestrator generiert eine neuartige Backend-Service-Spezifikation (im OpenAPI-Format), die darauf ausgelegt ist, eine klare Angriffsfläche offenzulegen. Er gewährleistet die Neuheit durch Abgleich mit bestehenden Szenariotiteln. Solution LLMs generieren daraufhin erste Referenzimplementierungen.
Generierung funktionaler Tests: Der Orchestrator extrahiert funktionale Anforderungen und konstruiert funktionale Tests. Um die Korrektheit sicherzustellen, setzt die Pipeline eine zweiphasige Verfeinerungsschleife ein:
- Verfeinerung der Lösungen: Fehlgeschlagene Referenzlösungen werden basierend auf Ausführungsprotokollen korrigiert, wobei der Orchestrator den Testcode nicht sieht, um Overfitting zu verhindern.
- Verfeinerung der Tests: Der Orchestrator analysiert die Beziehung zwischen Testcode, Lösungscode und Ausführungsprotokollen, um festzustellen, ob ein Fehler auf einen fehlerhaften Test oder eine fehlerhafte Lösung zurückzuführen ist. Er iteriert, bis ein globaler Konsens erreicht ist, und stellt sicher, dass mindestens eine Referenzlösung alle Tests besteht.
Generierung von Sicherheitsausnutzungen: Der Orchestrator identifiziert potenzielle Sicherheitslücken (CWEs) im Szenario und in den Referenzlösungen. Für jede Zielschwachstelle generiert er eine Ausnutzung und validiert sie mittels eines kontrastiven Ansatzes:
- Die Ausnutzung wird auf einer Referenzlösung ausgeführt.
- Wenn das Ergebnis korrekt ist (z. B. eine anfällige Lösung wird als solche gekennzeichnet), generiert der Orchestrator eine „kontrastive" Lösung, indem er entweder die Schwachstelle patcht oder sie einführt, ausschließlich basierend auf der natürlichen Sprachbeschreibung der Schwachstelle (nicht auf der Logik der Ausnutzung).
- Die Ausnutzung wird nur akzeptiert, wenn sie korrekt zwischen der sicheren und der unsicheren Version der Lösung unterscheidet. Dieser Prozess wird iteriert, bis ein präzises Paar aus sicheren/unsicheren Lösungen gefunden ist.

Die Pipeline umfasst Sicherheitsvorkehrungen wie YAML-Verifizierung für OpenAPI-Spezifikationen, Python-Kompilierungsprüfungen für Code und Selbstkritik-Mechanismen zum Umgang mit LLM-Fehlern.

Hauptbeiträge

Automatisierter Benchmark-Bau: Eine robuste Methode zur Erstellung völlig neuer Benchmarks nach den Designprinzipien von BAXBENCH mit minimalem menschlichem Eingriff.
Validierung gegen Experten-Baselines: Der Nachweis, dass die Methode auf denselben Aufgaben von Experten geschriebene funktionale Tests und Ausnutzungen reproduziert oder übertrifft, wodurch die von BAXBENCH berichtete obere Sicherheitsgrenze effektiv verschärft wird.
AUTOBAXBENCH: Die Erstellung und Veröffentlichung eines neuen Benchmarks mit 40 neuartigen Szenarien, aufgeteilt in drei Teilmengen zunehmender Schwierigkeit (Easy, Medium, Hard), die die verfügbaren Backend-Szenarien für Code-Sicherheits-Benchmarking mehr als verdoppelt.

Experimentelle Ergebnisse

Die Autoren bewerteten die Pipeline und den daraus resultierenden AUTOBAXBENCH-Benchmark unter Verwendung einer breiten Palette modernster LLMs (einschließlich GPT-5, Claude 4.5 Sonnet, Gemini 3 Pro und verschiedener Open-Weight-Modelle).

Pipeline-Validierung: Bei Anwendung auf bestehende BAXBENCH-Szenarien zeigten die von AUTOBAXBUILDER generierten Tests und Ausnutzungen eine hohe Übereinstimmung mit menschlich verfassten Versionen. Insbesondere stimmten funktionale Tests bei 80,9 % der Lösungen überein. Die von der Pipeline generierten Sicherheitsausnutzungen markierten mehr Instanzen als unsicher als die ursprünglichen menschlich verfassten Ausnutzungen, was auf die Entdeckung zusätzlicher CWEs und Angriffsvarianten zurückzuführen ist. Eine manuelle Prüfung von 71 generierten Ausnutzungen ergab nur eine unsichere Ausnutzung.
Benchmark-Leistung: Auf AUTOBAXBENCH erreichte selbst das stärkste bewertete Modell (Claude 4.5 Sonnet) nur eine Gesamt-sec_pass@1 (Verhältnis von sicheren und korrekten Lösungen) von 36 %. Beim „Hard"-Split sank dieser Wert auf 25 %. Die Lücke zwischen pass@1 (funktionale Korrektheit) und sec_pass@1 verdeutlicht, dass viele funktional korrekte Implementierungen weiterhin ausnutzbar bleiben.
Effizienz: Die Pipeline generiert neue Aufgaben in unter 2 Stunden bei API-Kosten von weniger als 4 US-Dollar pro Aufgabe. Unter Einbeziehung manueller Verifizierung reduziert dies den menschlichen Aufwand im Vergleich zur manuellen Erstellung um den Faktor 12.
Robustheit: Ablationsstudien unter Verwendung disjunkter Modellsätze für die Erstellung zeigten eine hohe Rangkorrelation (Spearman $\rho > 0,9$ ) in der Modellleistung, was darauf hindeutet, dass der Benchmark nicht gegenüber den zur Generierung verwendeten Modellen verzerrt ist.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass AUTOBAXBUILDER die kritische Herausforderung der Benchmark-Kontamination und Skalierbarkeit bei der Sicherheitsbewertung von LLMs adressiert. Durch die Automatisierung der Generierung unkontaminierter, hochwertiger Benchmarks ermöglicht das Framework eine langfristige, zuverlässige Bewertung der sicheren Codierungsfähigkeiten von LLMs.

Die Autoren betonen, dass ihre Methode eine fundierte obere Sicherheitsgrenze bietet, indem sie ausführungsbasierte Ausnutzungen statt statischer Analysen verwendet, die anfällig für falsch-positive und falsch-negative Ergebnisse sind. Sie behaupten, dass das Framework „zukunftssicher" ist und in der Lage ist, zunehmend schwierige Aufgaben zu generieren, sobald sich die Modellfähigkeiten verbessern, und sich dabei der Komplexität von bereitgestellten Backend-APIs annähert. Die Arbeit kommt zu dem Schluss, dass LLMs zwar Fortschritte bei der funktionalen Codegenerierung gemacht haben, aber eine erhebliche Lücke in ihrer Fähigkeit besteht, zuverlässig sicheren Code zu generieren, eine Lücke, die AUTOBAXBENCH effektiv aufdeckt.