EVMbench: Evaluating AI Agents on Smart Contract Security

Die Arbeit stellt EVMbench vor, einen Evaluierungsrahmen, der die Fähigkeit fortschrittlicher KI-Agenten misst, Schwachstellen in Smart Contracts zu erkennen, zu beheben und auszunutzen, wobei festgestellt wird, dass diese Agenten in der Lage sind, Angriffe auf live Blockchain-Instanzen erfolgreich durchzuführen.

Das Wesentliche

🛡️ EVMbench: Der große Sicherheits-Check für KI-Agenten

Stell dir vor, die Blockchain ist wie eine riesige, öffentliche Bank, die auf einem riesigen, unveränderlichen Felsen steht. In dieser Bank liegen Billionen von Dollar in digitalen Tresoren (Smart Contracts). Das Tolle daran: Niemand kann den Tresor von außen öffnen oder den Inhalt ändern, sobald er verschlossen ist. Das ist super sicher, aber auch gefährlich: Wenn jemand einen kleinen Riss im Tresor findet, kann er das ganze Geld stehlen, und es gibt keinen Weg, es zurückzuholen.

Jetzt kommen die KI-Agenten (künstliche Intelligenzen) ins Spiel. Diese sind wie extrem cleere, digitale Handwerker, die lernen können, Code zu lesen, zu schreiben und sogar zu reparieren.

Die Frage, die sich die Forscher von OpenAI, Paradigm und OtterSec stellten, war:

„Sind diese KI-Handwerker schon so gut, dass sie die Tresore der Bank sicher machen können? Oder sind sie vielleicht so clever, dass sie die Tresore selbst knacken und das Geld stehlen könnten?"

Um das herauszufinden, haben sie EVMbench gebaut. Das ist wie ein riesiger, digitaler Prüfstand oder ein „Spaß-Parcours" für KI.

🎮 Der Prüfstand: Drei verschiedene Spiele

Der Prüfstand besteht aus drei verschiedenen Herausforderungen, die unterschiedliche Fähigkeiten testen:

1. Detektiv (Detect) – „Finde den Riss!"

• Die Aufgabe: Die KI bekommt einen Stapel Baupläne (den Code eines Smart Contracts) und muss als Sicherheitsinspektor alle versteckten Risse finden.
• Die Metapher: Stell dir vor, du bist ein Hausinspektor. Du musst das Haus durchgehen und sagen: „Hier ist ein loses Geländer, dort ist ein undichtes Dach."
• Das Ziel: Je mehr Risse die KI findet, desto besser. Aber sie muss alle finden, nicht nur einen.

2. Handwerker (Patch) – „Repariere den Riss!"

• Die Aufgabe: Die KI bekommt denselben Bauplan, aber diesmal muss sie den Code so ändern, dass die Risse verschwinden, ohne dass das Haus zusammenfällt.
• Die Metapher: Du bist jetzt der Zimmermann. Du musst das lose Geländer festmachen und das Dach flicken. Aber Vorsicht: Du darfst nicht die Tür verstellen, durch die die Bewohner sonst hereinkommen.
• Das Ziel: Der Code muss funktionieren, und die Risse müssen weg sein.

3. Einbrecher (Exploit) – „Knack den Tresor!"

• Die Aufgabe: Das ist der spannendste und gefährlichste Teil. Die KI bekommt einen echten Schlüssel (einen digitalen Geldbeutel) und muss versuchen, das Geld aus dem Tresor zu stehlen.
• Die Metapher: Stell dir vor, du bist ein professioneller Dieb in einem Videospiel. Du musst herausfinden, wie du durch das offene Fenster kletterst, den Alarm umgehst und das Geld in deine Tasche steckst – und zwar so, dass das Spiel dir am Ende sagt: „Ja, du hast gewonnen, das Geld ist jetzt dein."
• Das Ziel: Wenn die KI es schafft, das Geld zu stehlen, bedeutet das, dass sie die Schwachstelle wirklich verstanden hat.

🤖 Was haben die Forscher herausgefunden?

Die Forscher haben verschiedene der besten KIs der Welt (wie GPT-5, Claude, Gemini) auf diesen Prüfstand gestellt. Hier sind die Ergebnisse, einfach erklärt:

1. Sie können schon viel: Die KIs sind überraschend gut darin, Fehler zu finden und zu reparieren. Sie sind wie sehr schnelle, aber manchmal etwas chaotische Praktikanten.
2. Sie können auch gefährlich sein: Das ist der beunruhigende Teil. Die KIs waren in der Lage, echte, komplexe Diebstähle durchzuführen. Sie haben nicht nur theoretisch gewusst, wie man hackt, sondern es in einer simulierten echten Bankumgebung tatsächlich getan.
3. Das Problem ist die Vollständigkeit: Die KIs finden oft einen großen Fehler, übersehen aber einen zweiten, kleineren daneben. Es ist, als würde ein Detektiv einen Einbruch aufdecken, aber vergessen, dass die Hintertür auch offen steht.
4. Hilfe macht sie stärker: Wenn man den KIs kleine Hinweise gibt (z. B. „Schau mal in diese Datei"), werden sie extrem gut. Das zeigt: Sie wissen oft, wie man etwas repariert, aber sie haben Schwierigkeiten, in riesigen Code-Bergen das richtige Problem zu finden.

💡 Warum ist das wichtig?

Stell dir vor, KI-Agenten werden in Zukunft unsere digitale Wirtschaft verwalten.

• Gute Nachricht: Wenn wir sie richtig trainieren, können sie als Super-Inspektoren arbeiten und Milliarden von Dollar vor Dieben schützen, bevor diese überhaupt zuschlagen.
• Schlechte Nachricht: Wenn wir sie nicht überwachen, könnten sie die Werkzeuge in die falschen Hände geraten lassen. Ein KI-Agent, der lernt, wie man einen Smart Contract knackt, könnte theoretisch das Geld von Millionen Menschen stehlen, ohne dass jemand merkt, wie er es gemacht hat.

🏁 Fazit

EVMbench ist wie ein großer, fairer Wettkampf, der uns zeigt, wie stark unsere digitalen Wächter (und potenziellen Diebe) wirklich sind. Die KIs werden immer besser, aber sie sind noch nicht perfekt. Wir müssen sie weiter beobachten und testen, damit sie uns helfen, die digitale Welt sicher zu machen, statt sie zu gefährden.

Kurz gesagt: Die KIs sind jetzt schon starke Hacker, aber wir müssen sicherstellen, dass sie auf unserer Seite stehen.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „EVMbench: Evaluating AI Agents on Smart Contract Security" auf Deutsch:

1. Problemstellung

Smart Contracts auf öffentlichen Blockchains verwalten mittlerweile Vermögenswerte im Wert von hunderten Milliarden Dollar. Da diese Systeme unveränderlich (immutable) und deterministisch ausgeführt werden, können Sicherheitslücken zu sofortigen und irreversiblen finanziellen Verlusten führen.
Mit der zunehmenden Fähigkeit von KI-Agenten, Code zu lesen, zu schreiben und auszuführen, entsteht ein neues Risiko: Ausreichend leistungsfähige KI-Systeme könnten nicht nur Sicherheitslücken entdecken, sondern diese auch aktiv ausnutzen, um sich finanzielle Ressourcen anzueignen. Bisherige Evaluierungen konzentrierten sich entweder auf traditionelle Cybersecurity-Schwachstellen oder auf stark vereinfachte Umgebungen, die den gesamten Zyklus von der Entdeckung über die Behebung bis hin zur Ausnutzung realer Schwachstellen in produktiven Umgebungen nicht abdecken. Es fehlte an einem Benchmark, der die Fähigkeiten von KI-Agenten in einer realistischen, wirtschaftlich relevanten Umgebung unter realen Bedingungen misst.

2. Methodik: EVMbench

Die Autoren stellen EVMbench vor, ein Evaluierungsframework, das die Fähigkeit von KI-Agenten misst, Schwachstellen in Smart Contracts zu entdecken (Detect), zu patchen (Patch) und auszunutzen (Exploit).

Datensatz und Aufgaben:

• Der Benchmark basiert auf 117 kuratierten Schwachstellen aus 40 verschiedenen Audit-Repositories (hauptsächlich von Code4rena) und dem Tempo-Blockchain-Projekt.
• Die Schwachstellen sind von hoher Schwere (High Severity) und führen potenziell zum Verlust von Benutzer- oder Plattformvermögen.
• Die Aufgaben umfassen reale Solidity-Codebasen mit Test-Suites und Audit-Berichten.

Drei Evaluierungsmodi:

1. Detect (Entdeckung): Der Agent erstellt einen Audit-Bericht. Die Bewertung erfolgt durch einen modellbasierten „Judge", der prüft, ob der Agent die Ground-Truth-Schwachstellen korrekt identifiziert hat. Die Bewertung orientiert sich auch an historischen Audit-Auszahlungen.
2. Patch (Behebung): Der Agent muss den Code so ändern, dass die Schwachstellen behoben sind, ohne die Funktionalität zu zerstören. Die Bewertung prüft, ob bestehende Tests weiterhin bestehen und ob spezifische Exploit-Tests nach dem Patch fehlschlagen.
3. Exploit (Ausnutzung): Dies ist der realistischste Modus. Der Agent erhält Zugriff auf eine lokale Ethereum-Instanz (via RPC), einen finanzierten Wallet-Schlüssel und muss einen End-to-End-Exploit durchführen. Die Bewertung erfolgt durch Replay der Transaktionen in einer isolierten Umgebung und Überprüfung der On-Chain-Statusänderungen (z. B. Guthabensänderungen).

Infrastruktur und Sicherheit:

• Die Ausführung erfolgt in isolierten Docker-Containern (Ubuntu 24.04).
• Für den Exploit-Modus wurde ein Rust-basiertes Re-Executions-Framework entwickelt, das Transaktionen auf einer lokalen Anvil-Chain (Ethereum-Knoten) replayt.
• Um Cheating zu verhindern, wird ein Proxy-Service („veto") verwendet, der verbotene RPC-Methoden (wie anvil_setBalance) blockiert und sicherstellt, dass der Agent nur über standardmäßige Ethereum-Schnittstellen interagiert.

3. Wichtige Beiträge

• EVMbench Framework: Ein umfassender Benchmark, der erstmals die drei Phasen (Entdeckung, Behebung, Ausnutzung) von Smart-Contract-Sicherheit in einer einzigen, programmatisch bewertbaren Umgebung vereint.
• Realistische Exploit-Bewertung: Im Gegensatz zu früheren Arbeiten, die oft nur statische Analysen oder simulierte Umgebungen nutzten, bewertet EVMbench das tatsächliche Verhalten des Agents auf einer Blockchain-Instanz, wobei der Erfolg durch On-Chain-Ereignisse und Guthabenänderungen gemessen wird.
• Datensatz und Tooling: Die Veröffentlichung eines kuratierten Datensatzes mit 117 Schwachstellen, Oracle-Patches, Exploit-Skripten und dem gesamten Evaluierungs-Harness als Open Source.
• Umfassende Evaluierung: Die Analyse von Frontier-Modellen (OpenAI, Anthropic, Google) unter verschiedenen Bedingungen (Reasoning-Level, Hinweise/Hints).

4. Ergebnisse

Die Studie evaluierte mehrere State-of-the-Art-Modelle (u. a. GPT-5, GPT-5.3-Codex, Claude Opus 4.6, Gemini 3 Pro).

• Leistungsfähigkeit: Die besten Modelle sind bereits in der Lage, Schwachstellen end-to-end zu entdecken und auszunutzen.
  • GPT-5.3-Codex erzielte die höchsten Scores in den Modi Patch (41,7 %) und Exploit (71,0 %).
  • Claude Opus 4.6 führte im Detect-Modus mit 45,9 % an.
• Einfluss von Hinweisen (Hints): Die Leistung verbessert sich drastisch, wenn dem Agenten Hinweise gegeben werden (z. B. welche Dateien zu prüfen sind oder welche Mechanismen fehlerhaft sind). Dies deutet darauf hin, dass die Entdeckung der Schwachstelle in großen Codebasen oft der Engpass ist, nicht das Verständnis der Reparatur oder der Transaktionskonstruktion.
• Token-Effizienz: GPT-5.3-Codex erreichte hohe Scores bei vergleichsweise geringem Token-Verbrauch.
• Qualitative Analyse:
  • Agenten können komplexe Angriffe wie Flash-Loans ausführen, um Gelder zu entwenden (Beispiel: 2024-04-noya H-08 Task).
  • Ein häufiges Versagen liegt in der unvollständigen Abdeckung: Ein Agent findet eine Schwachstelle und nutzt sie aus, übersieht aber andere kritische Lücken im selben Codebase.
  • Bei Exploit-Aufgaben scheitern Agenten oft daran, die korrekten Transaktionssequenzen zu konstruieren oder den Zustand der Chain korrekt zu analysieren, selbst wenn sie die Lücke theoretisch verstehen.

5. Bedeutung und Implikationen

• Sicherheitsrisiko: Die Ergebnisse zeigen, dass KI-Agenten bereits in der Lage sind, reale Smart-Contract-Schwachstellen in produktiven Umgebungen auszunutzen. Dies unterstreicht die Dringlichkeit, defensive KI-Tools zu entwickeln und die Sicherheitsüberwachung von Blockchains zu automatisieren.
• Neue Evaluierungsstandards: EVMbench bietet einen neuen Standard, um den Fortschritt von KI in sicherheitskritischen Domänen zu messen. Es zeigt, dass reine Code-Generierung nicht ausreicht; Agenten müssen auch wirtschaftliche Anreize, Chain-State und komplexe Interaktionen verstehen.
• Defensive Nutzung: Die Fähigkeit von KI, Schwachstellen schnell zu finden und zu patchen, kann genutzt werden, um die Sicherheit von DeFi-Protokollen und Stablecoins massiv zu verbessern, bevor diese live gehen.
• Zukünftige Richtungen: Die Autoren sehen Bedarf in der Erweiterung auf andere Chains (z. B. Solana), Cross-Chain-Protokolle (Bridges) und die Sicherheit von Node-Software (Execution Clients).

Zusammenfassend demonstriert EVMbench, dass KI-Agenten eine reale Bedrohung für die Blockchain-Sicherheit darstellen können, aber gleichzeitig ein mächtiges Werkzeug für deren Verteidigung sind. Die Fähigkeit, Angriffe in einer kontrollierten Umgebung zu simulieren und zu bewerten, ist entscheidend für die Vorbereitung auf zukünftige KI-gestützte Cyberangriffe.