Re-Evaluating EVMBench: Are AI Agents Ready for Smart Contract Security?

Diese Studie widerlegt die Annahme, dass KI-Agenten die menschliche Prüfung von Smart Contracts vollständig ersetzen können, indem sie aufzeigen, dass die ursprünglichen EVMbench-Ergebnisse durch Datenkontamination und mangelnde Robustheit verzerrt waren und reale Sicherheitsvorfälle eine menschliche Expertise erfordern.

Das Wesentliche

Titel: Sind die KI-Auditoren wirklich schlau? Eine neue Studie entlarvt den Hype

Stellen Sie sich vor, Smart Contracts (die digitalen Verträge auf der Blockchain) sind wie hochsichere Tresore in einer Bank. Um diese Tresore zu testen, haben Forscher ein riesiges Trainingssystem namens EVMbench entwickelt. Die ursprüngliche Studie von OpenAI und anderen sagte: „Unsere KI-Agenten sind genial! Sie finden fast die Hälfte aller Sicherheitslücken und können 72 % der gefundenen Lücken auch tatsächlich ausnutzen, um Geld zu stehlen."

Das hat die ganze Welt aufgeregt. Die Medien sagten: „Die KI wird bald alle menschlichen Sicherheitsprüfer ersetzen!"

Aber ein Team von Forschern (Peng, Wu und Zhou) hat sich gedacht: „Moment mal, ist das Training vielleicht zu einfach?" Sie haben die Prüfung neu aufgesetzt und kamen zu einem ganz anderen Ergebnis. Hier ist die Geschichte, einfach erklärt:

1. Das Problem: Der „Lehrbuch-Trick"

Das ursprüngliche Training (EVMbench) war wie eine Prüfung, bei der die Schüler die Lösungen schon auswendig gelernt hatten.

• Der Trick: Die KI-Modelle wurden mit alten Prüfungsfragen trainiert, die sie schon in ihren Trainingsdaten gesehen hatten. Es ist, als würde ein Schüler für eine Mathearbeit lernen, indem er die Lösungen der letzten 10 Jahre auswendig lernt. Wenn er dann die gleichen Fragen bekommt, ist er ein Genie. Aber wenn er eine neue Aufgabe bekommt, scheitert er.
• Die neue Prüfung: Die neuen Forscher haben 22 echte, aktuelle Sicherheitskatastrophen genommen, die nach dem Erscheinen der KI-Modelle passiert sind. Die KI hatte diese Fälle noch nie gesehen. Das ist wie eine Prüfung mit völlig neuen Aufgaben, die niemand vorher kannte.

2. Die Ergebnisse: Von „Superheld" zu „Hilfskraft"

Als die KI auf diese neuen, echten Fälle angesetzt wurde, sah das Bild ganz anders aus:

• Die Entdeckung: Die KI fand immer noch viele Fehler (ca. 65 %), aber sie war nicht so stabil wie gedacht. Mal war sie der Beste, mal der Schlechteste, je nachdem, welches Werkzeug sie benutzte.
• Der Diebstahl (Exploitation): Das ist der wichtigste Punkt. In der alten Studie schaffte es die KI, fast 3/4 der gefundenen Lücken auch auszunutzen (Geld zu stehlen). In der neuen, echten Prüfung: 0 %. Keine einzige KI schaffte es, einen echten, komplexen Diebstahl von Anfang bis Ende durchzuführen.
  • Die Metapher: Die KI ist wie ein Detektiv, der sehr gut darin ist, zu sagen: „Hier ist ein offenes Fenster!" (Fehler finden). Aber wenn es darum geht, durch das Fenster zu klettern, die Alarmanlage zu umgehen und den Safe zu knacken (den Fehler ausnutzen), bleibt sie ratlos stehen. Sie weiß, wo das Problem ist, aber sie hat nicht den Mut oder das Geschick, es wirklich zu lösen.

3. Das Werkzeug macht den Meister

Die Studie zeigte auch, dass das „Werkzeug" (das sogenannte Scaffold), mit dem die KI arbeitet, einen riesigen Unterschied macht.

• Es ist wie ein Maler: Ein Maler mit einem billigen Pinsel (offene Software) kann manchmal besser malen als ein Maler mit dem teuersten, vom Hersteller empfohlenen Pinsel. Die ursprüngliche Studie hatte die Maler immer nur mit ihren eigenen, teuren Pinseln getestet. Die neue Studie hat gemischt: Maler mit verschiedenen Pinseln. Das Ergebnis? Der Pinsel war oft wichtiger als der Maler selbst.

4. Was bedeutet das für uns?

Die Nachricht ist nicht, dass KI nutzlos ist. Die Nachricht ist, dass wir sie nicht als „Allheilmittel" sehen sollten.

• Für Entwickler: KI ist wie ein sehr aufmerksamer Assistent. Bevor Sie Ihren Tresor öffnen, lassen Sie den Assistenten einmal schnell durch das Gebäude laufen. Er findet die offensichtlichen Dinge: „Hey, die Tür steht offen!" oder „Der Schlüssel liegt auf dem Tisch!". Das ist super hilfreich. Aber vertrauen Sie nicht blind darauf, dass er alles findet.
• Für Sicherheitsfirmen: Die Zukunft ist nicht „KI gegen Mensch", sondern KI mit Mensch.
  • Die KI macht die „schwere Arbeit": Sie scannt riesige Code-Mengen und findet die 100 offensichtlichen Fehler (wie fehlende Schlösser).
  • Der menschliche Experte macht die „schwierige Arbeit": Er nutzt sein Bauchgefühl und sein tiefes Verständnis des Systems, um die 100 versteckten, komplexen Fallen zu finden, die die KI übersehen hat.

Fazit

Die KI ist kein Roboter-Cop, der die Blockchain allein bewacht. Sie ist eher wie ein junger, fleißiger Praktikant. Er ist schnell, findet viele offensichtliche Fehler und hilft dem Chef (dem menschlichen Auditor), Zeit zu sparen. Aber er kann den Chef noch nicht ersetzen. Wenn wir uns nur auf den Praktikanten verlassen, ohne den Chef hinzuzuziehen, werden wir übersehen, dass der Tresor doch noch eine versteckte Falle hat.

Kurz gesagt: KI ist ein mächtiges Werkzeug, aber wir brauchen noch immer menschliche Intelligenz, um sicherzustellen, dass unser digitales Geld wirklich sicher ist.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Re-Evaluating EVMBench: Are AI Agents Ready for Smart Contract Security?" auf Deutsch.

1. Problemstellung und Motivation

Im Februar 2026 veröffentlichten OpenAI, Paradigm und OtterSec EVMbench, den ersten groß angelegten Benchmark für KI-Agenten im Bereich der Smart-Contract-Sicherheit. Die ursprünglichen Ergebnisse waren vielversprechend: Die besten Agenten entdeckten bis zu 45,6 % der Schwachstellen und nutzten 72,2 % einer kuratierten Teilmenge erfolgreich aus. Dies führte zu der weit verbreiteten Annahme, dass eine vollständig automatisierte KI-Auditing-Lösung kurz bevorstehe.

Die Autoren dieses Papers identifizieren jedoch zwei kritische Mängel im experimentellen Design von EVMbench, die diese Schlussfolgerungen infrage stellen:

1. Eingeschränkter und verzerrter Evaluierungsbereich: EVMbench testete nur 14 Agenten-Konfigurationen und verknüpfte die meisten Modelle fest mit ihren herstellerspezifischen „Scaffolds" (Werkzeugketten/Workflows). Dies macht es unmöglich, den Einfluss des Modells von dem des Scaffolds zu trennen.
2. Datenkontamination und mangelnde Realitätsnähe: Die verwendeten 120 Schwachstellen stammen aus Code4rena-Wettbewerben, von denen viele vor August 2025 stattfanden. Da die evaluierten Modelle Ende 2025 und Anfang 2026 veröffentlicht wurden, könnten diese Daten im Trainingsset der Modelle enthalten sein (Memorierung statt echter Fähigkeit). Zudem spiegeln kuratierte Wettbewerbsdaten nicht die komplexen Bedingungen realer Produktionsumgebungen wider.

2. Methodik und Evaluierungsdesign

Um diese Lücken zu schließen, führten die Autoren eine umfassende Neubewertung durch, die auf der Infrastruktur von EVMbench aufbaut, aber signifikant erweitert wurde:

• Erweiterter Agenten-Scope: Statt 14 Konfigurationen wurden 26 Konfigurationen über vier Modellfamilien (Claude, GPT, Gemini, GLM) und drei verschiedene Scaffolds (Claude Code, Codex CLI, OpenCode) getestet. Dies ermöglichte eine systematische Trennung von Modell- und Scaffold-Effekten.
• Kontaminationsfreier Datensatz (Incidents Dataset): Es wurde ein neuer Datensatz mit 22 realen Sicherheitsvorfällen erstellt. Alle Vorfälle traten nach Mitte Februar 2026 auf, also nach dem Release aller evaluierten Modelle. Dies garantiert, dass die Modelle diese spezifischen Schwachstellen, Exploits oder Analysen während des Trainings nicht gesehen haben.
• Evaluierungsmetriken:
  • Detect: Erkennung von Schwachstellen (Recall).
  • Exploit: End-to-End-Ausnutzung der Schwachstelle in einer geforketen Blockchain-Umgebung, um einen profitablen Angriff zu simulieren.
  • Patch: Wurde ausgeschlossen, da die Autoren feststellten, dass die Schwierigkeit beim Patchen primär von der Entdeckung der Schwachstelle abhängt.
• Grader-Validierung: Die Zuverlässigkeit des KI-basierten „Judges" (Bewerter) für die Detect-Aufgabe wurde durch Tests mit drei verschiedenen Judge-Modellen validiert (99,2 % Genauigkeit).

3. Wichtige Beiträge und Ergebnisse

Die Studie liefert drei zentrale Erkenntnisse, die den bisherigen Optimismus dämpfen:

A. Instabilität der Ergebnisse

Die Leistung von KI-Agenten ist nicht stabil. Die Rangfolgen der Modelle ändern sich drastisch je nach:

• Datensatz: Ein Modell, das auf EVMbench (Wettbewerbsdaten) gut abschneidet, kann auf dem Incidents-Datensatz (reale Vorfälle) schlecht performen (z. B. sank Gemini 3.1 Pro mit Tools von Rang 2 auf Rang 8).
• Aufgabe: Die Rangfolge bei der Entdeckung (Detect) korreliert nicht mit der bei der Ausnutzung (Exploit). Ein Modell, das Schwachstellen gut findet, ist nicht zwangsläufig gut im Erstellen von Exploits.
• Scaffold: Die Wahl des Scaffolds hat einen massiven Einfluss. Ein Open-Source-Scaffold (OpenCode) schnitt in fünf von sechs kontrollierten Vergleichen besser ab als die herstellerspezifischen Alternativen (bis zu +5 Prozentpunkte). EVMbench hat diesen Faktor nicht kontrolliert.

B. Die Diskrepanz zwischen Entdeckung und Ausnutzung (Realität vs. Benchmark)

Dies ist das wichtigste Ergebnis:

• Auf den kuratierten EVMbench-Aufgaben erreichte der beste Agent eine Ausnutzungsrate von 61,1 %.
• Auf dem Incidents-Datensatz (22 reale Vorfälle) gelang keinem einzigen Agenten eine erfolgreiche End-to-End-Ausnutzung über alle 110 getesteten Agenten-Vorfälle-Paare hinweg (0 % Erfolg).
• Schlussfolgerung: Die These von EVMbench, dass die „Entdeckung" der primäre Engpass sei, ist falsch. Auf realen Daten ist die Ausnutzung das eigentliche Hindernis. Agenten können oft Muster erkennen, scheitern aber an der komplexen, kontextspezifischen Logik, die für einen profitablen Angriff in einer Produktionsumgebung nötig ist.

C. Begrenzte Fähigkeiten und False Positives

• Die besten Agenten decken etwa 65 % der realen Schwachstellen auf, lassen aber mehr als die Hälfte unentdeckt.
• Die Studien messen nur den Recall (wie viele echte Fehler gefunden wurden), nicht aber die Präzision (False Positives). In der Praxis würde ein Agent, der viele falsche Alarme meldet, mehr Arbeit verursachen als nützen.
• Agenten sind stark auf menschlichen Kontext angewiesen. EVMbench zeigte bereits, dass menschliche Hinweise die Ausnutzungsrate von 62,5 % auf 95,8 % steigern können.

4. Signifikanz und Implikationen für die Industrie

Die Studie widerlegt das Narrativ, dass eine vollständig autonome KI-Auditing-Lösung kurz bevorsteht. Stattdessen zeichnet sie ein realistisches Bild der aktuellen Fähigkeiten:

1. Für Entwickler: KI-Agenten sind nützlich als Pre-Deployment-Check für bekannte Schwachstellenmuster (z. B. fehlende Zugriffskontrollen, Reentrancy, Overflows). Sie sollten jedoch niemals als alleinige Sicherheitsgarantie betrachtet werden, da mehr als die Hälfte der Fehler unentdeckt bleibt.
2. Für Audit-Firmen: Der effektivste Ansatz ist ein Human-in-the-Loop-Workflow.
   • KI-Agenten übernehmen die „Breite": Sie scannen große Codebasen schnell nach häufigen Mustern und filtern offensichtliche Probleme heraus.
   • Menschliche Auditor übernehmen die „Tiefe": Sie wenden protokollspezifisches Wissen, adversariales Denken an und filtern False Positives.
   • Die Kombination aus menschlicher Expertise und KI-gestützter Skalierbarkeit ist der vielversprechendste Weg, um die Sicherheit von Smart Contracts zu erhöhen.

Fazit

Die Autoren kommen zu dem Schluss, dass KI-Agenten zwar reale, aber begrenzte Fähigkeiten besitzen. Während sie bekannte Muster zuverlässig erkennen, sind sie derzeit nicht in der Lage, komplexe, reale Sicherheitsvorfälle autonom zu exploitieren. Die Zukunft der Smart-Contract-Sicherheit liegt nicht in der Ersetzung menschlicher Auditor, sondern in der Integration von KI als leistungsstarkes Werkzeug innerhalb eines menschlich geleiteten Prozesses.