SmartEval: A Benchmark for Evaluating LLM-Generated Smart Contracts from Natural Language Specifications
Dieser Beitrag stellt SmartEval vor, einen umfassenden Benchmark, der ein Korpus aus 9.000 von LLMs generierten Solidity-Verträgen, eine fünfdimensionale Bewertungsmatrix und eine validierte Pipeline umfasst, die charakteristische Fehlermodi aufdeckt und gleichzeitig zeigt, dass von LLMs generierte Verträge in der funktionalen Konformität Ground-Truth-Implementierungen übertreffen können.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Chef, der nur einfaches Englisch spricht, und Sie möchten ein Team von superschlauen, aber wortwörtlich denkenden Robotern einstellen, um die Regeln für eine digitale Bank (ein sogenanntes „Smart Contract") zu schreiben. Sie sagen den Robotern: „Wenn jemand Geld einzahlt, geben Sie ihm eine Quittung. Wenn sie versuchen zu stehlen, schließen Sie die Tür."
Das Problem ist, dass diese Roboter hervorragend darin sind, Anweisungen wortwörtlich zu befolgen, aber sie übersehen manchmal den Geist der Regeln oder machen winzige Fehler, die dazu führen könnten, dass die Bank abstürzt. In der realen Welt können Sie eine digitale Bank, einmal gebaut, nicht einfach patchen; sie ist dauerhaft. Daher benötigen Sie eine Möglichkeit zu testen, ob die Roboter einen guten Job gemacht haben, bevor Sie ihnen die Leitung überlassen.
Dieser Artikel stellt SmartEval vor, ein riesiges „Zeugnis"-System, das entwickelt wurde, um diese von Robotern geschriebenen digitalen Verträge zu bewerten.
Hier ist, wie der Artikel dies unter Verwendung einfacher Analogien aufschlüsselt:
1. Der große Test (Der Benchmark)
Die Forscher erstellten eine massive Testfahrt mit 9.000 verschiedenen digitalen Verträgen.
- Die Quelle: Sie nahmen 9.000 Anweisungssets, die in einfachem Englisch verfasst waren (wie „Ich möchte einen Mietvertrag für eine Wohnung").
- Die Roboter: Sie fütterten diese Anweisungen mit einer hochrangigen KI (GPT-4o-mini), um den tatsächlichen Code zu generieren.
- Die Experten: Sie ließen auch menschliche Experten die „perfekten" Versionen dieser gleichen Verträge schreiben.
- Das Ziel: Vergleichen Sie die Arbeit des Roboters mit der Arbeit des Experten, um zu sehen, wer besser abgeschnitten hat.
2. Das Bewertungssystem (Die Rubrik)
Anstatt nur „Bestanden" oder „Durchgefallen" zu sagen, verwendet SmartEval ein Fünf-Sterne-Bewertungssystem, um die Verträge in fünf spezifischen Bereichen zu bewerten:
- Haben sie alles Geforderte erledigt? (Funktionale Vollständigkeit)
- Haben sie die richtigen Namen für Dinge verwendet? (Variablen-Genauigkeit)
- Ist der Logikfluss korrekt? (Zustandsmaschinen-Korrektheit) — Denken Sie daran, dass dies sicherstellt, dass eine Ampel von Grün zu Gelb zu Rot geht und nicht von Grün direkt zu Rot.
- Haben sie die Geschäftsregeln richtig verstanden? (Genauigkeit der Geschäftslogik) — Dies ist der wichtigste Teil, wie sicherzustellen, dass die Miete tatsächlich eingezogen wird.
- Ist der Code sauber und gut geschrieben? (Code-Qualität)
3. Die „Sicherheitsnetz"-Pipeline
Die Forscher haben nicht einfach nur die KI gebeten, den Code zu schreiben und auf das Beste zu hoffen. Sie bauten eine Fertigungsstraße mit einem Sicherheitsinspekteur:
- Schritt 1: Ein „Übersetzer" verwandelt Ihren englischen Satz in einen strengen Bauplan.
- Schritt 2: Die „Bauer"-KI schreibt den Code basierend auf diesem Bauplan.
- Schritt 3: Die „Inspekteur"-KI prüft auf Sicherheitslücken (wie ein Einbrecher, der versucht, das Schloss zu knacken).
- Das magische Tor: Wenn der Inspekteur ein ernsthaftes Problem findet (ein Problem mit „mittlerer" oder „hoher" Schwere), darf der Code die Fabrik nicht verlassen. Er wird an eine „Verfeinerer"-KI gesendet, um den Fehler zu beheben, und dann erneut geprüft. Diese Schleife wiederholt sich, bis der Code sicher ist.
4. Die überraschenden Ergebnisse
Als sie die Roboter-Verträge mit den menschlichen Experten-Verträgen verglichen, geschah etwas Interessantes:
- Die Roboter gewannen (auf dem Papier): Die von der KI generierten Verträge schnitten tatsächlich besser ab (um etwa 8 Punkte) als die von Menschen geschriebenen.
- Warum? Die Roboter waren extrem wortwörtlich. Wenn Sie sagten „füge einen Knopf hinzu", fügten sie einen Knopf hinzu. Sie folgten den Anweisungen perfekt.
- Der menschliche Vorteil: Menschliche Experten „schneiden manchmal Ecken", um den Code schneller oder günstiger zu machen (Sparen von „Gas"-Gebühren), oder sie organisierten Dinge neu, damit sie sauberer aussahen. Da der Test streng darauf achtete, den exakten Anweisungen zu folgen, verloren die Menschen Punkte dafür, zu kreativ oder effizient zu sein.
- Der Haken: Die Roboter hatten Schwierigkeiten mit komplexen Aufgaben. Wenn die Anweisungen sehr lang und kompliziert wurden (wie ein Vertrag mit 8+ verschiedenen Regeln), begannen die Roboter Fehler zu machen, und der Code konnte oft nicht kompiliert werden (brechen).
5. Hat das Bewertungssystem funktioniert?
Die Forscher waren besorgt: „Bewertet die KI sich selbst?" Um zu beweisen, dass sie nicht betrugen, führten sie drei Prüfungen durch:
- Menschliche Prüfung: Drei PhD-Experten der Columbia University bewerteten 30 der Verträge. Ihre Noten stimmten fast perfekt mit den Noten der KI überein (innerhalb von 0,34 Punkten).
- Werkzeug-Prüfung: Sie führten den Code durch einen Standard-Sicherheits-Scanner ohne KI (genannt Slither). Der KI-Auditor und das Werkzeug stimmten 79 % der Zeit über Sicherheitsprobleme überein.
- Der „Was-wäre-wenn"-Test: Sie schalteten Teile ihrer Fertigungsstraße aus (wie den Sicherheitsinspekteur) und sahen, wie die Qualität sank. Dies bewies, dass jeder Teil ihres Systems tatsächlich notwendig war.
Das Fazit
SmartEval ist eine neue, zuverlässige Methode, um zu testen, ob KI sichere, funktionierende digitale Verträge schreiben kann. Es ergab, dass KI zwar erstaunlich darin ist, Anweisungen wortwörtlich zu befolgen, aber immer noch Schwierigkeiten mit sehr komplexer, mehrstufiger Logik hat. Das System bewies auch, dass Sie durch Hinzufügen eines „Sicherheitsinspekteurs" und einer „Reparatur-Schleife" einen unordentlichen, fehleranfälligen KI in einen zuverlässigen Code-Generator verwandeln können, der sicherer ist als ein einzelner menschlicher Experte, der allein arbeitet.
Wichtiger Hinweis: Der Artikel gibt zu, dass, obwohl der Code korrekt aussieht und kompiliert wird, sie nicht getestet haben, ob die Verträge tatsächlich korrekt funktionieren, wenn echtes Geld in einer Live-Umgebung durch sie hindurchfließt. Sie stellen auch fest, dass die KI noch nicht weiß, wie man Geld (Gas-Gebühren) spart, wie es ein menschlicher Experte tut.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.