EVM-QuestBench: An Execution-Grounded Benchmark for Natural-Language Transaction Code Generation

Die Arbeit stellt EVM-QuestBench vor, ein ausführungsbasiertes Benchmark-System mit dynamischer Evaluierung, das die Lücke in der Sicherheits- und Genauigkeitsbewertung von Sprachmodellen bei der Generierung von Transaktionscodes für EVM-kompatible Blockchains schließt.

Das Wesentliche

Stell dir vor, du hast einen sehr intelligenten, aber manchmal etwas chaotischen Assistenten (eine KI), dem du sagst: „Geh bitte auf die Bank, nimm 100 Euro ab und kauf mir dafür ein paar Aktien."

In der normalen Welt ist das einfach. Aber in der Welt der Blockchain (dem digitalen Geld-System) ist das extrem gefährlich. Wenn der Assistent sich nur einen Buchstaben im Adresscode verschreibt oder den falschen Wechselkurs nimmt, sind deine 100 Euro für immer weg. Es gibt keine „Rückgängig"-Taste.

Das ist genau das Problem, das die Forscher mit ihrem neuen Projekt EVM-QuestBench lösen wollen.

Hier ist die Erklärung in einfachen Worten:

1. Das Problem: Warum alte Tests nicht funktionieren

Bisher haben Forscher KI-Modelle getestet, indem sie ihnen Code gegeben haben und geprüft haben, ob der Text des Codes dem richtigen Text ähnelt (wie ein Lehrer, der nur die Rechtschreibung prüft, aber nicht den Inhalt).

• Das Problem: Die KI könnte einen Code schreiben, der aussieht wie der richtige, aber wenn man ihn ausführt, löscht er versehentlich dein ganzes Konto.
• Die Lösung: Man muss den Code nicht nur lesen, sondern ihn wirklich ausführen und schauen, ob das Ergebnis stimmt.

2. Die Lösung: EVM-QuestBench (Der „Fluchtfahrplan"-Test)

Die Forscher haben einen neuen Test entwickelt, der wie ein simulierter Fluchtfahrplan funktioniert.

• Die Umgebung: Sie haben eine „Spiegel-Welt" (eine Kopie der echten Blockchain) erstellt. Hier können die KIs ihre Befehle ausprobieren, ohne echtes Geld zu riskieren.
• Die Aufgaben: Es gibt zwei Arten von Aufgaben:
  1. Einzelne Schritte (Atomic): „Sende 5 Euro an Max." Das ist wie ein einfacher Befehl.
  2. Komplexe Abfolgen (Composite): „Sende erst 5 Euro an Max, dann tausche 10 Euro gegen Bitcoin, und kauf damit eine NFT-Karte." Das ist wie ein mehrstufiger Plan, bei dem Schritt 2 nur funktioniert, wenn Schritt 1 perfekt war.

3. Wie der Test abläuft (Das „Zufalls-Prinzip")

Stell dir vor, du testest einen Koch. Wenn du ihm immer nur sagst: „Koch Nudeln mit 500g Wasser", lernt er nur diese eine Aufgabe auswendig.
EVM-QuestBench macht etwas Cleveres:

• Der Test wählt zufällige Zahlen aus. Einmal soll die KI 0,123 Euro senden, das nächste Mal 999,99 Euro.
• Die KI muss also verstehen, was sie tut, und nicht nur eine festgelegte Antwort auswendig lernen.
• Ein Schiedsrichter (der Validator) prüft am Ende: „Hat das Geld wirklich den Empfänger erreicht? Ist der Kontostand korrekt?"

4. Die Ergebnisse: Was haben sie herausgefunden?

Die Forscher haben 20 verschiedene KI-Modelle getestet. Das Ergebnis war überraschend und wichtig:

• Einzelne vs. Komplexe Aufgaben: Viele KIs sind super darin, einen kleinen Befehl auszuführen (wie „Sende Geld"). Aber sobald es darum geht, einen komplexen Plan mit mehreren Schritten zu verfolgen, scheitern sie oft.
• Die Analogie: Es ist wie bei einem Schüler, der Mathe-Aufgaben einzeln perfekt lösen kann, aber wenn er eine mehrstufige Geschichte lösen muss, bei der das Ergebnis von Schritt 1 für Schritt 2 wichtig ist, verliert er den Faden.
• Die Gewinner: Nur die besten Modelle (wie Claude-Sonnet-4.5) schafften es, sowohl die kleinen als auch die großen, komplexen Aufgaben sicher zu meistern. Viele andere Modelle haben bei den komplexen Aufgaben fast null Punkte geholt, obwohl sie bei den einfachen gut waren.

5. Warum ist das wichtig?

Dieser Test ist wie ein Führerschein-Prüfstand für KI im Finanzbereich.
Bevor wir KI-Systemen erlauben, unser echtes Geld im Internet zu bewegen, müssen wir sicherstellen, dass sie nicht nur „gut klingen", sondern auch sicher handeln. EVM-QuestBench zeigt uns genau, welche KIs bereit sind und welche noch üben müssen, bevor sie mit echtem Geld hantieren dürfen.

Zusammenfassend:
Die Forscher haben einen neuen, sicheren Spielplatz gebaut, auf dem KIs lernen müssen, komplexe Finanz-Aufgaben zu lösen. Sie haben entdeckt, dass viele KIs zwar gute Einzelkämpfer sind, aber als Team (bei komplexen Abläufen) oft versagen. Das hilft uns, sicherere KI-Systeme für die Zukunft zu bauen.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papiers „EVM-QuestBench" auf Deutsch:

Titel: EVM-QuestBench: Ein ausführungsbasiertes Benchmark für die Generierung von Transaktionscode in natürlicher Sprache

1. Problemstellung

Große Sprachmodelle (LLMs) werden zunehmend zur Steuerung von Software und Tools eingesetzt, einschließlich der Generierung von Blockchain-Transaktionen. Dies birgt jedoch erhebliche finanzielle Risiken: Selbst kleinste Fehler (z. B. falsche Adressen, Einheiten oder Fristen) können zu irreversiblen Verlusten führen.
Bestehende Evaluierungsmethoden für Code-Generierung leiden unter folgenden Mängeln im Kontext von Blockchains:

• Fokus auf lexikalische Ähnlichkeit: Metriken wie BLEU oder CodeBLEU belohnen Ausgaben, die dem Referenzcode ähneln, aber funktionale Fehler aufweisen (z. B. nicht ausführbarer Code).
• Fehlende Ausführungsgenauigkeit: Viele Benchmarks testen nicht, ob der generierte Code tatsächlich auf einer Blockchain ausgeführt werden kann und die gewünschten Zustandsänderungen bewirkt.
• Spezifische Blockchain-Herausforderungen: Transaktionsskripte erfordern das Verständnis von calldata, spezifischen Einheiten (Decimals), Protokollzwängen und Abhängigkeiten zwischen mehreren Transaktionsschritten. Herkömmliche Benchmarks (wie SWE-bench) oder blockchain-spezifische Ansätze (wie Solana Bench) erfassen diese Nuancen oft nicht ausreichend, insbesondere die Unterscheidung zwischen Einzeltransaktions-Präzision und komplexen Workflows.

2. Methodik: EVM-QuestBench

Die Autoren stellen EVM-QuestBench vor, ein ausführungsbasiertes (execution-grounded) Benchmark für die Generierung von Transaktions-Skripten auf EVM-kompatiblen Chains (implementiert auf der BNB Smart Chain).

Kernarchitektur und Ablauf:

• Dynamische Instanziierung: Anstatt statischer Testfälle werden Aufgaben aus Vorlagenpools (Templates) entnommen. Numerische Parameter (Beträge, Adressen) werden zufällig aus vordefinierten Intervallen gezogen. Dies verhindert das Auswendiglernen von Trainingsdaten und testet die Robustheit der numerischen Reasoning-Fähigkeiten.
• Modulare Aufgabenstruktur:
  • Atomic Tasks (62 Aufgaben): Testen die Präzision einzelner Aktionen (z. B. Token-Transfer, Swap).
  • Composite Tasks (45 Aufgaben): Testen mehrstufige Workflows (z. B. Approve → Swap → Stake), die Planung, Vorbedingungen und Parameterweitergabe erfordern.
• Ausführungs-Umgebung:
  • Der Code wird als TypeScript-Modul generiert.
  • Ein „Runner" führt die Skripte in einer forked EVM-Umgebung (Anvil auf BSC Mainnet) aus.
  • Snapshot-Isolation: Vor jeder Aufgabe wird der Zustand der Chain auf einen Snapshot zurückgesetzt, um Interferenzen zwischen Aufgaben zu vermeiden.
  • Validierung: Anstelle von Code-Vergleich werden Validator-Klassen verwendet, die den Post-Execution-Zustand (Guthaben, Genehmigungen, Transaktionsstatus) gegen die dynamisch generierten Parameter prüfen.
• Bewertungsmetrik:
  • Atomic: Gewichtete Summe aus Transaktionserfolg, Adresskorrektheit, Signatur und Zustandsänderung (max. 100 Punkte pro Aufgabe).
  • Composite: Basierend auf dem Erfolg des Endzustands, abzüglich eines Schritt-Effizienz-Faktors (min(1, Kopt / Kact)). Modelle, die unnötige Schritte oder Wiederholungen benötigen, erhalten Strafpunkte.

3. Schlüsselbeiträge

1. Einführung von EVM-QuestBench: Ein Benchmark mit 107 Aufgaben (62 atomar, 45 komposit), der die Lücke zwischen natürlicher Sprache und ausführbaren Blockchain-Transaktionen schließt.
2. Paradigmenwechsel zur Ausführungsbasierten Bewertung: Statt Textvergleich wird die tatsächliche Ausführung auf einer Forked-Chain mit Snapshot-Isolation und Validator-basiertem Scoring verwendet.
3. Trennung von Fähigkeiten: Der Benchmark unterscheidet explizit zwischen Single-Action-Präzision (Atomic) und Multi-Step-Workflow-Abschluss (Composite), was eine differenzierte Diagnose von Modellfähigkeiten ermöglicht.
4. Skalierbarkeit: Die modulare Architektur (JSON-Spezifikationen + Python-Validator) ermöglicht die schnelle Erstellung neuer Aufgaben mit minimalem Engineering-Aufwand.

4. Ergebnisse und Analyse

Die Autoren evaluierten 20 verschiedene Modelle (u. a. Claude-Sonnet-4.5, GPT-5, Gemini, DeepSeek, Qwen) über jeweils 5 unabhängige Runden.

• Leistungsunterschiede: Es gab erhebliche Varianzen. Das führende Modell, Claude-Sonnet-4.5, erzielte einen Durchschnitt von 8.236 Punkten (von maximal 10.700) mit einer sehr geringen Varianz (CV = 2,1%).
• Asymmetrie der Fähigkeiten:
  • Workflow-orientierte Modelle: Modelle wie DeepSeek-V3.2 und Gemini-2.5-Flash zeigten starke Composite-Leistungen (gutes Workflow-Management), aber schwächere Atomic-Scores.
  • Präzisions-orientierte Modelle: Modelle wie Claude-Haiku-4.5 erzielten hohe Atomic-Scores, scheiterten jedoch oft an komplexen Composite-Workflows.
  • Code-Spezialisten: Bestimmte Code-spezialisierte Modelle (z. B. Qwen3-Coder-Varianten) scheiterten fast vollständig an Composite-Aufgaben (oft < 1 bestandene Aufgabe), da sie bei mehrstufigen Workflows wiederholt Schema-Fehler (z. B. fehlende ethers-Imports) machten, obwohl sie bei einfachen Aufgaben funktionierten.
• Schwierigkeitsgrade: Multi-Stage-DeFi-Workflows (Kombination aus Liquidität und Staking) sowie Batch-Approval-Muster erwiesen sich als die schwierigsten Aufgabenmuster.

5. Bedeutung und Ausblick

EVM-QuestBench bietet einen standardisierten Protokoll-Ansatz zur Untersuchung des ausführungsbasierten Verhaltens von LLMs in der On-Chain-Automatisierung.

• Sicherheitsrelevanz: Da Blockchain-Transaktionen irreversible finanzielle Konsequenzen haben, ist die Fähigkeit, nicht nur Code zu schreiben, sondern ihn auch korrekt auszuführen, entscheidend.
• Diagnostik: Die Aufteilung in Atomic und Composite hilft Entwicklern, spezifische Schwachstellen von Modellen zu identifizieren (z. B. ob ein Modell gut plant, aber schlecht parametrisiert, oder umgekehrt).
• Zukunft: Die Autoren planen, das Benchmark auf weitere EVM-Chains und Solana zu erweitern, Sicherheitschecks für Transaktionsabsichten zu vertiefen und die Fähigkeit von LLMs zu testen, eigene Aufgabendefinitionen zu generieren.

Fazit: Das Papier demonstriert, dass aktuelle LLMs zwar vielversprechend sind, aber signifikante Lücken zwischen der Fähigkeit, einzelne Aktionen korrekt auszuführen, und der Fähigkeit, komplexe, mehrstufige Blockchain-Workflows fehlerfrei zu orchestrieren, bestehen. EVM-QuestBench stellt einen robusten, ausführungsbasierten Standard dar, um diese Lücken zu messen und zu schließen.