Technischer Zusammenfassung: Eine empirische Analyse von Tools zur Schwachstellenerkennung für Solidity-Smart-Contracts

Problemstellung

Die schnelle Einführung der Blockchain-Technologie hat die Bedeutung der Sicherung von Smart Contracts (SCs), die kritische Geschäftslogik automatisieren, erhöht. Trotz der Verbreitung automatisierter Tools zur Schwachstellenerkennung deuten empirische Belege auf erhebliche Zuverlässigkeitsprobleme hin, darunter hohe Raten an falsch positiven Ergebnissen (FP) und inkonsistente Erkennungsfähigkeiten. Bestehende Auswertungen stützen sich häufig auf Datensätze, die entweder automatisch gelabelt sind (und somit Tool-Verzerrungen erben), in ihrem Umfang begrenzt sind oder nur auf Ebene des Vertrags oder der Funktion annotiert wurden. Darüber hinaus besteht eine kritische Lücke im Verständnis dafür, wie gut diese Tools im Vergleich zu kuratierten, vereinfachten Benchmarks auf realen, komplexen Verträgen abschneiden. Zudem erfordert das Aufkommen von Large Language Models (LLMs) als Erkennungstools eine rigorose Evaluierung, um ihre Generalisierbarkeit über kontrollierte Umgebungen hinaus zu bestimmen.

Methodik

Die Autoren führten eine umfassende empirische Studie durch, die folgende wesentliche methodische Schritte umfasste:

1. Datensatzkonstruktion:

   • Die Studie erstellte einen manuell annotierten Datensatz, der 2.182 Solidity-Smart-Contract-Instanzen umfasst.
   • Schwachstellen wurden auf Ebene des Quellcodes (Zeilenweise) gelabelt, was der in einer motivierenden Umfrage unter Entwicklern und Forschern identifizierten Präferenz für Granularität entspricht.
   • Die Datenquellen umfassten:
     • SmartBugs-Ergebnisse: Eine geschichtete Stichprobe von 1.501 Verträgen, die aus einem größeren Korpus von 47.587 Verträgen extrahiert wurden und basierend auf Tool-Ausgaben ausgewählt wurden (mindestens zwei Tools mussten eine Schwachstelle melden).
     • SmartBugs Curated: 142 manuell annotierte Verträge (139 als verwundbar bestätigt).
     • ZEUS-Datensatz: 538 Verträge, die über die Etherscan-API aus dem Datensatz von Kalra et al. (2018) abgerufen und manuell neu bewertet wurden.
   • Ein externer Bewerter überprüfte die Kennzeichnungen als nicht verwundbar doppelt, und Abweichungen wurden durch Konsens gelöst.

2. Tool-Evaluierung:

   • Traditionelle Tools: Die Studie bewertete 19 Tools zur Schwachstellenerkennung aus dem SmartBugs 2.0-Framework (mit Ausnahme von HoneyBadger, das auf Honigtöpfe abzielt). Dazu gehörten statische Analyser (z. B. Slither, Solhint, Securify), dynamische Analyser/Fuzzer (z. B. Manticore, Sfuzz) und Werkzeuge zur symbolischen Ausführung (z. B. Osiris, Oyente).
   • LLM-Evaluierung: ChatGPT-4o wurde als Zeilen-weise-Schwachstellendetektor evaluiert. Das Modell wurde aufgefordert, Schwachstellen basierend auf der DASP TOP 10-Taxonomie zu identifizieren.
   • Szenarien: Die Auswertungen wurden unter zwei Szenarien bezüglich arithmetischer Schwachstellen durchgeführt: einem, das diese einschließt (relevant für Solidity < 0.8.0), und einem, das sie ausschließt (unter Berücksichtigung der standardmäßigen Überlaufprüfungen in Solidity >= 0.8.0).

3. LLM-Spezifika:

   • ChatGPT-4o wurde auf dem SmartBugs Curated-Datensatz und einer zufälligen Stichprobe von 400 realen Verträgen aus dem SmartBugs Results-Datensatz getestet.
   • Die Studie analysierte den Einfluss der Vertragskomplexität (gemessen an der zyklomatischen Komplexität und der Anzahl der Codezeilen) sowie potenzieller Datenlecks (Überlappung mit Trainingsdaten) auf die Leistung von LLMs.

4. Kombinationsstrategie:

   • Tools wurden mittels des k-Means-Algorithmus basierend auf ihrem Erkennungsverhalten gruppiert.
   • Repräsentative Tools aus jedem Cluster wurden ausgewählt, um eine komplementäre Erkennungssuite zu bilden.

Hauptbeiträge

1. Veröffentlichung des Datensatzes: Die Veröffentlichung des größten manuell analysierten Datensatzes von Smart Contracts bis heute, der Schwachstellenannotationen auf Zeilenebene für 2.182 Instanzen enthält. Dieser Datensatz adressiert das Fehlen fein abgestufter Ground-Truth-Daten in bestehenden Benchmarks.
2. Umfassende Tool-Evaluierung: Die umfangreichste empirische Evaluierung von 19 State-of-the-Art-Tools (plus einem LLM-Ansatz), die der DASP TOP 10-Taxonomie zugeordnet und gegen eine manuell verifizierte Ground Truth evaluiert wurden.
3. Analyse der LLM-Leistung: Eine Demonstration, dass die LLM-basierte Erkennung (ChatGPT-4o) bei realen Verträgen im Vergleich zu kuratierten Benchmarks eine signifikant geringere Wirksamkeit aufweist, was Probleme mit der Generalisierung und potenziellen Datenlecks aufzeigt.
4. Optimale Tool-Kombination: Identifikation einer spezifischen Kombination aus drei Tools (Conkas, Slither und Smartcheck), die gemeinsam bis zu 76,78 % der manuell annotierten Schwachstellen erkennen, mit einer durchschnittlichen Ausführungszeit von weniger als einer Minute.

Ergebnisse

Tool-Leistung (RQ1)

• Kein einzelnes Tool ist ausreichend: Kein einzelnes Tool erkannte alle Schwachstellenklassen der DASP TOP 10-Taxonomie.
• Spezialisierung:
  • Osiris war bei arithmetischen Schwachstellen am effektivsten.
  • Smartcheck glänzte bei der Erkennung von Denial-of-Service-Angriffen (DoS).
  • Solhint zeigte starke Fähigkeiten bei Zugriffskontrolle, nicht geprüften Low-Level-Aufrufen und schlechter Zufälligkeit, litt jedoch unter einer hohen Rate an falsch positiven Ergebnissen.
  • Conkas und Slither erwiesen sich als die insgesamt effektivsten Tools; Conkas schnitt besser ab, wenn arithmetische Schwachstellen einbezogen wurden, während Slither besser abschnitt, wenn diese ausgeschlossen wurden (Solidity >= 0.8.0).
• Ausführungszeit: Es bestehen erhebliche Kompromisse zwischen Recall und Ausführungszeit. So erreichte Slither einen hohen Recall (0,68) bei einer sehr niedrigen durchschnittlichen Ausführungszeit (1,14 s), während Sfuzz einen ähnlichen Recall hatte, aber durchschnittlich über 582 Sekunden benötigte.
• Nicht erkannte Klassen: Tools hatten erhebliche Schwierigkeiten mit Front Running, Short Addresses und schlechter Zufälligkeit, obwohl im Vergleich zu früheren Studien einige Verbesserungen festgestellt wurden (z. B. Securify, das Front Running erkennt).

LLM-Wirksamkeit (RQ2)

• Kuratiert vs. Real: ChatGPT-4o erzielte beim SmartBugs Curated-Datensatz einen moderaten Recall (47,67 %) und eine höhere Präzision als in früheren Berichten. Auf 400 realen Verträgen brach die Leistung jedoch zusammen (Präzision: 5,6 %, Recall: 3,3 %, F1: 1,9 %).
• Komplexitätsfaktor: Reale Verträge waren signifikant größer und komplexer (höhere zyklomatische Komplexität) als kuratierte Benchmarks. Die Studie legt nahe, dass die Wirksamkeit von LLMs mit zunehmender Größe und Komplexität der Verträge abnimmt.
• Datenlecks: Die Studie vermutet, dass die hohe Leistung bei kuratierten Datensätzen teilweise auf Datenlecks zurückzuführen ist, da diese Verträge oft vor dem Trainingsstichtag des Modells entstanden oder in öffentlichen Repositorien vorhanden sind, die für das Training verwendet wurden.

Tool-Kombination (RQ3)

• Durch das Clustern von Tools und die Auswahl komplementärer Repräsentanten identifizierten die Autoren ein Trio (Conkas, Slither, Smartcheck), das gemeinsam 73,38 % aller Schwachstellen (einschließlich arithmetischer) und 76,78 % der nicht-arithmetischen Schwachstellen erkannte.
• Diese Kombination war statistisch überlegen gegenüber einzelnen Tools und früheren Kombinationen (Fisher's Exakter Test, p < 0,001) und bietet eine hohe Abdeckungsrate bei minimalem Rechenaufwand (durchschnittlich < 1 Minute).

Bedeutung und Behauptungen

Die Arbeit behauptet, einen signifikanten Beitrag zum Bereich der Smart-Contract-Sicherheit zu leisten durch:

1. Bereitstellung eines zuverlässigen Benchmarks: Der manuell annotierte Datensatz auf Zeilenebene dient als robuste Ground Truth für zukünftige Tool-Evaluierungen und geht über die Verzerrungen automatisch gelabelter Datensätze hinaus.
2. Hervorhebung von Evaluierungslücken: Die Studie unterstreicht die Diskrepanz zwischen der Tool-Leistung auf vereinfachten Benchmarks und realen Bereitstellungen und warnt davor, die Wirksamkeit von Tools allein auf Basis kurierter Datensätze zu überschätzen.
3. Demonstration von LLM-Grenzen: Sie liefert empirische Belege dafür, dass allgemeine LLMs, obwohl vielversprechend, derzeit die für die reale Smart-Contract-Auditing erforderliche Zuverlässigkeit ohne weitere domänenspezifische Feinabstimmung oder Validierung nicht besitzen.
4. Angebot einer praktischen Lösung: Die Identifikation einer komplementären Tool-Kombination bietet eine praktische, skalierbare Strategie für Entwickler und Auditor, um die Schwachstellenerkennung zu maximieren und gleichzeitig die Rechenkosten zu steuern.

Die Autoren schließen, dass, obwohl sich Tools verbessert haben, erhebliche Herausforderungen bestehen bleiben, insbesondere hinsichtlich falsch positiver Ergebnisse, der Erkennung unterrepräsentierter Schwachstellenklassen und der Generalisierung von KI-basierten Methoden auf komplexe, reale Szenarien.