Beyond F1: A Study of LLM Reliability in Smart Contract Vulnerability Detection
Diese Studie evaluiert 14 große Sprachmodelle hinsichtlich der Erkennung von Schwachstellen in Smart Contracts und zeigt auf, dass die Modellauswahl entscheidender ist als Prompting-Strategien oder eine erhöhte Inferenzzeit-Berechnung, da größere Frontier-Modelle eine überlegene Zuverlässigkeit demonstrieren, während kleinere Modelle und erweiterte Reasoning-Techniken die Leistung verschlechtern können.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der digitalen Welt der dezentralen Finanzen bewegt sich Geld durch selbstausführende Programme, die als Smart Contracts bezeichnet werden. Diese sind wie digitale Verkaufsautomaten, die automatisch Vermögenswerte ausgeben, wenn bestimmte Bedingungen erfüllt sind, und dabei ohne menschliche Verwalter oder Banken operieren. Da diese Programme auf einer Blockchain laufen, sind sie nach ihrer Bereitstellung praktisch permanent; wenn nach der Konstruktion des Automaten ein Fehler gefunden wird, ist es oft unmöglich, diesen zu beheben. Diese Unveränderlichkeit macht die Sicherheit kritisch, da selbst ein winziger Fehler zum Verlust von Milliarden von Dollar führen kann. Jahrelang haben sich Forscher auf automatisierte Werkzeuge verlassen, um diese Verträge auf Fehler zu scannen, aber diese Werkzeuge haben oft Schwierigkeiten, den Kontext des Codes zu verstehen, was häufig zu Fehlalarmen führt oder subtile Gefahren übersieht. Kürzlich ist ein neuer Typ künstlicher Intelligenz bekannt geworden, ein Large Language Model, das in der Lage ist, Code ähnlich wie ein menschlicher Programmierer zu lesen und zu verstehen. Dies hat eine hoffnungsvolle Frage aufgeworfen: Können diese intelligenten Systeme herkömmliche Sicherheitsprüfungen ersetzen oder verbessern, um Schwachstellen zu finden, bevor sie Schaden anrichten?
Eine aktuelle Studie setzte sich zum Ziel, dies zu beantworten, indem sie vierzehn verschiedene Modelle der künstlichen Intelligenz einem Test unterzog. Die Forscher sammelten vierundfünfzig reale Smart Contracts, darunter solche, die bekannte Sicherheitsmängel aufwiesen, und solche, die vollkommen fehlerfrei waren, um zu sehen, wie gut die Modelle zwischen den beiden unterscheiden konnten. Sie fragten die Modelle nicht einfach nur nach dem Code; sie probierten vier verschiedene Arten der Fragestellung aus, die von einer einfachen direkten Frage bis hin zu komplexen, schrittweisen Anweisungen reichten, die die Modelle dazu zwangen, ihre Analyse durchzudenken. Sie testeten auch, ob das Geben der Modelle mehr Zeit zum „Nachdenken“ während des Prozesses ihre Ergebnisse verbesserte – ein Feature, das einige moderne Modelle bieten, um Probleme tiefergehend zu durchdenken. Das Ziel war festzustellen, ob diese leistungsstarken Werkzeuge zuverlässig Bugs finden können, ohne sich fälschlicherweise bei sicherem Code als gefährlich zu erweisen.
Die Ergebnisse zeigten eine scharfe Kluft in der Leistung, die einige gängige Annahmen darüber, wie diese Modelle funktionieren, infrage stellt. Die Studie fand heraus, dass es nicht immer besser macht, einem Modell einfach mehr Zeit zum Nachdenken zu geben oder es anzuweisen, einen detaillierten Denkprozess zu befolgen. Tatsächlich machte die Aktivierung dieses zusätzlichen Denkmodus eines der leistungsstärksten Modelle sogar schlechter, was dazu führte, dass es echte Schwachstellen übersah und die Gesamtgenauigkeit senkte. Dies deutet darauf darauf hin, dass mehr Rechenaufwand nicht automatisch mit einer besseren Sicherheitsanalyse gleichzusetzen ist. Stattdessen war der wichtigste Faktor schlichtweg die Wahl des Modells. Die besten Modelle, welche groß und kommerziell entwickelt sind, erwiesen sich als hochgradig zuverlässig, da sie Schwachstellen korrekt identifizierten und dabei selten Fehler bei sicherem Code machten.
Im krassen Gegensatz dazu verhielten sich die kleineren Open-Source-Modelle, die in der Studie getestet wurden, sehr unterschiedlich. Während diese kleineren Modelle exzellent darin waren, potenzielle Probleme aufzuspüren, litten sie unter einem kritischen Fehler: Sie waren nicht in der Lage, zwischen einem verwundbaren Vertrag und einem sicheren zu unterscheiden. Sie markierten jeden einzelnen sauberen Vertrag als gefährlich und schrien effektiv bei jeder Gelegenheit „Wolf“. Die Forscher prägten einen spezifischen Begriff für diese Tendenz, Bedrohungen zu halluzinieren, wo keine existieren, und nannten es die „Basilisk-Rate“. Ein Modell mit einer hohen Rate ist für die Sicherheit nutzlos, da es Ingenieure mit Fehlalarmen überfluten würde. Die Studie zeigte, dass die sechs am besten abschneidenden Modelle eine perfekte Bilanz hatten, indem sie niemals sauberen Code als gefährlich markierten, während die drei kleinsten Modelle jeden sauberen Vertrag als verwundbar markierten.
Die Untersuchung hob auch eine spezifische Schwelle in der Größe dieser Modelle hervor, die scheinbar die Zuverlässigkeit bestimmt. Die Modelle, die gut abschnitten, verfügten im Allgemeinen über eine größere Anzahl interner Parameter, was man als die Komplexität ihres internen Wissensschatzes betrachten kann. Die Studie legt nahe, dass ein Übergangspunkt um eine bestimmte Größe existiert, bei dem Modelle unterhalb dieser Schwelle dazu neigen, ständig zu halluzinieren, während jene oberhalb präzise und vertrauenswürdig werden. Interessanterweise gelang es einem großen Open-Source-Modell, diese Lücke zu schließen, indem es fast so gut wie die besten kommerziellen Modelle abschnitt, doch die kleineren blieben unzuverlässig.
Letztendlich kommt die Studie zu dem Schluss, dass für die spezifische Aufgabe, Sicherheitslücken in Smart Contracts zu finden, die Wahl des Modells der künstlichen Intelligenz weit wichtiger ist als die Art und Weise, wie man es anspricht (Prompting) oder wie viel Zeit man ihm zum Nachdenken gibt. Obwohl diese fortschrittlichen Werkzeuge großes Potenzial zeigen, sind sie keine magische Lösung, die in jedem System gleichermaßen funktioniert. Der effektivste Ansatz besteht darin, ein Modell auszuwählen, das nachweislich präzise ist, und diejenigen zu vermeiden, die dazu neigen, Probleme zu sehen, die nicht existieren. Für die Zukunft der digitalen Finanzen bedeutet dies, dass Sicherheitsteams sorgfältig prüfen müssen, welche KI-Werkzeuge sie verwenden, um sicherzustellen, dass sie sich auf Systeme verlassen, die zwischen einer echten Bedrohung und einem harmlosen Stück Code unterscheiden können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.