Enhancing Smart Contract Vulnerability Detection in DApps Leveraging Fine-Tuned LLM

Technische Samenvatting: Verbeteren van de Detectie van Kwetsbaarheden in Smart Contracts voor DApps middels Fine-Tuning van LLM's

Probleemstelling
Decentralized Applications (DApps) worden geconfronteerd met kritieke beveiligingsrisico's als gevolg van kwetsbaarheden in hun onderliggende smart contracts. Hoewel traditionele detectiemethoden, zoals statische analyse en state transition verificatie, effectief zijn voor bekende patronen (bijv. reentrancy, rekenkundige fouten), hebben zij moeite met opkomende dreigingen en "machine-oncontroleerbare" logische fouten. Recente statistieken geven aan dat bijna 80% van de contractkwetsbaarheden bestaat uit logische fouten, inclus\text{bij} complexe problemen zoals manipulatie van de tokenprijs, die conventionele programma-analyse omzeilen. Bovendien leunen bestaande benchmarks vaak op vereenvoudigde datasets (contracten met minder dan 40 regels), die niet in staat zijn de complexiteit van echte DApp-projecten te representeren. Huidige Large Language Model (LLM) benaderingen die gebruikmaken van prompt engineering of Retrieval-Augmented Generation (RAG) vertonen ook beperkingen, waarbij ze slechts 40–60% nauwkeurigheid bereiken door een gebrek aan domeinspecifieke adaptatie aan de programmeertaal Solidity.

Methodologie
Het artikel stelt een nieuw framework voor dat gebruikmaakt van fine-tuned LLM's om de detectie van kwetsbaarheden in DApps te verbeteren. De methodologie bestaat uit vier kerncomponenten:

1. Omvattende Datacollectie:
   De auteurs hebben een nieuwe dataset samengesteld bestaande uit 215 echte DApp-projecten en 4.998 smart contracts. In tegenstelling tot eerdere datasets werd deze collectie verzameld met behulp van een aangepaste Python-tool genaamd SmartCollect, die volledige projectafhankelijkheden herstelt, inclusief publieke bibliotheken en externe contracten. De dataset adresseert specifiek het tekort aan voorbeelden van logische fouten door 23 contracten met tokenprijsmanipulatie-kwetsbaarheden op te nemen, naast standaard kwetsbaarheden zoals reentrancy, rekenkundige problemen en timestamp-afhankelijkheid.

2. Data-augmentatie (ROS):
   Om de ernstige klassenonbalans aan te pakken die inherent is aan kwetsbaarheidsdetectie (waarbij kwetsbare gevallen een minderheid vormen), gebruikt de studie Random Over Sampling (ROS). Deze techniek dupliceert monsters uit de minderheidsklasse om de dataset in evenwicht te brengen, waardoor de prestatieverslechtering die vaak wordt gezien bij deep learning-modellen getraind op ongebalanceerde real-world data, wordt gemitigeerd.

3. Dual-Role LLM Architectuur:
   Het voorgestelde systeem maakt gebruik van een tweestaps auditproces waarbij de LLM twee verschillende rollen aanneemt, geactiveerd via prompt engineering:

   • Smart Contract Auditor: Beoordeelt de code om potentiële kwetsbaarheden te identificeren en redenering te genereren.
   • Verifier: Valideert verder de geïdentificeerde typen kwetsbaarheden om nauwkeurigheid en rigor te waarborgen.
     De prompts zijn ontworpen met Chain-of-Thought (CoT) redenering, waarbij het model wordt vereist om de workflow van een auditor na te bootsen door context te begrijpen, logica te analyseren en gestructureerde outputs te leveren.

4. Fine-Tuning Strategieën:
   De studie evalueert twee fine-tuning benaderingen op mainstream open-source modellen (Llama3-8B en Qwen2-7B):

   • Full-Parameter Fine-Tuning (FFT): Update alle modelparameters via gradiëntafdaling om optimale taakspecifieke prestaties te bereiken.
   • Low-Rank Adaptation (LoRA): Een parameterefficiënte methode die de basisgewichten van het model bevriest en low-rank matrices ($A$ en $B$) traint om gewichtsupdates te benaderen, wat de computationele overhead vermindert.

Belangrijkste Bijdragen

• Real-World Dataset: De creatie van een grootschalige, representatieve dataset van 215 DApp-projecten (4.998 contracten) die complexe logische fouten en tokenprijsmanipulatie-gebreken bevat, waarmee de kloof laat die door vereenvoudigde bestaande benchmarks wordt achtergelaten.
• Fine-Tuning Framework: Een demonstratie dat domeinspecifieke fine-tuning (FFT en LoRA) significant beter presteert dan prompt-gebaseerde LLM's en state-of-the-art tools (GPTLENS, GPTSCAN) in het detecteren van smart contract kwetsbaarheden.
• Detectie van Logische Fouten: Een specifieke focus op "machine-oncontroleerbare" kwetsbaarheden, waarbij wordt bewezen dat fine-tuned LLM's effectief logische fouten kunnen detecteren zoals prijsmanipulatie, die traditionele tools missen.
• Validatie van Data-augmentatie: Empirisch bewijs dat ROS de prestaties van het model op ongebalanceerde kwetsbaarheidsdatasets aanzienlijk verbetert.

Experimentele Resultaten
De studie voerde vergelijkende experimenten uit om vier onderzoeksvragen te beantwoorden met betrekking tot prestaties, de impact van fine-tuning, detectie van logische fouten en data-augmentatie:

• Prestaties vs. Baselines: Fine-tuned modellen presteerden significant beter dan niet-fine-tuned prompt-gebaseerde benaderingen. Terwijl een standaard Qwen2-7B prompt slechts een F1-score van 0,20 behaalde, bereikte de fine-tuned Llama3-8B-FFT een F1-score van 0,73 (Precisie: 0,78, Recall: 0,70).
• Vergelijking met SOTA: De fine-tuned modellen (Llama3-8B-FFT en Qwen2-7B-FFT) behaalden een precisie van 0,78, waarmee ze GPTLENS (0,64) en GPTSCAN (0,57) overtroffen.
• Detectie van Logische Fouten: De benadering toonde een uitzonderlijk vermogen aan in het detecteren van prijsmanipulatie-kwetsbaarheden (PMV). Het Llama3-8B-FFT model behaalde een precisie van 0,97 en een recall van 0,68 voor PMV, wat de capaciteit benadrukt om met niet-machine-controleerbare gebreken om te gaan.
• Impact van Data-augmentatie: Het toepassen van ROS op het fine-tuning proces leverde verdere verbeteringen op. Het Llama3-8B-FFT-ROS model behaalde een F1-score van 0,83 (Precisie: 0,84, Recall: 0,79), wat een toename van 6–7% in precisie en een 9–16% toename in recall vertegenwoordigt vergeleken met de niet-geaugmenteerde FFT-baseline.

Significantie
Het artikel stelt dat domeinspecifieke fine-tuning van LLM's, gecombineerd met data-augmentatietechnieken zoals ROS, een robuuste oplossing biedt voor de evoluerende beveiligingsuitdagingen in het blockchain-ecosysteem. Door verder te gaan dan vooraf gedefinieerde kwetsbaarheidspatronen en algemene prompting, adresseert deze benadering effectief de detectie van complexe, logische en machine-oncontroleerbare kwetsbaarheden in echte DApps. De resultaten onderstrepen het potentieel van fine-tuned LLM's om als een kritieke laag in blockchain-bescherming te dienen, met name voor het identificeren van de geavanceerde logische fouten die de meerderheid van de moderne smart contract risico's vormen.