Enhancing Smart Contract Vulnerability Detection in DApps Leveraging Fine-Tuned LLM

Sintesi Tecnica: Miglioramento del Rilevamento delle Vulnerabilità degli Smart Contract nelle DApp attraverso l'uso di LLM Fine-Tuned

Problematica
Le applicazioni decentralizzate (DApp) affrontano rischi critici di sicurezza a causa delle vulnerabilità nei loro smart contract sottostanti. Sebbene i metodi di rilevamento tradizionali, come l'analisi statica e la verifica della transizione di stato, siano efficaci per pattern noti (ad es. rientranza, errori aritmetici), essi faticano di fronte alle minacce emergenti e ai difetti logici "non uditabili dalle macchine". Statistiche recenti indicano che quasi l'80% delle vulnerabilità dei contratti riguarda errori logici, inclusi problemi complessi come la manipolazione del prezzo dei token, che sfuggono all'analisi programmatica convenzionale. Inoltre, i benchmark esistenti spesso si basano su dataset semplificati (contratti con meno di 40 righe), fallendo nel rappresentare la complessità dei progetti DApp del mondo reale. Anche gli attuali approcci basati su Large Language Models (LLM) che utilizzano il prompt engineering o la Retrieval-Augmented Generation (RAG) mostrano limitazioni, raggiungendo solo il 40–60% di accuratezza a causa di una mancanza di adattamento specifico al dominio del linguaggio di programmazione Solidity.

Metodologia
Il documento propone un nuovo framework che sfrutta LLM sottoposti a fine-tuning per migliorare il rilevamento delle vulnerabilità nelle DApp. La metodologia consiste in quattro componenti principali:

1. Raccolta Dati Esaustiva:
   Gli autori hanno costruito un nuovo dataset composto da 215 progetti DApp reali e 4.998 smart contract. A differenza dei dataset precedenti, questa collezione è stata raccolta utilizzando uno strumento Python personalizzato chiamato SmartCollect, che recupera le complete dipendenze del progetto, incluse librerie pubbliche e contratti esterni. Il dataset affronta specificamente la scarsità di esempi di errori logici includendo 23 contratti con vulnerabilità di manipolazione del prezzo dei token, insieme a vulnerabilità standard come rientranza, problemi aritmetici e dipendenza dal timestamp.

2. Data Augmentation (ROS):
   Per affrontare il grave squilibrio di classe inerente al rilevamento delle vulnerabilità (dove i casi vulnerabili sono una minoranza), lo studio impiega il Random Over Sampling (ROS). Questa tecnica duplica i campioni della classe minoritaria per bilanciare il dataset, mitigando così il degrado delle prestazioni spesso osservato nei modelli di deep learning addestrati su dati reali sbilanciati.

3. Architettura LLM a Doppio Ruolo:
   Il sistema proposto utilizza un processo di audit in due fasi in cui l'LLM assume due ruoli distinti attivati tramite prompt engineering:

• Auditor di Smart Contract: Esamina il codice per identificare potenziali vulnerabilità e generare il ragionamento.
• Verificatore: Valida ulteriormente i tipi di vulnerabilità identificati per garantire accuratezza e rigore.
  I prompt sono progettati con il ragionamento Chain-of-Thought (CoT), richiedendo al modello di emulare il flusso di lavoro di un auditor comprendendo il contesto, analizzando la logica e fornendo output strutturati.

4. Strategie di Fine-Tuning:
   Lo studio valuta due approcci di fine-tuning su modelli open-source mainstream (Llama3-8B e Qwen2-7B):

• Full-Parameter Fine-Tuning (FFT): Aggiorna tutti i parametri del modello tramite discesa del gradiente per raggiungere le prestazioni ottimali specifiche per il compito.
• Low-Rank Adaptation (LoRA): Un metodo efficiente dal punto diamento che congela i pesi del modello base e addestra matrici di basso rango ($A$ e $B$) per approssimare gli aggiornamenti dei pesi, riducendo il carico computazionale.

Contributi Chiave

• Dataset Real-World: La creazione di un dataset su larga scala e rappresentativo di 215 progetti DApp (4.998 contratti) che include errori logici complessi e difetti di manipolazione del prezzo dei token, colmando il vuoto lasciato dai benchmark semplificati esistenti.
• Framework di Fine-Tuning: Una dimostrazione che il fine-tuning specifico del dominio (FFT e LoRA) supera significativamente gli approcci LLM basati su prompt e gli strumenti allo stato dell'arte (GPTLENS, GPTSCAN) nel rilevamento delle vulnerabilità degli smart contract.
• Rilevamento di Errori Logici: Un focus specifico sulle vulnerabilità "non uditabili dalle macchine", dimostrando che gli LLM sottoposti a fine-tuning possono rilevare efficacemente difetti logici come la manipolazione del prezzo, che gli strumenti tradizionali perdono.
• Validazione della Data Augmentation: Evidenza empirica che mostra come il ROS migliori significativamente le prestazioni dei modelli su dataset di vulnerabilità sbilanciati.

Risultati Sperimentali
Lo studio ha condotto esperimenti comparativi per rispondere a quattro domande di ricerca riguardanti le prestazioni, l'impatto del fine-tuning, il rilevamento degli errori logici e l'augmentation dei dati:

• Performance rispetto ai Baseline: I modelli fine-tuned hanno superato significativamente gli approcci basati su prompt non fine-tuned. Mentre un Qwen2-7B standard tramite prompt ha ottenuto un F1-score di soli 0,20, il modello Llama3-8B-FFT ha raggiunto un F1-score di 0,73 (Precisione: 0,78, Recall: 0,70).
• Confronto con lo Stato dell'Arte (SOTA): I modelli fine-tuned (Llama3-8B-FFT e Qwen2-7B-FFT) hanno raggiunto una precisione di 0,78, superando GPTLENS (0,64) e GPTSCAN (0,57).
• Rilevamento di Errori Logici: L'approccio ha dimostrato una capacità eccezionale nel rilevare vulnerabilità di manipolazione del prezzo (PMV). Il modello Llama3-8B-FFT ha ottenuto una precisione di 0,97 e un recall di 0,68 per la PMV, evidenziando la sua capacità di gestire difetti non udibili dalle macchine.
• Impatto della Data Augmentation: L'applicazione del ROS al processo di fine-tuning ha prodotto ulteriori miglioramenti. Il modello Llama3-8B-FFT-ROS ha raggiunto un F1-score di 0,83 (Precisione: 0,84, Recall: 0,79), rappresentando un aumento del 6–7% nella precisione e del 9–16% nel recall rispetto al baseline FFT non aumentato.

Significatività
Il documento afferma che il fine-tuning specifico del dominio degli LLM, combinato con tecniche di data augmentation come il ROS, offre una soluzione robusta per le evoluzioni delle sfide di sicurezza nell'ecosistema blockchain. Andando oltre i pattern di vulnerabilità predefiniti e il prompting generico, questo approccio affronta efficacementmente il rilevamento di vulnerabilità complesse, logiche e non udibili dalle macchine nelle DApp reali. I risultati sottolineano il potenziale degli LLM fine-tuned nel servire come uno strato critico per la protezione della blockchain, in particolare per l'identificazione dei sofisticati errori logici che costituiscono la maggior parte dei rischi moderni degli smart contract.