Detecting Malicious Intents in Smart Contracts with Pre-trained Programming Language Models

1. Il Problema

Gli smart contract costituiscono l'infrastruttura fondamentale per le applicazioni decentralizzate (DApp), ma la loro trasparenza e immutabilità introducono rischi significativi. Mentre la ricerca si è concentrata ampiamente sulla rilevazione di vulnerabilità tecniche (bug involontari), esiste una minaccia meno studiata ma economicamente devastante: gli intenti malevoli degli sviluppatori.

Gli sviluppatori possono inserire deliberatamente codice malevolo per manipolare i mercati, bloccare i prelievi, alterare le commissioni o creare truffe (honeypot). Identificare questi "intent" (intenzioni) è cruciale per la sicurezza, ma rappresenta una sfida complessa a causa della natura multi-etichetta del problema (un contratto può avere più intenti) e dello sbilanciamento dei dati (alcuni tipi di intenti sono rari). Il modello precedente, SmartIntentNN, aveva raggiunto un buon risultato (F1 score di 0.8633), ma presentava limiti nella capacità di generalizzare su intenti minoritari e nella comprensione semantica profonda del codice.

2. Metodologia: SmartIntentV2

Il paper presenta SmartIntentV2, un'evoluzione del modello precedente che integra modelli linguistici pre-addestrati (PLM) specifici per il dominio. L'architettura si articola in tre fasi principali:

A. SmartBERT: Pre-addestramento Dominio-Specifico

Il cuore dell'innovazione è SmartBERT, un modello basato su CodeBERT ma adattato specificamente per il codice degli smart contract (Solidity).

• Pre-addestramento Adattivo al Dominio: Invece di utilizzare modelli generici, gli autori hanno pre-addestrato il modello su un corpus di 16.000 smart contract reali utilizzando l'obiettivo Masked Language Modeling (MLM).
• Granularità: L'addestramento avviene a livello di funzione (non di intero contratto) per rispettare i limiti di lunghezza della sequenza e catturare meglio la semantica contestuale.
• Rappresentazione: Per ogni funzione, SmartBERT genera embedding contestualizzati. Questi vengono aggregati tramite mean pooling per ottenere un vettore rappresentativo della funzione. Le funzioni di un contratto vengono poi impilate per formare una matrice di rappresentazione del contratto.

B. Classificazione Multi-Etichetta con BiLSTM

La matrice di rappresentazione del contratto viene alimentata in una rete neurale ricorrente:

• BiLSTM (Bidirectional Long Short-Term Memory): Utilizzata per catturare le dipendenze tra le diverse funzioni all'interno del contratto.
• Output: Un layer di classificazione con attivazione Sigmoid produce probabilità per ciascuna delle 10 categorie di intenti malevoli (es. Fee, DisableTrading, Blacklist, Honeypot, ecc.).

C. Strategie di Addestramento Avanzate

Per affrontare lo sbilanciamento delle classi (alcuni intenti sono molto rari), il modello utilizza:

1. Binary Focal Loss: Una funzione di perdita che dà più peso agli esempi difficili da classificare e riduce l'impatto degli esempi facili (negativi facili).
2. Fase di Addestramento Bilanciato per Classe: Una fase secondaria di addestramento in cui vengono campionati in modo uniforme 10 esempi per ogni categoria di intento, garantendo che il modello impari anche le classi minoritarie senza sacrificare le prestazioni sulle classi maggioritarie.

3. Contributi Chiave

1. SmartIntentV2: Un nuovo modello state-of-the-art per la rilevazione degli intenti malevoli, che supera significativamente i precedenti approcci basati su Deep Learning e i modelli LLM generici.
2. SmartBERT: Un modello linguistico pre-addestrato specificamente per il codice Solidity, reso pubblico e disponibile per altre task di analisi (rilevazione vulnerabilità, ricerca di cloni, ecc.).
3. Dataset e Codice Open Source: La pubblicazione di un dataset di 30.000 contratti annotati, del codice di addestramento e della documentazione, facilitando la riproducibilità e la ricerca futura.
4. Analisi Comparativa con LLM: Una valutazione rigorosa che dimostra come i modelli specializzati superino i Large Language Models (LLM) generici (come GPT-4) in termini di accuratezza, costo e latenza per task di nicchia.

4. Risultati Sperimentali

Il modello è stato valutato su un set di test indipendente di 10.000 smart contract reali.

• Prestazioni Generali:
  • Accuratezza: 0.9789
  • Precisione: 0.9090
  • Recall: 0.9476
  • F1 Score (Micro-average): 0.9279
• Confronto con il Predecessore (SmartIntentNN V1): SmartIntentV2 ha mostrato un miglioramento relativo del 7.48% nell'F1 score (da 0.8633 a 0.9279), con un miglioramento particolarmente evidente sulle classi minoritarie.
• Confronto con LLM (GPT-4.1):
  • GPT-4.1 ha ottenuto un F1 score di soli 0.5606 in modalità zero-shot.
  • SmartIntentV2 ha ottenuto un miglioramento relativo del 65.5% rispetto a GPT-4.1.
  • Efficienza Economica e Temporale: Su un test di 100 contratti, SmartIntentV2 ha completato l'analisi in 2.63 secondi con costi computazionali trascurabili, mentre GPT-4.1 ha richiesto 11.07 secondi e ha generato costi API di circa $2.88.

5. Significato e Impatto

Questo lavoro stabilisce un nuovo standard per la sicurezza degli smart contract, spostando il focus dalla semplice rilevazione di bug alla comprensione delle intenzioni dello sviluppatore.

• Superiorità dei Modelli Specializzati: Dimostra che per task altamente specializzati come la sicurezza blockchain, i modelli pre-addestrati su dominio specifico (SmartBERT) combinati con architetture di classificazione mirate sono nettamente superiori ai modelli LLM generici, sia in termini di accuratezza che di efficienza operativa.
• Scalabilità: L'approccio proposto è economicamente sostenibile e scalabile per l'analisi di grandi volumi di contratti, a differenza dell'uso massivo di LLM commerciali.
• Futuro della Sicurezza: L'articolo apre la strada a futuri lavori sulla localizzazione del codice malevolo (identificare esattamente dove si trova l'intento) e sull'addestramento su bytecode per analizzare contratti non verificati (senza sorgente).

In sintesi, SmartIntentV2 rappresenta un passo fondamentale verso strumenti di audit automatizzati più intelligenti, capaci di proteggere gli utenti DApp da frodi sofisticate e intenzioni malevole che i metodi tradizionali non riescono a cogliere.