Reentrancy Detection in the Age of LLMs

1. Il Problema

La reentrancy rimane una delle vulnerabilità più critiche negli smart contract di Ethereum (es. l'exploit del DAO nel 2016), con perdite stimate intorno ai 908,6 milioni di dollari. Tuttavia, l'ecosistema attuale degli strumenti di rilevamento (tool di analisi statica, modelli di Machine Learning) mostra segni di deterioramento della affidabilità (dependability) a causa dell'evoluzione del linguaggio Solidity, in particolare dalla versione 0.8 in poi.

I problemi principali identificati sono:

• Obsolescenza degli strumenti: Molti tool supportano solo versioni legacy di Solidity, si bloccano su sintassi moderne o implementano definizioni di reentrancy basate su pattern superati (es. la regola "Checks-Effects-Interactions" o CEI nella sua forma originale).
• Incoerenza delle definizioni: Non esiste una definizione univoca di reentrancy. Strumenti diversi (es. Mythril, Slither, Securify) utilizzano euristiche incompatibili, portando a risultati contraddittori sugli stessi contratti.
• Bias nei dataset: I dataset esistenti per l'addestramento di modelli ML sono spesso etichettati dagli stessi tool difettosi, propagando errori e rumore nei dati di training.
• Mancanza di robustezza: Gli strumenti attuali falliscono frequentemente su contratti moderni o su casi limite semantici (es. delegatecall, chiamate di sola lettura, gestione degli errori).

2. Metodologia

Gli autori hanno adottato una prospettiva orientata all'affidabilità, distinguendo tra affidabilità (correttezza delle previsioni) e robustezza (capacità di funzionare su versioni e pattern evoluti).

Costruzione dei Dataset

Per evitare il bias degli strumenti esistenti, sono stati creati due nuovi dataset verificati manualmente:

1. Aggregated Benchmark: Un insieme di 432 contratti reali consolidati da tre dataset accademici precedenti (CGT, HuangGai, Reentrancy Study). Ogni contratto è stato riesaminato da tre esperti indipendenti e validato con l'aiuto di LLM per correggere etichette errate.
2. Reentrancy Scenarios Dataset (RSD): Un insieme di 143 Minimal Working Examples (MWE) creati manualmente. Questo dataset è progettato per stress-testare gli strumenti su casi limite semantici, caratteristiche moderne di Solidity 0.8+ (gestione errori, blocchi unchecked, ereditarietà complessa) e pattern che confondono l'analisi sintattica.

Procedura di Etichettatura Unificata

È stata definita una procedura operativa in tre passaggi per determinare la vulnerabilità, indipendente dagli strumenti esistenti:

1. Unfolding: Svolgimento delle chiamate di funzione locali, ereditarietà e modificatori per appiattire il codice.
2. Rilevamento Sintattico: Identificazione di chiamate esterne seguite da effetti collaterali (aggiornamenti di stato).
3. Confronto Semantico dello Stato: Verifica se l'esecuzione ricorsiva (reentrancy) porta a uno stato finale diverso rispetto all'esecuzione sequenziale delle stesse chiamate. Se gli stati divergono, il contratto è vulnerabile.

Valutazione

Hanno testato 31 sistemi divisi in tre categorie:

• 12 Strumenti di Analisi Formale/Statica: (es. Slither, Mythril, Securify, Oyente+, Aderyn, ecc.).
• 10 Modelli di Machine Learning: (Modelli tradizionali come Random Forest, SVM, e Deep Learning come CodeBERT, BiLSTM).
• 9 Large Language Models (LLM): Sia commerciali (GPT-4o, GPT-4.1, o3-mini, Gemini) che open-source (Qwen, Phi, GPT-OSS), valutati in modalità zero-shot.

3. Contributi Chiave

• Valutazione sistematica dell'affidabilità: Prima valutazione completa che dimostra come l'affidabilità degli strumenti tradizionali sia erosa dall'evoluzione di Solidity.
• Nuovi Benchmark: Rilascio dell'Aggregated Benchmark e del RSD, che forniscono ground truth ad alta confidenza e scenari di stress test controllati.
• LLM come alternativa robusta: Dimostrazione che gli LLM superano la maggior parte degli strumenti tradizionali in accuratezza e robustezza, senza richiedere manutenzione delle regole.
• LLM come assistenti umani: Evidenza che le spiegazioni generate dagli LLM aiutano gli esperti a identificare casi ambigui o etichettati erroneamente, migliorando la qualità dei dataset.

4. Risultati

I risultati, riportati nella Tabella IV del paper, mostrano un divario significativo tra i metodi tradizionali e gli LLM:

• Performance degli Strumenti Tradizionali:

  • Sull'Aggregated Benchmark, gli strumenti migliori (es. Slither, Oyente+) raggiungono un F1-score fino a 0.87-0.92, ma molti altri falliscono o producono alti tassi di falsi positivi/negativi.
  • Sul RSD (stress test), le prestazioni crollano drasticamente. Molti tool non riescono nemmeno a compilare o analizzare i contratti (tassi di errore fino al 100% per alcuni tool su Solidity 0.8+). Il miglior tool tradizionale sul RSD ottiene un F1 di 0.76.
  • Incoerenza: C'è scarsa concordanza tra gli strumenti. Su 122 contratti reentranti nel benchmark aggregato, solo 38 sono concordemente identificati come vulnerabili da almeno 6 strumenti.

• Performance degli LLM:

  • Gli LLM mostrano prestazioni superiori in entrambi i dataset. Nel setting zero-shot, o3-mini raggiunge un F1 di 0.96 sul benchmark aggregato e 0.79 sul RSD.
  • gpt-oss (modello open-source) ottiene il punteggio più alto sul RSD con un F1 di 0.85.
  • Robustezza: A differenza degli strumenti statici, gli LLM non hanno tassi di errore (crash o fallimenti di compilazione) e non richiedono aggiornamenti per le nuove versioni di Solidity.

• Qualità delle Spiegazioni:

  • Le spiegazioni degli LLM (es. o3-mini) sono state valutate dagli umani come altamente pertinenti e informative, permettendo di correggere 9 contratti etichettati erroneamente nel dataset iniziale, un compito che gli strumenti tradizionali hanno faticato a supportare.

5. Significato e Implicazioni

Lo studio evidenzia un cambiamento fondamentale nel panorama della sicurezza degli smart contract:

1. Crisi degli strumenti statici: Gli strumenti di analisi statica tradizionali, basati su regole sintattiche rigide, non sono più una "ground truth" affidabile per pipeline di sicurezza moderne a causa della loro fragilità di fronte all'evoluzione del linguaggio.
2. Ascesa degli LLM: Gli LLM offrono un'analisi semantica più profonda e adattiva, superando i limiti degli strumenti basati su pattern. La loro capacità di generalizzare senza manutenzione manuale li rende candidati ideali per la rilevazione di vulnerabilità in ecosistemi in rapida evoluzione.
3. Approccio Ibrido Futuro: Il futuro della rilevazione delle vulnerabilità dovrebbe combinare i garanzie formali degli strumenti statici (per casi semplici e deterministici) con l'adattabilità semantica degli LLM, supportati da dataset verificati manualmente piuttosto che da output di tool obsoleti.

In conclusione, il paper segnala che l'era della semplice analisi sintattica per la sicurezza degli smart contract sta finendo, e l'integrazione di modelli linguistici avanzati è necessaria per garantire la dependability dei sistemi blockchain moderni.