Riepilogo Tecnico: SCDBench

Enunciato del Problema

La decompilazione degli smart contract—il processo di recupero del codice sorgente di alto livello (Solidity) dal bytecode della Ethereum Virtual Machine (EVM)—è fondamentale per la sicurezza, l'audit e la trasparenza della blockchain. Tuttavia, oltre il 99% dei contratti Ethereum non è verificato, lasciando accessibile solo il bytecode. Sebbene esistano decompilatori tradizionali, questi spesso producono rappresentazioni intermedie o pseudocodice che rimangono difficili da interpretare per gli sviluppatori.

L'emergere dei Large Language Models (LLM) offre un nuovo paradigma, capace di generare codice Solidity simile al sorgente che potrebbe compilare e apparire plausibile. Tuttavia, il settore manca di un benchmark standardizzato per valutare questi modelli. Gli studi esistenti si basano su dataset ristretti, spesso proprietari, metriche incoerenti e controlli limitati di coerenza semantica. Crucialmente, non esiste un metodo rigoroso per determinare se un contratto generato da un LLM sia semanticamente equivalente al bytecode originale, poiché i modelli possono generare codice che compila ma diverge nel comportamento.

Metodologia: SCDBench

Gli autori introducono SCDBench, un dataset e una metodologia di benchmark progettati per valutare rigorosamente i decompilatori di smart contract basati su LLM.

1. Costruzione del Dataset

Il benchmark è composto da 600 contratti Solidity reali campionati da distribuzioni Ethereum verificate (pre-1° gennaio 2026).

• Origine: Derivato da un corpus di 772.736 coppie uniche bytecode-sorgente, filtrato per rimuovere quasi-duplicati e varianti di modelli generati in massa.
• Stratificazione: I contratti sono suddivisi in tre livelli di difficoltà (Facile, Medio, Difficile), con 200 contratti ciascuno. La difficoltà è determinata dalla dimensione del bytecode, dalla dimensione dell'interfaccia, dalla complessità del flusso di controllo, dalle operazioni di storage e dalle funzionalità di Solidity di basso livello.
• Punti di Controllo Semantici: Per garantire la riproducibilità, il dataset include 227.383 casi di test semantici concreti che coprono 14.553 funzioni pubbliche. Questi casi sono generati tramite principi di fuzzing differenziale: l'esecuzione del contratto ground-truth su input concreti per registrare i risultati (dati di ritorno, stato di revert, log, cambiamenti di stato) per una successiva riproduzione.

2. Pipeline di Valutazione

SCDBench adotta un protocollo di valutazione cumulativo a quattro stadi. Un contratto deve superare ogni stadio per procedere al successivo; il fallimento in qualsiasi stadio conta come fallimento per tutti gli stadi successivi.

1. Completezza del Formato: Verifica se l'output contiene impostazioni del compilatore parsabili, codice Solidity autonomo e un nome di contratto target.
2. Compilabilità: Verifica se il codice generato compila con successo in un artefatto target valido.
3. Recupero dell'ABI: Valuta la ricostruzione delle firme delle funzioni pubbliche rispetto all'Application Binary Interface (ABI) ground-truth, riportando Precisione, Recall e punteggio F1.
4. Coerenza Semantica: Lo stadio più rigoroso. Riproduce i casi di test generati contro il contratto decompilato. Una funzione è coerente solo se tutti i casi riprodotti corrispondono alla verità fondamentale per quanto riguarda i dati di ritorno, lo stato di revert, i log e i cambiamenti di storage.

3. Configurazione Sperimentale

Gli autori hanno valutato modelli chiusi all'avanguardia (Claude Opus 4.7, GPT-5.3-Codex) e una baseline open-weight (GLM-5) in un setting zero-shot.

• Input: Assembly EVM (rendering testuale del bytecode) e suggerimenti opzionali sui selettori di funzione non unici.
• Variante di Riparazione: È stato testato un setting di riparazione della compilazione zero-shot in cui ai modelli sono stati forniti i propri messaggi di errore di compilazione per tentare una correzione, indicato con un apice †.
• Ragionamento: GLM-5 è stato testato sia in modalità "instruct" (non pensante) che in modalità "high-thinking" per valutare l'impatto del ragionamento esteso.

Risultati Chiave

La valutazione rivela significativi divari tra il successo sintattico (compilazione) e la correttezza semantica.

• Formato e Compilabilità: I modelli all'avanguardia generalmente superano le baseline open-weight. GPT-5.3-Codex† ha raggiunto il tasso di compilazione più alto (90,3% totale), seguito da Opus 4.7† (69,2%). La riparazione zero-shot ha migliorato significativamente le prestazioni in tutti i modelli, suggerendo che molti fallimenti iniziali erano piccole inconsistenze a livello di compilatore piuttosto che errori fondamentali di decompilazione.
• Recupero dell'ABI: GPT-5.3-Codex† ha ottenuto il miglior punteggio micro-F1 (0,896). Sebbene la precisione fosse generalmente alta, la recall variava, indicando che i modelli spesso mancavano funzioni ground-truth piuttosto che allucinarne di extra.
• Coerenza Semantica: Questo rimane il principale collo di bottiglia.
  • Opus 4.7† ha raggiunto il tasso di coerenza semantica più alto (29,4% delle funzioni pubbliche).
  • GPT-5.3-Codex† ha ottenuto i migliori risultati sui contratti "Difficili" (25,2%) ma leggermente inferiori nel complesso (28,0%).
  • Recupero Perfetto: Anche il modello con le prestazioni migliori ha decompilato perfettamente solo 42 contratti su 600 (7,0%). Quasi nessun contratto "Difficile" è stato recuperato perfettamente.
• Impatto del Ragionamento: La configurazione "high-thinking" di GLM-5 ha superato significativamente la sua variante "instruct" nella compilazione, nel recupero dell'ABI e nella coerenza semantica, suggerendo che il ragionamento esteso aiuta a navigare la struttura del bytecode e i vincoli del compilatore.

Contributi Chiave

1. Dataset: Un benchmark curato e diversificato di 600 contratti reali con bytecode accoppiato, sorgente ground-truth e oltre 227.000 casi di test semantici, stratificati per difficoltà.
2. Metodologia: Un framework di valutazione a stadi che va oltre la leggibilità per imporre compilabilità, accuratezza dell'ABI e rigorosa coerenza semantica tramite riproduzione differenziale.
3. Risultati Empirici:
   • I modelli all'avanguardia con capacità di ragionamento sono sostanzialmente più forti delle baseline open-weight.
   • La riparazione della compilazione zero-shot è un passaggio semplice ed economico che migliora significativamente la qualità della decompilazione.
   • La coerenza semantica è la sfida aperta centrale: Elevati tassi di compilazione e recupero dell'ABI non garantiscono la fedeltà semantica.

Significato

Il documento afferma che SCDBench stabilisce un terreno comune per una valutazione rigorosa e riproducibile nella decompilazione degli smart contract. Spostando il focus dalla plausibilità sintattica alla coerenza semantica, il benchmark mira a:

• Consentire un confronto equo tra approcci emergenti di decompilazione.
• Evidenziare le limitazioni specifiche degli attuali LLM nel preservare la semantica dei contratti.
• Accelerare lo sviluppo di strumenti affidabili per la sicurezza e la trasparenza della blockchain fornendo un framework standardizzato per test e miglioramento.

Gli autori concludono che, sebbene gli LLM all'avanguardia possano produrre codice strutturato e compilabile, raggiungere la piena coerenza semantica rimane un problema significativo irrisolto, rendendo necessaria ulteriore ricerca su design di decompilatori agentici che incorporino riparazione guidata dal compilatore e verifica semantica.